域名权重robots导航关键词优化

网站域名权重

域名 名称的权重 尽量在网址里面包含关键词 栏目域名的网址后面的关键词要和自己的当前栏目相匹配

网站有一个seo培训栏目

www.xxxx.com/seopeixun

内容页面网址包含关键词

发表文章内容的时候我们使用自定义文件名来写,这个里面写字母,不要写汉字。

www.xxx.com/seopeixun/seo.html

第二种方法我们还可以修改文章内容的命名方式

www.xxxx.com/a/142343554647567dgtgfhgfcfgfj.html

www.xxxxx.com/a/b/c/d/1.html

robots文件的优化

1、什么叫做robots协议

通俗来说就是你的网站跟各大搜索引擎蜘蛛之间的沟通方式,咱们可以通过这个文件告诉搜索引擎的蜘蛛哪些文件可以被抓取,哪些文件不能被蜘蛛抓取

因为一个网站并非是所有的文件都跟排名有关系的,有很多文件跟排名没有关系,不能直接参与排名,例如网站的css文件,js文件 以及一些死链接等等,对于这些没有排名价值的文件我们就需要给它屏蔽掉,屏蔽以后让蜘蛛把更多的精力放在有排名价值的页面上。

2.robots文件全称是robots.txt,文件名一定小写的文件名的(必须要小写)放在网站的根目录下面(必须的)

www.xxxx.com/robots.txt

强调下:并非是所有公司的网站都有这个文件,有很多公司网站没有这样的文件。如果没有这样的文件,那么我们就建议给网站添加这个文件。

因为蜘蛛在抓取你网站的时候首先就会检测你的站点下面有没有这个文件,如果有,蜘蛛会按照你上面所写的指定文件进行抓取,如果没有这个文件,蜘蛛则会全部抓取。

3、robots文件的具体写法

User-agent: 蜘蛛的名称

User-agent: googlebot

*是一个通配符 代表的是所有搜索引擎蜘蛛的名称

Disallow: 禁止抓取的文件名称

Allow: 允许抓取的文件名称

以后我们在书写这个文件的时候基本上是Disallow记录写的比较多一点,除了禁止剩下都是允许的。

Disallow: /admin 禁止抓取admin这个目录,那么这个admin目录就不能被收录

Disallow: /a/*.htm 禁止抓取a目录下面所有以.htm结尾的文件不能被抓取收录

DISALLOW: /a/1.htm

www.xxx.com/a/2.htm

www.xxx.com/a/3.htm

www.xxx.com/a/4.htm

www.xxx.com/a/5.htm

Allow:/a/1.html

Disallow:/a/*html

User-agent: *

Disallow:/

这条记录表名你的网站全部禁止抓取收录,这样的记录正常情况下不能使用。当我们的网站在改版或者换模板情况下,肯定会存在死链接,所以我们在改版或者换模板前直接使用这个记录申请闭站保护。

Disallow: /*?* 禁止抓取网站所有的带有?的网址(禁止抓取动态网址)

DISallow: /Show.asp?id=870

建议你要是书写禁止动态网址你可以具体化写出来禁止的路径。

Disallow: /.jpg$ 禁止抓取网站所有以.jpg格式的图片

Disallow: /img

Disallow: /img1

Disallow:/ab/abc.html

最安全最保险的最笨的方法 禁止某个文件不被抓取

在书写这个robots文件的时候一定要注意需要结合不同的网站,那么书写的禁止文件目录名称都是不一样的。所以你想写好这个文件,你就要知道网站的根目录的文件都是干嘛的,了解哪些目录对于排名有价值,哪些目录文件对于排名没价值

屏蔽的文件只是屏蔽了不让搜索引擎的蜘蛛抓取网页文件,跟网页

文件本身显示时没有关系的。用浏览器是可以正常打开的。

后面还需要结合服务器日志来书写这个robots文件(周五会讲)

robots文件也可以用来屏蔽网站中的死链接。

www.xxx.com/wlyxzs/1.html

Disallow: /wlyxzs/1.html

Sitemap:/sitemap.xml

Sitemap:/sitemap.html

Allow: /sitemap.xml

起到强调的作用

UA禁封的方式

第一种我们使用robots.txt可以禁止抓取

第二种 meta robots标签。

这种标签一般放在网页的头部里面

第三种:直接使用链接的nofollow属性

百度

robots文件写完了以后我们可以利用百度的站长平台来检测