robots在网站优化中的作用

2021-04-07 10:26

通常情况下,广州seo人员使用robots.txt文件来屏蔽不想被搜索引擎抓取的页面,但是这些页面具体有哪些呢?


众所周知,网站因为某种原因被修改或大量页面被突然删除。网站上突然出现大量死链接,不利于网站在搜索引擎上的表现。虽然现在可以直接向百度提交死链接,但不如直接屏蔽百度抓取死链接,这样搜索引擎就不会突然在网站上发现太多的死链接,或者两者都有。


另外,网站中有大量交叉组合查询生成的页面,一定有大量没有内容的页面。对于没有内容的页面,可以单独设置一个url特征,然后用机器人屏蔽,防止搜索引擎认为网站创建垃圾页面。


最后,多版本的url,例如网站链接伪静态后就不希望搜索引擎抓取动态链接了,这时就可以使用robots屏蔽掉网站内部的所有动态链接。


建议:广州网站优化人员不要被robots文件的作用所限制,把思维扩散一下,为网站在搜索引擎中提升整体质量多多思考吧。