如何清理网站的死链?

2020-12-30 10:30

 死链必须要及时的清理

  找出条死链。使用站长工具来检测并发现死链接。

  建立robots.txt 屏蔽死链

  有了死链,我们可以让 robots.txt 禁止蜘蛛爬行这些页面,把所有的死链建一个文件夹,让

  robots.txt 屏蔽掉,阻止蜘蛛的爬行,但是还是一样,要把所有的链接加进入,网站的发展,

  这样做也是比较麻烦的,robots.txt 的写法:

  User-agenr:*

  Disallow: /目录

  Disallow: /目录

  制作404 页面

  死链的出现,你一不注意的话,就发生,如果你不是经常关注死链问题,那你就要给自己网站找个盾牌,给自己挡挡。像站长之家的404页,非常生动幽默。用户看到了,不会觉得这个页面不好,但也会微笑,用户体验会更好。从搜索引擎的角度来看,蜘蛛会看到404状态码,会继续抓取网站,不会马上逃跑。**把死链提交给百度,这样百度就可以删除我们的死链,尤其是对于一些收录的死链。