大量死链对搜索引擎来讲,有什么影响?
1、死链率过高,会影响搜索引擎对网站的评价,严重的会被降权。
2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取。
3、过多死链对网站用户来讲也是体验不好的表现。
如何发现网站中存在的死链接?
1、百度站长工具中的抓取异常工具可以查看最近一个月产生的各种死链,并支持导出功能。
2、使用相关爬虫软件,比如Xenu,此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可。
3、在网站运营中,特别是论坛,经常需要删除某些页面,在删除页面时一定要记录对应的Url以便后期提交死链。
4、site:域名。虽然笨,但是也是一种查询方式。
如何处理网站中的死链接:
1、给网站设置404页面
404页面就是告诉访客,当前所浏览的页面出错或不存在了,请继续浏览网站其它内容。404页面可以设置成单独的一个页面,这个404页面处理好了,当用户遇到死链接的时候会有眼前一亮的感觉,最最重要的是可以减少网站的跳出率。一旦网站设置好404页面,只要出现死链接就会显示说设置的404页面内容了,就是起到了一个引导的作用。
2、用robots.txt屏蔽死链接
robots.txt是网站与蜘蛛的协议,蜘蛛进入网站后会先检测网站是否有这个协议,有的话就知道哪里可以访问、哪里又不要抓取。总之就是给蜘蛛一个权限。有死链接的话就把这个链接写入robots.txt,告诉蜘蛛不要抓取这个链接。如果网站有很多死链接的话不建议写入,因为蜘蛛查看robot.txt内容范围有限,超出这个范围它就看不到了。
3、给死链接做301重定向
就是把失效的死链接地址重定向到新的页面,这样做的好处有权重可以转移到那个新的页面。适合一些网页比较重要,有一定权重的页面。如果死链接多的话重定向太多也不好的,那就是网站的问题了。
4、向百度站长平台提交死链接
就是把死链接集中起来按照百度的规格整理成一个死链接文件放于网站根目录下,然后再到百度站长平台提交。有点麻烦新手能看懂的估计不多,还有个不好的地方就是这方法只对百度搜索引擎有效,对其它的搜索引擎无用。看情况用吧。
之所以要处理死链接,就是因为怕页面被搜索引擎收录了,被展示在搜索结果中后却变成个死链接。假设该页面有很好的排名,但是访客点击进来后却发现是个死链接是个没内容的页面,不仅对用户体验和转换都有负面的影响。最糟糕的是死链接的存在而导致网站其它页面不收录。