搜索引擎蜘蛛也会给你带来意想不到的危害

yousoo8886

   所有的人肯定认为蜘蛛爬行的次数越多就证明你的网站有价值的东西越多，收录也就会越多，排名自然而然的就提高了，其实你错了，蜘蛛爬行次数越多未必是一件好事，也会给你的网站带来负面的影响：

　　不论什么搜索引擎的爬虫，来抓取你网站的页面的时候，肯定在消耗你的网站资源，例如网站的连接数、网络带宽资源（空间流量）、服务器的负载。

　　另外，搜索引擎的爬虫来抓取你的页面数据后，它也不一定收用数据。只代表它“到此一游”留下痕迹而已。因此你的网站为它“服务过、接待过”。

　　对于一个原创内容丰富，URL结构合理易于爬取的网站来说，简直就是各种爬虫的盘中大餐，很多网站的访问流量构成当中，爬虫带来的流量要远远超过真实用户访问流量，甚至爬虫流量要高出真实流量一个数量级。像提高网站有效利用率虽然设置了相当严格的反爬虫策略，但是网站处理的动态请求数量仍然是真实用户访问流量的2倍。可以肯定的说，当今互联网的网络流量至少有2/3的流量爬虫带来的。因此反爬虫是一个值得网站长期探索和解决的问题。

　　搜索引擎爬虫对网站的负面影响。

　　1.网站有限的带宽资源，而爬虫的量过多，导致正常用户访问缓慢。

　　例如，原本虚拟主机主机的连接数受限，带宽资源也是有限。这种情况搜索引擎爬虫受影响呈现更明显。

　　2.搜索引擎爬虫过频密，抓取扫描很多无效页面。甚至抓页面抓到服务器报502、500 、504 等服务器内部错误了，蜘蛛爬虫还在不停使劲抓取。

　　不论是实际生产监控，还是网友反映，部分搜索引擎爬虫可用几个词来形容“坏蜘蛛”“恶爬虫”。很多讨论搜索引擎相关的文章，已经将它们列过排行榜。有兴趣的可更多了解它。

　　3.一些搜索引擎开发程序员，它们写的爬程序在测试爬行。

　　4.robots.txt文件不是万能!肯定有很多人认为，在robots.txt设置屏蔽搜索引擎爬虫即可，或者允许某些特定的搜索引擎爬虫，能达到你预想效果。但是实际中某些蜘蛛往往不是这样的，先扫描抓取你的页面，无视你的robots.txt。也可能它抓取后不一定留用;或者它只是统计信息，收集互联网行业趋势分析统计。

　　5.还有一种它们不是蜘蛛，但其有蜘蛛的特性。例如采集软件，采集程序，网络扫描e-mail地址的工具，各式各样的SEO分析统计工具，千奇百怪的网站漏洞扫描工具等等。

这次分析了对搜索引擎爬虫的危害，蜘蛛对网站的负面影响；如何有效指引搜索引擎对应的措施，及解决方法；收集来源线上最新最准确各大搜索引擎蜘蛛名称。

lygjie

:o:o:o:o:o

zqffriendly

好好学习，关注MOD

zyq81872586

看看看看

zhuweim1

这个我很是喜欢，感谢楼主

zhuweim1

这个我很是喜欢，感谢楼主