评论关闭

Seoer如何学会辨别搜索引擎机器人身份

作者:hslsmile  发表于:2013年04月17日 10:23  分类:运营   
分享到: 新浪微博 更多
 

搜索引擎营销是一种非常具有方法和技巧的一种优化营销手段,我们现在很多人都说优化好难做,但是我觉得我们现在应该就是没有掌握好技术才会这样认为吧!我们作为一个Seo优化师,我们最需要的不是一天能够发多少条外链,能够做多少的锚链接和纯文本连接,其实不是这样的,我觉得我们最重要的不是一天能够发多少跳的外链,能够做多少的博客,我们要学会搜索引擎蜘蛛的思维,它是如何去抓取文章信息等,它是如何变化的,什么时候对百度快照更有效果,什么时候对博客更有效果,什么时候更能够对论坛收录更好,这些其实都是我们想要知道的,正所谓知己知彼才可以百战不殆,只有正确的把握搜索引擎蜘蛛程序的思想,我们才可以正确的获取它的行为i,让后再它最近最喜欢的什么类型,我们就在该类型里发表它喜欢的东西。

搜索引擎派出他们的搜索机器人去访问、索引网站内容,网站管理员也默认、欢迎它们 来访。但是由于搜索引擎派机器人来访会在一定程度上影响网站性能,因此并非所有的机器 人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历,并且不遵循 robots.txt 规范,会严重拖垮网站性能而又无其它益处。

因此,网站管理员需要验证每个机器 人身份是否合法。  在你的服务器日志文件中,可见每次访问的路径和相应的IP 地址,如果是机器人来访, 则user – agent会显示Googlebot或MSNBot等搜索引擎漫游器名称,每个搜索引擎都有自己的 user – agent,但仅有这个还不足以证明这个机器人的合法性,因为很多垃圾制造者可能将他 们的机器人也命名为Googlebot,以伪装蒙混进入网站,大肆采掘内容。 

目前,主流搜索引擎都建议网站管理员通过这种方式来辨别真实的机器人身份:通过 DNS 反向查询找出搜索引擎机器人IP 地址对应的主机名称;用主机名查找IP 地址以确认该主 机名与IP 地址匹配。  首先,使用DNS 反向查询(Reverse DNS Lookup ),找出机器人IP 地址对应的主机名称。

主流搜索引擎的主机名称通常情况下应是这样的:

     Google:主机名称应包含于googlebot.com 域名中,如: crawl- 66 -249- 66 -1.googlebot.com ;

     MSN :主机名称应包含于search.live.com 域名中,如:livebot-207-46-98-14 9.search.live.com; 

   Yahoo :主机名称应包含于inktomisearch.com 域名中,如:ab1164.inktomisearch.com 。 

 最后,做一次DNS 查询,用主机名查找IP 地址(Forward DNS Lookup),以确认该主机 名与IP 地址匹配。由此证明该机器人是合法的。  现在,如果发现一个机器人将自己伪装成合法搜索引擎漫游器,你就可以通过服务器上 的设置来阻止这个非法机器人。

总结:搜索引擎是一项非常枯燥乏味的工作,也是一项非常有乐趣和成就感的工作,我们现在最好做的就是能够正确高校的把我们的网站给优化上去,这些都是我们没够站长想要的,我们每个站长最喜欢的就是我们负责的网站能够实现秒收,这些不仅仅是我们现在工作的目标,而且更是现在我们急需要实现的前提,网站Seo优化公司在这里预祝各位站长早日的将自己的网站做上去。

本文固定链接: http://www.yunduanseo.com/?p=509 | 技术解决方案.品牌营销_云端科技互联网+研究发展中心

报歉!评论已关闭.