神马搜索蜘蛛 YisouSpider 详细及 User Agent 判断

  |   2019年12月31日 |  SEO优化 |   评论已关闭 |   53

ad
有需要可以关注公众号:“技术的世界” 分享最新技术资源,同时讲讲人生。

神马搜索蜘蛛 YisouSpider 详细及 User Agent 判断,

关于蜘蛛 在互联网前几年可谓是怨声载道,许多的网站被过于频繁的抓取而导致服务器瘫痪等情况不在少数,其实看 YisouSpider 这个蜘蛛的名称就应该知道,神马搜索的前身就是“宜搜”,如果大发骰宝棋牌没记错的话这曾经是一个小说搜索引擎,后来被阿里拿下就正式定位于手机搜索引擎。

今天大发骰宝棋牌之所以又来说到神马,并不是因为神马带来了非常客观的流量,只是因为神马最近开始支持 MIP 规范,而由于大发骰宝棋牌的一些网站接入 MIP 是用 判断来做的代码适配,也就是说之前只是针对百度移动搜索蜘蛛和 mip 的 User Agent,而现在需要将网站的 MIP 端对神马搜索的开发,故而才有了今天的这篇文章。

先来看大发骰宝棋牌从网站日志中扒下来关于 YisouSpider 的几个记录:

1
2
3
4
5
6
42.156.136.21 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.137.44 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.138.31 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.14 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.33 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
106.11.156.57 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"

在神马站长平台官网虽然看到了关于 YisouSpider 的一些介绍,却也描述得模棱两可,基本没有任何参考而言,网络上搜索了一些也全是 YisouSpider 几年前的东西了,所以无奈还是只能自己动手来看看了。

通过上面大发骰宝棋牌扒下来的,通过通过 IP 段加上完整的 User Agent,通过 IP 观察可以发现这是同一个 IP 段,应该也就是服务器集群的一组 IP 池,基本可以判断为是神马搜索蜘蛛无疑,通过 User Agent 的内容则可以判断,一种为移动端的 User Agent,一种则为 PC 端的 User Agent。

关于 User Agent 的使用和判断方面的代码由于大发骰宝棋牌曾在“”就写到过,这里就不赘述和重复了,感兴趣的可以移步去看看。


转载请注明出处:http://vutp.cn/8764.html

打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦