全网营销思路如何判断来访的IP是否是百度蜘蛛

作者:万域科技 日期:2018-12-25 浏览:
济南万域网络科技有限公司认为网络优化我们要精准定位,才能让效果事半功倍.今天我们跟大家分享就是判断百度蜘蛛ip问题.
我们的网站日志是可以真实体现网站的状态,通过网站日志我们可以清楚的看到网站每天有多少访客,每天有多少蜘蛛来抓取网站的数据,哪些数据被蜘蛛抓取了、哪些页面在请求数据的时候发现了错误。这些都是可以通过状态码来进行发现的,如果在网站日志上发现了404状态码就说明网站有一些死链接。此时就需要及时处理了!对于这些判断还是比较容易的,下面网络公司就给大家说说如何判断来访的IP地址是否是百度蜘蛛IP。
一段访问日志 上面有baiduspider的标志,但是有标志并不一定表示就是百度蜘蛛来抓取了
183.131.51.85 - - [06/Nov/2018:14:05:18 +0800] "GET / HTTP/1.1" 301 178 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
判断方式:
1.在电脑打开运行命令提示框输入"cmd"命令打开DOS窗口界面快捷键,windows键+R键
2. 我们通过dos命令来查看,我们来找两个IP段220.181.108.140和117.28.255.37,开始—运行—输入 cmd ,用命令nslookup +ip 看截图
全网营销思路如何判断来访的IP是否是百度蜘蛛ip?
如果通过命令没有查询到类似baiduspider的字样 就可以判断不是百度蜘蛛来访问的,而且是一个假的蜘蛛访问记录
全网营销思路如何判断来访的IP是否是百度蜘蛛ip?
首页
电话
短信
联系