爬虫与ip所进行的协同合作在网络中是非常常见的,对于接触过网络爬虫的用户应该不陌生了。
爬虫被封常见解决方式:
1、技术处理,调节网页爬虫的请求频率
在程序中使用代理;使用高级爬虫(不定周期爬)
如果在公司被封ip,则可考虑重启路由,重新获取公网ip自动更改IP地址反爬虫封锁,支持多线程,可参考(待校验)
3、网络处理,与第2点类似,使用代理ip服务器访问
被封ip后,本地ip不能访问该网站,但是设置了代理服务器后,浏览器可以访问该网站。注意:程序不可以访问网站,故可以给请求的http设置代理。可以在命令行加路由,一般格式为:route add ip地址 mask 子网掩码 默认网关前提:把掩码要改成跟上面掩码一样。这个路由重新开机就没有了。可以 route add -p ip地址 mask 子网掩码 默认网关。这样的话,重新开机都在的。
大家也可以选择自己所习惯使用的更改ip渠道来完成工作。
本文源自智连IP官方网站(www.zhilianip.com),转载请注明出处,否则追究法律责任!!