爬虫限制ip的高效解决方法

　　大数据时代之下有很多的爬虫在进行，不少网站也不会那么容易就让自己的信息被抓取，这时就会有一定的限制。

　　有些网站为有效遏制数据爬取和非法攻击等行为，保证普通用户访问速度和查询效果，网站系统增加了网络安全设备，强化了安全防护机制，预先设置了安全访问规则。

　　如果遇到ip限制了，可以试试这么解决：

　　在有外网IP的机器上，部署代理服务器。你的程序，使用轮训替换代理服务器来访问想要采集的网站。既然单个爬虫被控制了速度，但我们可以使用多个爬虫同时去抓取啊!是的，我们可以使用多线程，多进程，这里要配合使用代理，不一样的线程使用不同的IP地址，就好像同时有不同的用户在访问，这样就能极大地提高爬虫的爬取效率了。就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。

　　这个解决方案适合需要频繁抓取的时候选择，方便大家解除ip限制。