爬虫无阻碍的几个步骤

　　爬虫要怎么做好?对于操作爬虫抓取数据的工作，要想工作不受到阻碍，那么就要做好以下几个步骤了。

　　1、cookie限制：很多网站都是要登陆后才能绕过filter进行访问，这时候必须模拟cookie。

　　2、请求加密：网站的请求如果加密过，那就看不清请求的本来面目，这时候只能靠猜测，通常加密会采用简单的编码，如：urlEncode等，如果过于复杂，只能穷尽的去尝试。

　　3、user-agent：有的网站为了防爬虫，必须要求是真正浏览器才能访问，这时候可以模拟user-agent。

　　4、曲线方案：对应PC端，很多网站做的防护比较全面，有时候可以改变一下思路，请求APP端服务试试，通常会有意想不到的收获。

　　5、IP限制：很多网站，会对爬虫IP进行限制，这时候可以选择使用代理IP，或者伪装IP。

　　再加上换ip软件，大家的爬虫项目就可以比较稳定的推进了。