大数据的采集与研究不简单

　　一般说起爬虫，大家都会想到python以及代理ip，这三者是大数据中的黄金搭档了。

　　爬虫在抓取数据的时候，被目标网站禁止是很常见的，这是因为网站都有反爬虫策略，反爬虫就是根据IP识别的。访问网站的IP地址是会被记录的，如果频繁访问就会被认为是爬虫，会进行限制或者禁止IP。

　　大数据采集可不简单，数据的同步我们可以由以下几种方法来开展：

　　直接数据源同步：

　　是指直接的连接业务数据库，通过规范的接口(如JDBC)去读取目标数据库的数据。这种方式比较容易实现，但是如果业务量比较大的数据源，可能会对性能有所影响。

　　数据库日志同步：

　　是指基于源数据库的日志文件进行同步。现在大多数数据库都支持生成数据日志文件，并且支持用数据日志文件来恢复数据。因此可以使用这个数据日志文件来进行增量同步。

　　这种方式对系统性能影响较小，同步效率也较高。

　　生成数据文件同步：

　　是指从数据源系统现生成数据文件，然后通过文件系统同步到目标数据库里。

　　这种方式适合数据源比较分散的场景，在数据文件传输前后必须做校验，同时还需要适当进行文件的压缩和加密，以提高效率、保障安全。

　　要做好数据采集工作，不仅要针对网站的反爬虫机制做研究，还要找到最优效率的采集方式。