在大数据时代，除直接通过用户采集，另一个主要的数据来源就是使用网络爬虫采集公开信息，爬虫的使用到了何种程度，有业内人士称，互联网50%以上，甚至更高的流量其实都是爬虫贡献的，对某些热门网页，爬虫的访问量甚至可能占据了该页面总访问量的90%以上，从技术角度来看，爬虫就是通过程序去模拟人类上网或者浏览网页或者APP行为，再从中抓取爬虫作者...。