python爬虫:通过商品类目采集亚马逊商品数据

只需要找到亚马逊商品类别,然后复制它的url,就可以快速采集亚马逊商品数据了。这种采集方法最大每次可以采集400商品,大概有2万条左右商品。亚马逊是不喜欢被采集的,所以我们通过自动拨号的方法切换ip,绕过亚马逊的反爬虫政策。该爬虫通过采用的是控制浏览器打开网站,所以需要安装chrome浏览器,需要安装控制chrome浏览器的chromedriver。该爬虫的采集速度大概是10秒每条。具体代码如下: Read more