Google高级搜索技巧之高级语法查询指令

按标题搜索帮助google限定了你搜索的结果,只有那些标题含有你指定的关键词的页面会返回给你。例如“intitle: login password” 会返回标题含有login,而页面里面随便什么地方含有password的网页给你。 Read more

python3实现自动拨号

要作出一款好爬虫,和服务器斗智斗勇少不了,其中换ip就是一种常用的手段。很多时候,重新拨号就能实现换ip的目的了。重新拨号当然不能手动搞,我们要用python3来实现,代码如下: Read more

python3接受html表单内容的一个简单案例

关于pytyon3爬虫,我已经达到了为工作服务器的水平了。最近就想让代码运行到服务器上,通过表单提交一些参数,然后就可以完成爬取内容的任务了。这样下来,还可以把我做出来的东西开放给更多人使用。搜索了一下,用python3搞web开发大家都是用框架的,对比了一下,最终选择了bottle。选择bottle的原因很简单,这个框架比较简单。 Read more

利用python3把内容写入wordpress博客

做seo的时候,我们难免不进行数据采集和数据入库。以我目前的水平,采集内容已经比较简单了,然而困难的是居然没有办法把内容导入wordpress中。准确的说并不是无法导入,而是没有办法把内容完美导入,我遇到的问题就是没有办法自动添加特色图片。 Read more

python3爬虫:通过关键词列表采集必应图片并整理成html导入wordpress站点

最近有一个任务,就是要采集必应的一些图片,并要对图片进行个性化描述,然后把图片导入wordpress站点,成为一个图片站。这个任务分二部分,第一部分就是采集,通过关键词搜索,采集图片,这个没有什么好说的。第二个任务就是要整理,把采集到的图片真理成html代码。这个任务最好玩的地方是,通过微软的识图接口,为每一张图片添加特定的描述。不啰嗦,直接上代码: Read more

python3爬虫:输入关键词采集必应上的图片并识别图片内容

要做一个图片网站,需要导入很多图片。从SEO角度来讲,就需要给每一张图片添加文字说明。然而图片太多,人工做这件事情就会变得特别枯燥无味了。我又想到了python3。基本思路是,首先找到一个识图IPI,然后一张一张的提交图片过去,然后读取识别的内容。具体代码如下: Read more

python3爬虫:采集阿里巴巴国际站商品列表(自动下拉加载)

用requests.get(url)采集阿里巴巴商品列表的时候,每页只能采集8条。通过分析发现,更多的产品URL需要拖动鼠标下拉才能加载。网上看了一些资料,说需要找到JS入口。搞了几次,我依然找不到。最后只能采用加载浏览器来实现了。加载浏览器采集,首先要下载浏览器驱动器,然后才能顺利运行。代码如下: Read more

用python3采集shopify站点商品

最近接到一个任务,要用wordpress+woocommerce建立几百个电商站点,站点上要有足够的商品数据。我当然是有自己团队的,不过目前我的团队就只有我和另外一个同事。这个任务的难点是商品数据,首先想到的是采集。尝试了火车头和八爪鱼,发现并不能满足我的需求。于是打算用python3来试试。 Read more

用python3采集阿里巴巴国际站商品:上

如果你是搞跨境电商独立站的,而你又打算用SEO的方式做推广,你会发现你需要采集这个功能。采集的工具很多,除了火车头、八爪鱼外,还有很多工具都可以实现采集。然而入坑后你会发现,采集工具学起来并不简单,购买现成的采集规则又挺贵的,更总要的是,采集工具在很多时候根本无法满足自己的需求。 Read more

新加坡《数字代币发行指引》修订亮点及其对区块链行业的影响

新加坡金融监管局于2018年11月30日修订了其《数字代币发行指引》(下称《新指引》),修订和补充了2017年11月14日颁布的《数字代币发行指引》(下称《旧指引》)。这是新加坡政府对数字代币发行出台的新政策,值得业界重视。我们对修改主要亮点进行梳理,并对其业界影响做简要分析,供业界参考: Read more