高天宋

做seo的时候，我们难免不进行数据采集和数据入库。以我目前的水平，采集内容已经比较简单了，然而困难的是居然没有办法把内容导入wordpress中。准确的说并不是无法导入，而是没有办法把内容完美导入，我遇到的问题就是没有办法自动添加特色图片。

实现思路是这样的，首先安装一个插件，让外链图片自动本地化（见文尾附件）。然后才是用python3导入拼接好的内容。代码如下：

def wt_wordpress(name,des):#把内容写入wordpress
    from wordpress_xmlrpc import Client, WordPressPost
    from wordpress_xmlrpc.methods.posts import GetPosts, NewPost
    from wordpress_xmlrpc.methods.users import GetUserInfo
    from wordpress_xmlrpc.methods import posts
    from wordpress_xmlrpc.methods import taxonomies
    from wordpress_xmlrpc import WordPressTerm
    from wordpress_xmlrpc.compat import xmlrpc_client
    from wordpress_xmlrpc.methods import media, posts
    import sys
    import importlib
    import random
    
    importlib.reload(sys)
    wp = Client('http://你的域名/xmlrpc.php', '帐号', '密码')
    post = WordPressPost()
    post.title = name
    post.content = des
    post.post_status = 'publish' #文章状态，不写默认是草稿，private表示私密的，draft表示草稿，publish表示发布

    post.terms_names = {
        'post_tag':random.sample(set(['T-shirt', 'custom T-shirt','Cartoon T-shirt','Disney Animation','disney world','custom disney t shirts']), 3), #文章所属标签，没有则自动创建
        'category':random.sample(set(['T-shirt', 'custom T-shirt','Cartoon T-shirt','Disney T-shirt','custom disney t shirts']), 2) #文章所属分类，没有则自动创建
        }

    post.custom_fields = []   #自定义字段列表
    post.custom_fields.append({  #添加一个自定义字段
        'key': 'price',
        'value': 3
        })

    post.custom_fields.append({ #添加第二个自定义字段
        'key': 'ok',
        'value': '新年快乐'
        })
    post.id = wp.call(posts.NewPost(post))
    time.sleep(5)

easy-copy-paste 下载

最近有一个任务，就是要采集必应的一些图片，并要对图片进行个性化描述，然后把图片导入wordpress站点，成为一个图片站。这个任务分二部分，第一部分就是采集，通过关键词搜索，采集图片，这个没有什么好说的。第二个任务就是要整理，把采集到的图片真理成html代码。这个任务最好玩的地方是，通过微软的识图接口，为每一张图片添加特定的描述。不啰嗦，直接上代码：

from selenium import webdriver
import time,bs4,os,csv,json,re,requests
from selenium.webdriver.chrome.options import Options

'''把关键词转化为小短线链接形式'''
def key_ss(key):
    key_s=re.sub(' +','_',key)
    return key_s
def key_imgs(key):
    key_img=re.sub(' +','-',key)
    return key_img

def to_url(key):
    #url = 'https://cn.bing.com/images/search?&q='+key+'&qft=+filterui:photo-photo+filterui:imagesize-large&FORM=IRFLTR'
    url='https://cn.bing.com/images/search?sp=-1&pq='+key+'&sc=0-18&sk=&cvid=1CAF0B3BD39E45DA87946D04BA398F6F&q='+key+'&qft=+filterui:imagesize-large&FORM=BESBTB&ensearch=1'
    return url

def connect(url):#链接网络，获得html
    
    opt = webdriver.ChromeOptions()
    #opt.set_headless() #老版本设置无头
    opt.add_argument("--headless") #新版本设置无头
    opt.add_argument("--disable-gpu")
    driver = webdriver.Chrome(executable_path='C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe',options=opt) #驱动器路径
    m=0
    while m<3:
        m=m+1
        driver.set_page_load_timeout(10)
        try:
            driver.get(url)
            a=0
            while a<1:
                #下拉鼠标
                driver.execute_script("window.scrollTo(0, document.body.scrollHeight); var lenOfPage=document.body.scrollHeight; return lenOfPage;")
                time.sleep(2)
                html=driver.page_source
                a=a+1
            break
        except:
            print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'链接失败,重试',m,'次')
            print('')
            html=''
    if m>=2:
        print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'没找到页面内容，跳过此条')
        html=''
    time.sleep(1)
    driver.quit()
    return html
    

def img_urls(html):#获取图片url列表
    if html=='':
        imgs=[]
        return imgs
    else:
        bs=bs4.BeautifulSoup(html,'html.parser')    
        prourls=bs.select('.iusc')
        #driver.quit()
        n=1
        imgs=[]
        for prourl in prourls:
            prourl=json.loads(prourl.get('m'))['murl']
            imgs.append(prourl)#把多张图片变成图片列表
            n=n+1
        return imgs
    
def shitu(imgurl):
    if imgurl=='':
        return ''
    else:
        #https://www.captionbot.ai/ 在线识图工具
        url='https://captionbot.azurewebsites.net/api/messages?language=en-US'
        data={
            "Type":"CaptionRequest",
            "Content":imgurl
            }
        m=0
        while m<3:
            m=m+1
            try:
                r=requests.post(url,data=data,timeout=3)
                r.encoding='utf-8'
                des=r.text
                break
            except:
                print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'识图失败，重试中。。。。')
                time.sleep(3)
                print('')
                des=''
        #des1=re.sub('我无法完全理解这副图片，但是我看到了|。|我觉得这是','',des) #中文版
        des1=re.sub('I am not really confident, but I think it \'s a|I think it\'s a ','',des)
        es1=re.sub('I can’t really describe line drawings :\(','A beautiful line painting',des1)
        des1=re.sub('I am not really confident, but','',des1)
        return des1

def dow_img(img,n,key_img):#传入图片地址，命名参数，下载图片
    
    url=img
    m=0
    while m<3:
        m=m+1
        try:
            imgf=requests.get(url,timeout=10)
            imgf.encoding='utf-8'
            with open(img_path+key_img+str(n)+".jpg","wb")as f:
                print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'下载图片:',img)
                f.write(imgf.content)
                print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'图片存入:',img_path+key_img+str(n)+".jpg")
            break
        except:
            print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'下载',img,' ',m,'次')
            time.sleep(3)

def des_files(key_img,key,des):
    #构建文章内容
    headfile=['post_id','post_name','post_author','post_date','post_type','post_status','post_title','post_content','post_category','post_tags','custom_field']
    post_id=''
    post_name=key_img
    post_author='admin'
    post_date=''
    post_type='post'
    post_status='publish'
    post_title=key+' '+'Beautiful '+key+' pictures'
    post_content=','.join(des)
    post_category='fruits'
    post_tags=''
    custom_field=''
    file=[post_id,post_name,post_author,post_date,post_type,post_status,post_title,post_content,post_category,post_tags,custom_field]
    #写入csv
    return headfile,file


'''把内容保存为CSV格式'''
def writer_pro(headfile,file):
    n=0
    while n<3:
        n=n+1
        try:
            global csvf #申明csvf为全局变量
            csvf=open(csv_path,'a',newline='')#newline=''去除空格
            size=os.path.getsize(csv_path)
            writer=csv.writer(csvf)
            if size==0:
                writer.writerow(headfile)
                writer.writerow(file)
                csvf.close()
            else:
                writer.writerow(file)
                csvf.close()
            break
        except:
            print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'写入失败，重试第',n,'次')
            csvf.close()
            time.sleep(3)
        print('')

'''主程序开始'''
global key_path,img_path,csv_path,post_n
#设置关键词位置
key_path=r'D:\Backup\桌面\T恤\dsnkeynext.txt' #关键词
#设置图片存储位置
img_path='D:/Backup/桌面/T恤/dsnkeynext/' #设置图片存储位置，winds下用'/'，记得！
#设置CSV文件存储位置
csv_path='D:/Backup/桌面/T恤/dsnkeynext.csv'#设置csv文件保存位置winds下用'/'，记得！
#设置每篇文章的图片数量
post_n=10

with open(key_path, 'r', encoding='utf-8') as f:
    for line in f:
        key=line[:-1] #去掉换行符
        print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),':开始采集关键词',key)

        #把关键词变成下划线链接的字符串
        key_s=key_ss(key)
        key_img=key_imgs(key)

        #把关键词拼接成url
        url=to_url(key_s)

        #链接网络
        html=connect(url)

        #获取图片列表
        imgs=img_urls(html)
        if imgs==[]:
            print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'没有发现图片，跳过:',key)
            print('')
            continue
        
        #设置每篇文章的图片数量
        if len(imgs)>post_n:
            imgs=imgs[:post_n]
        else:
            imgs=imgs

        #取出每一张图片进行识图处理,得出每一张图片的描述，并把描述整理成列表
        print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),':下载和识别图片')
        des=[]
        n=1
        for img in imgs:
            d=shitu(img)#得出这张图片的描述
            imgpj=key_img+str(n)
            de='<img class="wp-image-10 size-full" src="http://customfw.com/wp-content/uploads/2020/01/'+imgpj+'.jpg" alt='+d+' width="500" height="472" /> '+d+''
            des.append(de)#把多段描述整理成列表
            #site='D:/Backup/桌面/T恤/0120-1-21/' #设置图片存储位置，winds下用'/'，记得！
            dow_img(img,n,key_img)#下载这张图片
            n=n+1
        print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),':整理成CSV内容')
        des_file=des_files(key_img,key,des) #得出CSV内容
        headfile=des_file[0]
        file=des_file[1]
        try:
            writer_pro(headfile,file)#写入CSV文本
        except:
            print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),'写入失败，跳过此条')
                
print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())),':采集完毕')

'''主程序结束'''

利用python3把内容写入wordpress博客

python3爬虫:通过关键词列表采集必应图片并整理成html导入wordpress站点

分类目录

近期文章

近期评论

近期文章

文章归档

分类目录

功能