Python爬虫html转markdown

Python爬虫html转markdown

说明

动态博客转静态博客(例如typecho转hexo)，在上传静态博客文章时往往需要md文件

通过这个程序我我们可以很方便地以爬虫的方式获取markdown文档

代码

下面给出代码框架，根据需要进行修改即可运行

import requests
from bs4 import BeautifulSoup
import html2text as ht

url = '' #此处写你要爬虫的url

#爬虫
res = requests.get(url)
data = res.content
cont = BeautifulSoup(data, 'html.parser')
#获取包含文章内容的标签 attrs后跟的是最外层标签属性，根据爬取网站的实际情况进行修改
data = cont.find('div',attrs={'id':'post'}).text

#对上述字符串data进行处理，去除不能转换成markdown的标签，比如div等
#该部分代码根据需要自行添加，此处不给出

#转换
text_maker = ht.HTML2Text()
text_maker.bypass_tables = False
text = text_maker.handle(data)

#对获取的md格式的文本进行操作，比如写入到一个文件中，此处作为演示直接输出
print(text)