Python3 HTML数据解析(lxml/BeautifulSoup/JsonPath)
本文由 Luzhuo 编写,转发请保留该信息.
原文: https://blog.csdn.net/Rozol/article/details/79968795
以下代码以Python3.6.1为例
Less is more!
lxml
#!/usr/bin/env python
# coding=utf-8
__author__ = 'Luzhuo'
__date__ = '2018/4/16''''lxml 是一个 HTML/XML 的解析器, 主要用于解析和提取 HTML/XML 数据lxml由 C 实现的, 我们可以用 XPath 语法来快速的定位结点pip install lxmllxml-4.2.1xpath文档: http://www.w3school.com.cn/xpath/'''from lxml import etreetext = ''' <div><ul><li class="item_0"><a href="/i/0123">条目1</a></li><li class="item_1"><a href="/i/01234">条目2</a></li><li class="item_2"><a href="/i/012345">条目3</a></li><li class="item_0"><a href="/i/0123456">条目4</a><li class="item_1"><a href="/i/01234567">条目5</a></ul> </div> '''# 第三方库lxml的演示
def lxml_demo():# 解析成html, 会自动修正htmlhtml = etree.HTML(text)# html = etree.parse('text.html') # 从文件解析print(etree.tostring(html))# 使用xpath匹配result = html.xpath('//li') # 所有<li>result = html.xpath('//li/@class') # 所有<li>下的class属性result = html.xpath('//li/a[@href="/i/0123456"]') # 所有<li>下<a>标签href属性为"/i/0123456"的标签result = html.xpath(