Lxml模块使用C语言编写，解析速度比BeautifulSoup要快。用于处理Python语言中的XML和HTML。
可直接命令行pip install lxml安装。
Lxml爬虫使用
- 将有可能不合法的HTML解析为统一格式
>>>import lxml.html
>>>broken_html = '<ul class=shop><li>Price<li>Number</ul>'
>>>tree = lxml.html.fromstring(broken_html) #解析HTML
>>>fixed_html = lxml.html.tostring(tree,pretty_print=True)
>>>print(fixed_html)
<ul class="shop"><li>Price</li><li>Number</li>
</ul>
- 使用CSS选择器选择元素
lxml有几种不同的方法选择元素，CSS选择器更加简洁并且可以在解析动态内容时得以复用。
css选择器的安装：pip install cssselect
例（爬取中国天气网天气）：
import lxml.html
import urllib.requesturl = 'http://www.weather.com.cn/weather/101020100.shtml'
#模拟成浏览器
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
html = urllib.request.urlopen(url).read()
tree = lxml.html.fromstring(html)
td = tree.cssselect('p.tem')[0]
wea=td.text_content()
print(wea)
CSS选择器语法
- 选择所有标签：*
- 选择< a>标签：a (<>中字母任意，根据实际情况）
- 选择所有class="link"的元素：.link
- 选择class="link"的< a>标签：a.link
- 选择id="home"的< a>标签：a#home
- 选择父元素为< a>标签的所有< b>子标签：a > b
- 选择< a>标签内部所有< b>标签：a b
- 选择title属性为"Home"的所有< a>标签：a[title=Home]
性能分析
Lxml的性能和正则表达式几乎一样好，而且使用简单。相比之下此方法既快速又健壮，适合在各种场景使用。
部分内容参照自《用python写网络爬虫》