006 Beautifulsoup_综合

- 什么是BeautifulSoup
- 安装
- 用法详解
  - Beautiful解析库
  - 基本使用
  - 标签选择器
    - 选择元素
    - 获取名称
    - 获取属性
    - 获取内容
    - 嵌套选择
    - 子节点和子孙节点
    - 父节点和先祖节点
    - 兄弟节点
  - 标准选择器
    - find_allnamerecursivetextkwargs
    - findnameattrsrecursivetextkwargs
  - CSS选择器
    - 通过标签名查找
    - 通过类名查找
    - 通过 id 名查找
    - 组合查找
    - 属性查找
  - 总结

1.什么是BeautifulSoup

灵活方便的网页解析库，处理高效，支持多种解析器。

利用它不用编写正则表达式即可方便的实现网页信息的提取。

2.安装

pip install beautifulsoup4

3.用法详解

1.Beautiful解析库

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)	Python的内置标准库 - 执行速度适中 - 文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快文档，容错能力强，	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, [“lxml”, “xml”])BeautifulSoup(markup, “xml”)	速度快，唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容错性，以浏览器的方式解析文档，生成HTML5格式的文档	速度慢，不依赖外部扩展

2.基本使用

我们创建一个字符串，后面的例子我们便会用它来演示

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"lxml")
print(soup.prettify())
print(soup.title.string)

3.标签选择器

1.选择元素

依旧使用上面的代码

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title)
print(type(soup.title))
print(soup.head)
print(soup.p)

这种选择方式只会输出第一个选择结果，p标签有多个，但是结果只会返回到匹配的第一跟

2.获取名称

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.title.name)

:title
soup.title.name

3.获取属性

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.attrs['name'])
print(soup.p['name'])

soup.p.attrs[‘name’]或soup.p[‘name’]

4.获取内容

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.string)

soup.p.string 获取标签中的内容

5.嵌套选择

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.head.title.string)

6.子节点和子孙节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.contents)

.contents可以获取到标签的所有的子节点返回值是一个列表

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.children)    #.children是一个迭代器
for i,child in enumerate(soup.p.children):  #循环取到索引,节点内容print(i,child)

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.p.descendants)
for i,child in enumerate(soup.p.descendants):print(i,child)

.descendants可以获取到所有的子孙节点

7.父节点和先祖节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.a.parent)

.parent获取所有的父节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(list(enumerate(soup.a.parents)))

enumerate枚举法把结果转化成list
.parents获取所有的祖先节点

8.兄弟节点

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(list(enumerate(soup.a.next_siblings)))
print(list(enumerate(soup.a.previous_siblings)))

.next_siblings获取后一个兄弟节点
.previous_siblings获取前一个兄弟节点

4.标准选择器

1.find_all(name,recursive,text,**kwargs)

可根据标签名、属性、内容查找文档

2.find(name,attrs,recursive,text,**kwargs)

find_parents() find_parent()

find_parents()返回所有的祖先节点， find_parent()返回直接父节点

find_next_siblings() find_next_sibling()

find_next_siblings()返回后面所有兄弟节点，find_next_sibling()返回后面第一个兄弟节点

find_previous_siblings() find_previous_sibling()

find_previous_siblings()返回前面所有的兄弟节点，find_previous_sibling()返回前面第一个兄弟节点

find_all_next() find_next()

find_all_next() 返回节点后所有符合条件的节点，find_next()返回第一个符合条件的节点

find_all_previous() find_previous

find_all_previous()返回节点后所有符合条件的节点，find_previous()返回第一个符合条件的节点

5.CSS选择器

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加#，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

1.通过标签名查找

print soup.select('title')

print soup.select('a')

print soup.select('b')

2.通过类名查找

print soup.select('.sister')

3.通过 id 名查找

print soup.select('#link1')

4.组合查找

组合查找即和写class文件时，标签名与类名、id名进行的组合原理是一样的，例如查找p标签中，id 等于link1的内容，二者需要用空格分开

print soup.select('p #link1')

直接子标签查找

print soup.select("head > title")

5.属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select('a[class="sister"]')

print soup.select('a[href="http://example.com/elsie"]')

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print soup.select('p a[href="http://example.com/elsie"]')

以上的 select 方法返回的结果都是列表形式，可以遍历形式输出，然后用 get_text() 方法来获取它的内容

6.总结

本篇内容比较多，把Beautiful Soup的方法进行了大部分整理和总结，不过这还不算完全，仍然有BeautifulSoup的修改删除功能，不过这些功能用得比较少，只整理了查找提取的方法，希望对大家有帮助！熟练掌握了 Beautiful Soup，一定会给你带来太多方便，加油吧！