当前位置: 代码迷 >> 综合 >> Beautiful Soup库应用(网络爬虫之提取)
  详细解决方案

Beautiful Soup库应用(网络爬虫之提取)

热度:127   发布时间:2023-10-23 03:23:48.0

 


目录

1.Beautiful Soup库的安装 

2. 采用BeautiSoup库解析

2.1 HTML标签格式

2.2 BeautifulSoup库的引用

2.3 BeautifulSoup库soup类

2.3.1 BeautifulSoup库 解析器

2.3.2 soup类的基本元素

2.3.2 获得基本元素的方法

2.4 基于bs4库的HTML遍历

2.4.1 HTML基本格式

2.4.2 HTML遍历类型

2.4.2.1 HTML下行遍历

2.4.2.3  HTML上行遍历

2.2.2.4 平行遍历

2.5 基于bs4库的HTML格式输出

2.5.1 bs4 prettify()方法

3. 小结


慕课课程学习笔记

1.Beautiful Soup库的安装 

Win平台: “以管理员身份运行”cmd ;执行pip install beautifulsoup4;

pycharm直接安装:

Beautiful Soup库应用(网络爬虫之提取)

 

2. 采用BeautiSoup库解析

过程如下:

import requests
from bs4 import BeautifulSoup
#获取
r = requests.get("http://python123.io/ws/demo.html")
print(r.text)
demo = r.text
#解析
soup = BeautifulSoup(demo,"html.parser")
print(soup.prettify())

代码:先获取,后解析

Beautiful Soup库应用(网络爬虫之提取)

BeautifulSoup库是 解析、遍历、维护“标签树”的功能库

2.1 HTML标签格式

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.2 BeautifulSoup库的引用

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.3 BeautifulSoup库soup类

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.3.1 BeautifulSoup库 解析器

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.3.2 soup类的基本元素

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.3.2 获得基本元素的方法

注意类型

Beautiful Soup库应用(网络爬虫之提取)

Beautiful Soup库应用(网络爬虫之提取)

 

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.4 基于bs4库的HTML遍历

 

2.4.1 HTML基本格式

 

Beautiful Soup库应用(网络爬虫之提取)

Beautiful Soup库应用(网络爬虫之提取)

 

2.4.2 HTML遍历类型

 

Beautiful Soup库应用(网络爬虫之提取)

2.4.2.1 HTML下行遍历

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.4.2.3  HTML上行遍历

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.2.2.4 平行遍历

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

 

2.5 基于bs4库的HTML格式输出

 

2.5.1 bs4 prettify()方法

Beautiful Soup库应用(网络爬虫之提取)

 

Beautiful Soup库应用(网络爬虫之提取)

Beautiful Soup库应用(网络爬虫之提取)

 

3. 小结

Beautiful Soup库应用(网络爬虫之提取)

 

 

 

  相关解决方案