引言
随着互联网的快速发展，网页信息日益丰富。如何从海量网页中提取所需信息，成为了一个重要课题。Beautiful Soup（简称BS4）是一个用于解析HTML和XML文档的Python库，它可以帮助我们快速提取网页中的数据。而正则表达式（Regular Expression）则是一种强大的文本处理工具，可以用于在字符串中搜索、匹配、替换和提取特定的文本。本文将结合BS4和正则表达式，揭秘高效网页信息提取技巧。
BS4简介
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。它具有以下特点：
支持Python标准库中的HTML解析器，还支持一些第三方的解析器，如lxml、html5lib等。
提供简洁易用的API，方便用户提取网页中的数据。
支持多种解析器，可根据实际需求选择合适的解析器。
正则表达式简介
正则表达式是一种用于搜索、匹配和替换字符串的工具。它使用特定的语法规则来描述一类字符串的模式，然后通过与目标字符串进行匹配，从中提取所需的信息。正则表达式在文本处理、数据清洗、信息提取等领域有着广泛的应用。
BS4与正则表达式的结合
将BS4与正则表达式结合，可以更高效地提取网页信息。以下是一些常见的应用场景：
1. 提取网页中的标题
from bs4 import BeautifulSoup
import re

html_doc = “””

Welcome to Example

“””

soup = BeautifulSoup(html_doc, “html.parser”)
title = soup.find(‘h1′, class_=’title’).text
print(title) # 输出：Welcome to Example

# 使用正则表达式提取标题
title_regex = re.compile(r’(.*?)

‘)
match = title_regex.search(html_doc)
print(match.group(1)) # 输出：Welcome to Example
2. 提取网页中的链接
from bs4 import BeautifulSoup
import re

html_doc = “””





Link 1
Link 2


“””

soup = BeautifulSoup(html_doc, “html.parser”)
links = soup.find_all(‘a’)
for link in links:
print(link.get(‘href’)) # 输出：http://www.example.com, http://www.example.org

# 使用正则表达式提取链接
link_regex = re.compile(r’








“””

soup = BeautifulSoup(html_doc, “html.parser”)
images = soup.find_all(‘img’)
for image in images:
print(image.get(‘src’)) # 输出：image1.jpg, image2.jpg

# 使用正则表达式提取图片
image_regex = re.compile(r’