在 Python 爬虫开发中，requests 和 BeautifulSoup 是两个非常常用的库。requests 用于发送 HTTP 请求，获取网页内容；BeautifulSoup 用于解析 HTML 内容，提取所需数据。今天，就让我们一起深入学习这两个库的使用方法，帮助你更好地进行爬虫开发。

一、requests 库

（一）安装 requests

pip install requests

（二）发送 HTTP 请求

1. 发送 GET 请求
import requests

response = requests.get('https://example.com')
print(response.status_code)  # 输出状态码
print(response.text)         # 输出网页内容
2. 发送 POST 请求
import requests

data = {'key': 'value'}
response = requests.post('https://example.com', data=data)
print(response.text)

（三）处理请求参数

1. 添加查询参数
import requests

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://example.com', params=params)
print(response.url)  # 输出完整的 URL
2. 添加请求头
import requests

headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get('https://example.com', headers=headers)
print(response.text)

（四）处理响应内容

1. 获取响应文本
import requests

response = requests.get('https://example.com')
print(response.text)  # 输出网页内容
2. 获取响应 JSON
import requests

response = requests.get('https://api.example.com/data')
data = response.json()  # 将响应内容解析为 JSON
print(data)

（五）异常处理

import requests
from requests.exceptions import HTTPError, ConnectionError

try:
    response = requests.get('https://example.com')
    response.raise_for_status()  # 如果状态码不是 200，抛出 HTTPError
except HTTPError as http_err:
    print(f'HTTP error occurred: {http_err}')
except ConnectionError as conn_err:
    print(f'Connection error occurred: {conn_err}')
except Exception as err:
    print(f'Other error occurred: {err}')
else:
    print('Success!')

二、BeautifulSoup 库

（一）安装 BeautifulSoup

pip install beautifulsoup4

（二）解析 HTML 内容

1. 创建 BeautifulSoup 对象
from bs4 import BeautifulSoup

html_doc = """
<html>
<head>
    <title>The Dormouse's story</title>
</head>
<body>
    <p class="title"><b>The Dormouse's story</b></p>
    <p class="story">Once upon a time there were three little sisters; and their names were
        <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
        <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
        <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
        and they lived at the bottom of a well.</p>
</body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')
2. 提取标题
print(soup.title.string)  # 输出 The Dormouse's story
3. 提取所有链接
for link in soup.find_all('a'):
    print(link.get('href'))

（三）搜索文档树

1. 按标签名搜索
print(soup.find_all('p'))  # 输出所有 <p> 标签
2. 按类名搜索
print(soup.find_all(class_='sister'))  # 输出所有 class="sister" 的标签
3. 按 ID 搜索
print(soup.find(id='link1'))  # 输出 id="link1" 的标签

（四）导航文档树

1. 获取子标签
for child in soup.body.children:
    print(child)
2. 获取父标签
print(soup.a.parent.name)  # 输出 <a> 标签的父标签名称

（五）修改文档树

1. 添加新标签
new_tag = soup.new_tag('li')
new_tag.string = 'New item'
soup.ul.append(new_tag)
print(soup.ul)
2. 删除标签
soup.a.decompose()
print(soup.p)

三、结合 requests 和 BeautifulSoup

（一）抓取网页数据

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 提取标题
print(soup.title.string)

# 提取所有链接
for link in soup.find_all('a'):
    print(link.get('href'))

四、总结

通过本文的介绍，你已经全面掌握了 requests 和 BeautifulSoup 的使用方法。以下是关键点总结：

  • requests：用于发送 HTTP 请求，获取网页内容。

    • 发送 GET 和 POST 请求。
    • 处理请求参数，如查询参数和请求头。
    • 处理响应内容，如获取响应文本和 JSON。
    • 异常处理，处理 HTTP 错误和连接错误。

  • BeautifulSoup：用于解析 HTML 内容，提取所需数据。

    • 创建 BeautifulSoup 对象，解析 HTML 文档。
    • 搜索文档树，按标签名、类名、ID 搜索。
    • 导航文档树，获取子标签和父标签。
    • 修改文档树，添加和删除标签。
# python # 爬虫 # beautifulsoup
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

SeedVR2终极指南：如何用单步扩散模型实现专业级视频修复

还在为老旧视频的模糊画质而烦恼吗？面对抖动严重的监控录像或褪色的家庭影像，你是否曾希望有一种简单高效的修复方案？SeedVR2正是为解决这些痛点而生的一站式视频修复工具。作为字节跳动推出的先进视频修复模型，它能够在单步推理中实现专业级的视频质量提升，彻底改变了传统视频修复的工作流程。## 核心价值：为什么选择SeedVR2进行视频修复？**传统视频修复的三大瓶颈**：1. **计算成本高

avatar AI Agent技术社区

深度解析Amlogic S9xxx电视盒子Armbian系统：从闲置设备到Linux服务器的终极实战指南

你是否拥有一台闲置的Amlogic S9xxx系列电视盒子？想让它摆脱单一的视频播放功能，变身为功能强大的Linux服务器、开发平台或家庭媒体中心？本指南将为你详细解析如何通过Armbian系统实现这一转变，让你的电视盒子重获新生，成为高性能的Linux设备。Armbian系统基于Debian/Ubuntu构建，专为ARM芯片优化，提供了完整的Linux生态支持。## 🎯 核心价值与独特优势

avatar AI Agent技术社区

CANN/runtime Event管理API

本章节描述 CANN Runtime 的 Event 管理接口，用于事件的创建、记录、同步、计时及 IPC 跨进程共享。- [`aclError aclrtCreateEvent(aclrtEvent *event)`](#aclrtCreateEvent)：创建Event，创建出来的Event可用于统计两个Event之间的耗时、多Stream之间的任务同步等场景。- [`aclError

avatar AI Agent技术社区