C#网页爬虫与HTML内容采集实战教程

高杉峻

400人浏览 · 2025-08-12 11:40:37

高杉峻 · 2025-08-12 11:40:37 发布

简介：网页爬虫是一种自动化程序，用于从互联网上抓取HTML文档信息。本教程将详细介绍如何在C#中构建网页爬虫，利用 HttpClient 类进行网络请求以及 HtmlAgilityPack 库解析HTML文档。教程还将介绍HTML解析技术，如XPath和CSS选择器，以及如何处理反爬虫策略，确保爬虫的合法合规使用。通过学习本教程，读者将能够掌握构建C#网页爬虫的核心技术，并应用到实际的爬虫工程中。

1. C#网页爬虫基础

1.1 网页爬虫简介

网页爬虫是自动浏览万维网并收集特定数据的程序。在C#中，开发者能够利用强大的.NET框架来实现功能丰富的爬虫。本章将带你了解网页爬虫的基本概念与C#实现爬虫的基础知识。

1.2 爬虫的必要性与应用场景

在信息爆炸的时代，爬虫技术帮助我们自动化收集与整理网络上的数据。从搜索引擎的索引更新，到市场数据的挖掘分析，爬虫为各行各业提供了数据收集的便利。

1.3 C#爬虫的优势

C#作为一种成熟的编程语言，提供了丰富的库和框架支持网页爬虫的开发。其类型安全和丰富的API，使得处理网络请求、数据解析与异常处理等任务更加高效可靠。

2. 使用 `HttpClient` 类进行网络请求

2.1 `HttpClient` 的安装与配置

2.1.1 环境配置和安装

在现代的软件开发中，网络请求是不可或缺的一部分。C# 提供了多种方式来实现网络请求，其中 HttpClient 类是一个非常流行的选择。 HttpClient 是一个处理HTTP请求和响应的类，它位于 System.Net.Http 命名空间中。

首先，确保您的项目环境中已经安装了 System.Net.Http 包。如果您的项目是基于 .NET Framework 或者 .NET Core，通常情况下 HttpClient 类已经预安装在标准库中。如果不是，可以通过NuGet包管理器来安装：

Install-Package System.Net.Http

在项目中引用 System.Net.Http 命名空间，即可使用 HttpClient 类：

using System.Net.Http;

2.1.2 `HttpClient` 的基本使用

创建一个 HttpClient 实例非常简单，您只需要进行初始化：

HttpClient client = new HttpClient();

使用 HttpClient 发起一个HTTP请求也很直观。例如，获取一个网页的HTML内容：

HttpResponseMessage response = await client.GetAsync("http://example.com");
string responseBody = await response.Content.ReadAsStringAsync();

在上述代码中，我们使用了 GetAsync 方法发送一个HTTP GET请求到指定的URL。通过 ReadAsStringAsync 方法，我们可以得到服务器响应的字符串内容。

HttpClient 还可以用来执行HTTP POST请求，通过 PostAsync 方法可以实现：

var content = new StringContent("key=value", Encoding.UTF8, "application/x-www-form-urlencoded");
HttpResponseMessage response = await client.PostAsync("http://example.com", content);

在上述例子中，我们构造了一个简单的键值对作为HTTP POST请求的内容。

2.2 发送网络请求和接收响应

2.2.1 GET和POST请求方法

HttpClient 类提供了多种发送请求的方法，主要包括 GET 和 POST。GET用于检索数据，而 POST 用于提交数据。尽管 HttpClient 还提供了其他方法，例如 PutAsync 、 DeleteAsync 等，但最常见的用途还是 GET 和 POST。

发送 GET 请求的代码如下：

HttpResponseMessage getResponse = await client.GetAsync("http://example.com/api/data");

获取响应内容：

string getData = await getResponse.Content.ReadAsStringAsync();

对于 POST 请求，通常需要发送一些数据：

using var content = new FormUrlEncodedContent(new Dictionary<string, string>
{
    {"key1", "value1"},
    {"key2", "value2"}
});
HttpResponseMessage postResponse = await client.PostAsync("http://example.com/api/data", content);

接收响应的方式与 GET 请求相同。

2.2.2 处理HTTP响应

当我们通过 HttpClient 发起请求后，会接收到一个 HttpResponseMessage 实例。这个实例包含了服务器对请求的响应，包括状态码、响应头、响应体等信息。

获取响应状态码：

HttpResponseMessage response = await client.GetAsync("http://example.com");
int statusCode = (int)response.StatusCode;

例如，检查是否成功访问：

if (response.IsSuccessStatusCode)
{
    // 请求成功
}
else
{
    // 请求失败，获取错误信息
}

获取响应头信息：

IEnumerable<string> values;
if (response.Headers.TryGetValues("Content-Type", out values))
{
    string contentType = values.First();
}

处理响应体：

string responseBody = await response.Content.ReadAsStringAsync();

以上这些代码片段展示了如何使用 HttpClient 类发送网络请求，并处理响应的基本方法。下面将继续探讨如何实现高级网络请求特性，例如异步请求和扩展方法。

2.3 高级网络请求特性

2.3.1 异步请求的实现

异步编程在处理网络请求时尤其有用，因为它允许应用程序在等待服务器响应时继续执行其他任务，从而提高效率。 HttpClient 类完全支持异步操作。

使用 GetAsync 方法的异步版本：

Task<HttpResponseMessage> responseTask = client.GetAsync("http://example.com/api/data");
// 其他代码可以在等待响应的时候执行

等待响应：

HttpResponseMessage response = await responseTask;

异步请求可以大大减少应用程序对等待响应的阻塞时间。

2.3.2 请求和响应的扩展方法

HttpClient 类也支持扩展方法，这些方法允许我们在不修改原始类的情况下添加新的功能。这是一个非常强大的特性，允许开发者按照自己的需求定制请求和响应的行为。

例如，创建一个用于GET请求的扩展方法：

public static class HttpClientExtensions
{
    public static async Task<T> GetAsync<T>(this HttpClient client, string url)
    {
        HttpResponseMessage response = await client.GetAsync(url);
        string stringData = await response.Content.ReadAsStringAsync();
        return Deserialize<T>(stringData);
    }

    private static T Deserialize<T>(string data)
    {
        // 实现JSON或XML的反序列化
    }
}

使用上述扩展方法：

var result = await client.GetAsync<MyObject>("http://example.com/api/data");

在这个扩展方法中，我们将响应的字符串内容反序列化为一个指定类型的对象 T 。扩展方法不仅使代码更加清晰，而且使得 HttpClient 的使用更加灵活和强大。

HttpClient 的强大之处不仅体现在其提供的基本功能，还有其可扩展性和异步处理能力，使其成为处理网络请求的首选工具。在下一章节中，我们将深入了解如何使用 HtmlAgilityPack 库进行HTML文档的解析和数据提取。

3. `HtmlAgilityPack` 库HTML解析

在当前的网络环境中，网页内容的提取与解析是信息抓取不可或缺的一步。 HtmlAgilityPack 作为C#中强大的HTML解析库，可为开发者提供丰富的功能以操作和分析HTML文档。本章节将深入探讨 HtmlAgilityPack 库的使用方法，包括如何安装导入、加载解析HTML文档以及提取与操作数据节点。

3.1 `HtmlAgilityPack` 的安装与导入

3.1.1 库的安装过程

要开始使用 HtmlAgilityPack ，首要任务是将其添加到项目中。由于 HtmlAgilityPack 并非.NET Core平台自带的库，因此需要单独安装。

首先，打开您的项目，并找到 project.json 文件（在.NET Core项目中）或者直接在项目中找到 packages.config 文件（在.NET Framework项目中）。接着，添加对应的依赖项：

对于.NET Core项目：

{
    "dependencies": {
        "HtmlAgilityPack": "1.11.29"
    }
}

对于.NET Framework项目：

在 packages.config 文件中添加以下行：

<package id="HtmlAgilityPack" version="1.11.29" targetFramework="net461" />

安装完成后，您可能需要重启IDE以确保库正确加载。

3.1.2 导入项目和使用声明

安装完成后，就可以在项目代码中导入并使用 HtmlAgilityPack 了。首先，在文件顶部使用 using 指令引入命名空间：

using HtmlAgilityPack;

一旦导入完成，您便可以创建 HtmlDocument 的实例，并开始加载和解析HTML文档。

3.2 HTML文档的加载和解析

3.2.1 加载HTML文档

加载HTML文档是HTML解析的第一步。 HtmlAgilityPack 提供了多种方法来加载HTML内容，包括从字符串、文件或URL加载。

使用以下代码示例加载一个HTML字符串：

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(htmlString);  // htmlString 是包含了HTML内容的字符串

从文件加载HTML：

var htmlDoc = new HtmlDocument();
htmlDoc.Load("path/to/your/file.html");  // 指定HTML文件的路径

从URL加载HTML：

var htmlDoc = new HtmlDocument();
htmlDoc.Load("http://example.com");  // 替换为您需要爬取的网页地址

3.2.2 节点的遍历和查询

加载文档之后，下一步便是遍历和查询文档中的节点。 HtmlAgilityPack 提供了强大的节点遍历和查询功能，可以通过XPath或CSS选择器来定位特定的HTML元素。

使用XPath查询节点：

var nodes = htmlDoc.DocumentNode.SelectNodes("//div[@class='example']"); // 查找所有class为example的div元素

使用CSS选择器查询节点：

var nodes = htmlDoc.QuerySelectorAll("div.example"); // 使用CSS选择器查询

一旦您获得了节点集合，就可以对这些节点进行进一步的操作，比如提取文本信息、属性、子节点等。

3.3 数据提取和节点操作

3.3.1 提取节点中的数据

从找到的HTML节点中提取数据，通常涉及到文本内容的提取，以及属性的提取。下面的代码展示了如何提取特定节点的文本和属性值。

获取节点内的文本：

string text = nodes[0].InnerText; // 获取第一个节点的文本内容

获取节点属性的值：

string value = nodes[0].GetAttributeValue("href", string.Empty); // 获取第一个节点的href属性值，如果不存在则返回空字符串

3.3.2 节点的增删改查操作

在HTML文档加载到内存之后， HtmlAgilityPack 同样支持对节点进行修改操作，包括添加新节点、删除已有节点、修改节点属性等。

添加新节点：

var newNode = htmlDoc.CreateElement("p"); // 创建一个新的段落元素
newNode.InnerText = "This is a new paragraph"; // 设置节点文本
htmlDoc.DocumentNode.AppendChild(newNode); // 将新节点添加到文档末尾

删除节点：

var nodeToDelete = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='example']"); // 查找要删除的节点
if (nodeToDelete != null) 
{
    nodeToDelete.Remove(); // 删除找到的节点
}

修改节点属性：

var nodeToEdit = htmlDoc.DocumentNode.SelectSingleNode("//a[@href='example.html']"); // 查找需要修改的a标签节点
if (nodeToEdit != null) 
{
    nodeToEdit.SetAttributeValue("href", "newexample.html"); // 修改href属性值
}

在进行节点操作时，开发者应考虑文档的结构与元素的父子关系，以及对文档结构的影响。

以上便是对 HtmlAgilityPack 进行HTML解析的详细教程。我们从安装导入开始，逐步介绍如何加载和解析HTML文档，并探讨了如何进行数据提取和节点操作。 HtmlAgilityPack 提供了丰富的功能和灵活的接口，使得HTML内容的提取与处理变得简单高效。通过本章节的介绍，读者应能掌握 HtmlAgilityPack 在网页数据抓取中的应用。

请注意，为了更好地满足目标人群的需求，本章节通过引入实际代码示例，展示了 HtmlAgilityPack 的安装与导入、HTML文档的加载和解析以及数据提取和节点操作的具体步骤。文章内容结构清晰、由浅入深，旨在对IT行业和相关行业的5年以上从业者提供深度的指导和帮助。

4. XPath与CSS选择器的应用

4.1 XPath选择器的使用

4.1.1 XPath的基本语法

XPath 是一种在 XML 文档中查找信息的语言，它也被广泛用于 HTML 文档中。XPath 提供了一种灵活的方式来定位 HTML 元素，无论是直接子元素还是嵌套在深处的元素。在 C# 网页爬虫中， HtmlAgilityPack 库将 XPath 作为其核心机制来查询和提取 HTML 文档中的数据。

XPath 选择器的基本语法包括元素节点路径、属性节点路径以及它们的组合使用。例如， //div[@class='example'] 选择所有类名为 ‘example’ 的 div 元素。路径表达式可以非常复杂，包含通配符、轴（axes）、谓词（predicates）等。

<div class="example">
  <p>Sample Paragraph</p>
</div>

4.1.2 XPath的选择器应用实例

在实际应用中，XPath 可以用来定位 HTML 文档中具有特定属性的元素。比如，下面的代码示例演示了如何使用 XPath 在一个 HTML 字符串中提取所有 href 属性为特定 URL 的 a 标签的文本内容。

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(htmlString); // htmlString 包含了HTML内容

// 选择所有的a标签，其中href属性等于指定的URL
var xpathExpression = "//a[@href='https://example.com']";
var nodes = htmlDoc.DocumentNode.SelectNodes(xpathExpression);

if (nodes != null)
{
    foreach (var node in nodes)
    {
        // 输出每个匹配节点的文本内容
        Console.WriteLine(node.InnerText);
    }
}

4.1.3 XPath进阶用法

XPath 还支持更高级的用法，例如轴（axes）来定位节点的相对位置，函数来进行更复杂的查询。例如，使用 following-sibling 轴可以定位指定节点之后的所有同级节点，而 contains() 函数可以帮助查询包含特定文本的节点。

4.2 CSS选择器的使用

4.2.1 CSS选择器的语法结构

CSS 选择器是另一种广泛应用于网页开发中的选择机制，同样被用于爬虫技术中提取 HTML 元素。CSS 选择器简洁明了，易于理解和使用，适合快速定位具有特定类、ID 或其他属性的 HTML 元素。

CSS 选择器的基本语法包含元素类型、类选择器（ . ）、ID 选择器（ # ）以及属性选择器（ [] ）。例如， div.example 选择所有类名为 ‘example’ 的 div 元素，而 #uniqueId 选择具有 ‘uniqueId’ ID 的元素。

4.2.2 CSS选择器在C#中的应用

在 C# 中，我们可以使用 HtmlAgilityPack 库支持的 CssSelect() 方法来应用 CSS 选择器。以下代码演示了如何选择所有具有特定类名的元素，并输出它们的文本内容。

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(htmlString);

// 使用CSS选择器选取所有class="example"的元素
var cssNodes = htmlDoc.DocumentNode.CssSelect(".example");

foreach (var node in cssNodes)
{
    // 输出每个匹配节点的文本内容
    Console.WriteLine(node.InnerText);
}

4.2.3 CSS选择器进阶用法

CSS 选择器同样支持更为复杂的组合查询，例如结合伪类选择器如 :hover 和 :first-child ，以及伪元素选择器如 ::before 和 ::after 。这些进阶选择器为网页数据的提取提供了灵活性。

4.3 XPath与CSS选择器的对比分析

4.3.1 选择器性能比较

在选择器性能方面，通常 XPath 的灵活性和强大功能是以性能损耗为代价的。CSS 选择器通常会更快，因为它们的处理方式更为简单直接。然而，选择器性能取决于具体的浏览器或库实现以及查询的复杂度。在某些情况下，两者在性能上的差异几乎可以忽略不计。

4.3.2 使用场景的推荐

在选择使用 XPath 还是 CSS 选择器时，应考虑项目的具体需求。对于结构简单、规则清晰的 HTML 文档，CSS 选择器往往更加高效。而对于需要高度定制化查询，特别是涉及复杂嵌套关系或需要应用多个条件的场景，XPath 则能提供更加强大的功能。

选择器类型	优点	缺点
XPath	强大的表达能力，适用于复杂查询	可能比CSS选择器慢一些
CSS	简洁明了，执行效率高	适用于相对简单的规则，不适用于复杂的查询

通过细致的比较和考量，我们能够根据项目需要选择合适的查询方式，以提高开发效率和程序性能。在实际操作中，灵活运用这两种选择器，可以为网页数据提取提供更加准确和高效的方法。

5. 反爬虫策略处理及法律合规

5.1 常见的反爬虫技术与应对

反爬虫技术是网站运营者为了保护网站数据不被无限制地抓取而使用的一系列技术手段。本节我们将介绍常见的几种反爬虫技术以及如何应对它们。

5.1.1 检测机制识别与绕过

很多网站通过检测请求模式来识别爬虫。例如，网站可能会检查请求头中的User-Agent字段，或者通过分析请求间隔来判断是否为自动化脚本。

要绕过这类检测，我们可以采取以下措施：
1. 设置合理的请求间隔，模拟真实用户的浏览行为。
2. 修改请求头信息，使用不同的User-Agent。
3. 在可能的情况下使用代理IP地址。

代码示例：

using System.Net.Http;
using System.Threading.Tasks;

public class AntiScrapingExample
{
    private HttpClient _httpClient = new HttpClient();
    public async Task绕过反爬虫检测()
    {
        // 修改请求头，模拟浏览器
        _httpClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");

        // 发送请求
        HttpResponseMessage response = await _httpClient.GetAsync("https://example.com");

        // 处理响应
        string content = await response.Content.ReadAsStringAsync();
        // ...
    }
}

5.1.2 伪装请求头和Cookies

有些网站需要特定的Cookies或者在请求头中包含特定的信息才能正常访问。这时候，我们需要分析网站的请求，以确定需要伪装哪些请求头或Cookies。

要实现伪装，可以使用以下方法：
1. 分析网站的请求和响应，确定必要的请求头或Cookies。
2. 在发送请求之前，添加这些必要的请求头或Cookies。

代码示例：

public async Task伪装请求头和Cookies()
{
    // 添加必要的Cookies
    _httpClient.DefaultRequestHeaders.Add("Cookie", "session_id=12345; user_id=67890");
    // 添加其他请求头
    _httpClient.DefaultRequestHeaders.Add("Accept", "application/json");
    _httpClient.DefaultRequestHeaders.Add("X-Custom-Header", "CustomValue");
    // 发送请求并处理响应
    // ...
}

5.2 服务器信息和请求限制

除了检测机制外，网站还可能通过限制信息和请求频率来应对爬虫程序。

5.2.1 控制请求频率

为了减少对服务器的压力并防止爬虫程序的频繁访问，可以主动控制请求的频率。

实施措施包括：
1. 使用定时器，控制两个请求之间的时间间隔。
2. 在请求间隔内，进行数据处理或其他任务。

代码示例：

using System.Timers;

public class RequestThrottling
{
    private Timer _timer = new Timer();
    private int _interval = 1000; // 1秒

    public RequestThrottling()
    {
        _timer.Elapsed += OnTimedEvent;
        _timer.Interval = _interval;
    }

    private void OnTimedEvent(object sender, ElapsedEventArgs e)
    {
        // 发送请求
        // ...
        // 重置定时器
        _timer.Enabled = false;
        _timer.Start();
    }
}

5.2.2 用户代理字符串的修改

频繁使用同一User-Agent字符串发送请求可能会导致网站将其识别为爬虫并拒绝服务。因此，定期修改或随机生成User-Agent字符串可以降低被识别的概率。

代码示例：

public class RandomUserAgent
{
    private List<string> _userAgents = new List<string>
    {
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
        // ... 其他User-Agent字符串
    };

    public string GetRandomUserAgent()
    {
        // 随机获取一个User-Agent
        Random rnd = new Random();
        return _userAgents[rnd.Next(_userAgents.Count)];
    }

    // 在发送请求之前，使用GetRandomUserAgent方法获取一个随机User-Agent
    // ...
}

5.3 遵守网站协议与法律法规

最后，我们必须认识到爬虫技术的使用并非没有边界。我们必须遵守相关的法律法规和网站协议。

5.3.1 robots.txt的解析与遵守

网站通常使用 robots.txt 文件来声明哪些内容可以被爬虫程序抓取。在进行爬虫开发前，应解析并遵守该文件中的规则。

操作步骤：
1. 请求目标网站的 robots.txt 文件。
2. 解析该文件内容，了解爬取规则。
3. 在爬虫程序中实施相应的规则。

代码示例：

public class RobotsTxtParser
{
    public async Task ParseRobotsTxt(string siteUrl)
    {
        string robotsUrl = siteUrl.TrimEnd('/') + "/robots.txt";
        HttpResponseMessage response = await _httpClient.GetAsync(robotsUrl);
        string content = await response.Content.ReadAsStringAsync();
        // 解析并处理robots.txt文件内容
        // ...
    }
}

5.3.2 法律法规和道德约束

在进行网络爬取活动时，应遵守以下法律法规和道德约束：
1. 不要抓取和使用受版权保护的数据，除非得到了许可。
2. 尊重网站的 robots.txt 声明。
3. 不要对网站服务器造成过大的负担。

在爬虫的开发和部署过程中，务必保持高度的法律意识和道德责任感，确保不侵犯他人合法权益，同时也要保护好自己的合法权益。

至此，我们已经学习了如何处理常见的反爬虫策略，并强调了遵守法律法规的重要性。在后续章节中，我们将深入探讨更高级的爬虫技术以及如何处理数据存储和管理问题。

本文还有配套的精品资源，点击获取

AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

写Agent还要重复封装工具？一套MCP多服务方案，3个能力让AI自动查地图、读写文件、操控浏览器

AI Agent技术社区

AI Agent 可观测性：破解多步推理黑盒的技术实践

核心价值：可观测性不仅是“调试工具”，更是构建可靠、可信、可控 AI Agent 系统的基石。技术趋势：标准化（OpenTelemetry for LLMs）、自动化（AI 监控 AI）、实时化（流式处理）。行动建议：从 Day 1 开始设计可观测性，采用“日志-指标-追踪”三位一体方案，并逐步向可解释性深化。

AI Agent技术社区

75 个 Agent 怎么协作？我的五层演化之路

有人问我："你养了 75 个 AI Agent（截至 7 月中旬，含活跃和实验性角色），它们之间到底是怎么互动的？A 做完的事情 B 怎么接手？这个问题特别好。因为我一开始也没想清楚。我最初的想法很简单：给每个 Agent 配好角色和 Skill，它们就能自己配合了。后来发现远远不够——Agent A 写了个文件，Agent B 死活读不到；Agent B 做完了一步，Agent C 不知道 B

AI Agent技术社区

所有评论(0)

查看更多评论

高杉峻

@weixin_31641077

已为社区贡献122条内容

C#网页爬虫与HTML内容采集实战教程

高杉峻

1. C#网页爬虫基础

1.1 网页爬虫简介

1.2 爬虫的必要性与应用场景

1.3 C#爬虫的优势

2. 使用 HttpClient 类进行网络请求

2.1 HttpClient 的安装与配置

2.1.1 环境配置和安装

2.1.2 HttpClient 的基本使用

2.2 发送网络请求和接收响应

2.2.1 GET和POST请求方法

2.2.2 处理HTTP响应

2.3 高级网络请求特性

2.3.1 异步请求的实现

2.3.2 请求和响应的扩展方法

3. HtmlAgilityPack 库HTML解析

3.1 HtmlAgilityPack 的安装与导入

3.1.1 库的安装过程

对于.NET Core项目：

对于.NET Framework项目：

3.1.2 导入项目和使用声明

3.2 HTML文档的加载和解析

3.2.1 加载HTML文档

3.2.2 节点的遍历和查询

3.3 数据提取和节点操作

3.3.1 提取节点中的数据

3.3.2 节点的增删改查操作

4. XPath与CSS选择器的应用

4.1 XPath选择器的使用

4.1.1 XPath的基本语法

4.1.2 XPath的选择器应用实例

4.1.3 XPath进阶用法

4.2 CSS选择器的使用

4.2.1 CSS选择器的语法结构

4.2.2 CSS选择器在C#中的应用

4.2.3 CSS选择器进阶用法

4.3 XPath与CSS选择器的对比分析

4.3.1 选择器性能比较

4.3.2 使用场景的推荐

5. 反爬虫策略处理及法律合规

5.1 常见的反爬虫技术与应对

5.1.1 检测机制识别与绕过

5.1.2 伪装请求头和Cookies

5.2 服务器信息和请求限制

5.2.1 控制请求频率

5.2.2 用户代理字符串的修改

5.3 遵守网站协议与法律法规

5.3.1 robots.txt的解析与遵守

5.3.2 法律法规和道德约束

所有评论(0)

温馨提示：您尚未绑定手机号

高杉峻

2. 使用 `HttpClient` 类进行网络请求

2.1 `HttpClient` 的安装与配置

2.1.2 `HttpClient` 的基本使用

3. `HtmlAgilityPack` 库HTML解析

3.1 `HtmlAgilityPack` 的安装与导入