玩爬虫、做数据采集、进行网络测试的时候，免费代理IP绝对是解决IP限流、被封禁问题的神器！但手动找代理、一个个验证有效性真的太费时间了，而且网上大部分免费代理都存在失效、延迟高、匿名性差的问题，踩坑率超高。今天就带大家用Python全自动采集+智能筛选+批量校验免费代理IP，一键搞定可用代理池，全程不用手动操作，新手也能直接跑通！

一、项目能干什么？

  • 自动爬取国内主流免费代理站的HTTP/HTTPS代理IP

  • 智能筛选：自动过滤失效、高延迟、低垃圾匿名代理

  • 批量校验代理可用性，精准留下能直接用的存活代理

  • 自动IP去重，避免重复代理浪费运行资源

  • 输出标准格式代理，直接套用到爬虫、网络请求脚本中

二、简单环境配置

整个项目基于Python3开发，只需要安装三个必备第三方库，打开终端输入下面命令一键安装即可：

pip install requests lxml aiohttp

简单说下每个库的作用，不用深究，安装就完事：

  • requests：用来请求代理网站，抓取原始IP数据

  • lxml：解析网页源码，精准提取IP、端口、代理类型

  • aiohttp：异步批量校验代理，速度比同步快好几倍

三、代理IP自动采集模块

我们本次选用西刺代理、66免费代理两个国内稳定的免费代理平台，针对性适配爬取规则，自动抓取公开的代理数据。

采集逻辑超简单：模拟浏览器访问网站 → 获取网页源码 → 解析提取代理数据 → 初步过滤无效代理。

import requests
from lxml import etree
import re

# 模拟浏览器请求头，防止被网站直接拦截
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

# 存放原始采集到的代理数据
proxy_list = []

# 1. 西刺代理采集（HTTP/HTTPS）
def crawl_xici_proxy():
    url = "https://www.xicidaili.com/nn/"
    try:
        res = requests.get(url, headers=HEADERS, timeout=10)
        res.encoding = "utf-8"
        html = etree.HTML(res.text)
        # 解析代理表格数据
        tr_list = html.xpath("//table[@id='ip_list']//tr[position()>1]")
        for tr in tr_list:
            ip = tr.xpath("./td[2]/text()")[0].strip()
            port = tr.xpath("./td[3]/text()")[0].strip()
            proxy_type = tr.xpath("./td[6]/text()")[0].strip().upper()
            # 只保留常用的HTTP/HTTPS代理
            if proxy_type in ["HTTP", "HTTPS"]:
                proxy_list.append({
                    "ip": ip,
                    "port": port,
                    "type": proxy_type,
                    "proxy": f"{ip}:{port}"
                })
    except Exception as e:
        print(f"西刺代理采集失败：{str(e)}")

# 2. 66免费代理采集（www.66daili.com）
def crawl_66_proxy():
    url = "http://www.66daili.com/"
    try:
        res = requests.get(url, headers=HEADERS, timeout=10)
        res.encoding = "utf-8"
        html = etree.HTML(res.text)
        tr_list = html.xpath("//table//tr[position()>1]")
        for tr in tr_list:
            # 适配66代理网页表格字段规则
            ip = tr.xpath("./td[1]/text()")[0].strip()
            port = tr.xpath("./td[2]/text()")[0].strip()
            proxy_type = tr.xpath("./td[4]/text()")[0].strip().upper()
            if proxy_type in ["HTTP", "HTTPS"]:
                proxy_list.append({
                    "ip": ip,
                    "port": port,
                    "type": proxy_type,
                    "proxy": f"{ip}:{port}"
                })
    except Exception as e:
        print(f"66免费代理采集失败：{str(e)}")

# 批量采集 + 自动去重
def crawl_all_proxy():
    crawl_xici_proxy()
    crawl_66_proxy()
    # 去除重复的代理IP，避免无效校验
    unique_proxy = []
    seen = set()
    for proxy in proxy_list:
        if proxy["proxy"] not in seen:
            seen.add(proxy["proxy"])
            unique_proxy.append(proxy)
    print(f"采集完成，去重后原始代理数量：{len(unique_proxy)}")
    return unique_proxy

四、代理筛选 + 可用性批量校验

刚采集下来的原始代理，大部分都是失效的、延迟超高的，根本没法直接用！这里我们用异步校验的方式，快速筛查出能用的代理，效率拉满。

筛选标准很实用：请求超时不超过5秒、接口请求成功、只保留正规HTTP/HTTPS代理。

import aiohttp
import asyncio

# 代理超时阈值，可自行调整
TIMEOUT = 5
# 存放最终可用的代理
usable_proxy = []

# 异步校验单个代理是否可用
async def check_proxy(session, proxy_info):
    proxy = proxy_info["proxy"]
    proxy_type = proxy_info["type"]
    # 稳定的公共测试接口
    test_url = "http://httpbin.org/get"
    try:
        # 通过代理发起请求，验证可用性
        async with session.get(
            url=test_url,
            proxy=f"{proxy_type.lower()}://{proxy}",
            timeout=aiohttp.ClientTimeout(total=TIMEOUT)
        ) as response:
            if response.status == 200:
                print(f"可用代理：{proxy}")
                usable_proxy.append(proxy_info)
    except Exception:
        # 超时、连接失败、报错都直接判定为无效代理
        pass

# 批量并发校验所有代理
async def batch_check_proxy(proxy_data):
    # 限制并发数，防止电脑卡顿、被网站封禁
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(limit=100)) as session:
        tasks = [check_proxy(session, item) for item in proxy_data]
        await asyncio.gather(*tasks)
    return usable_proxy

# 统一筛选入口
def filter_usable_proxy():
    raw_proxy = crawl_all_proxy()
    asyncio.run(batch_check_proxy(raw_proxy))
    print(f"\n筛选完成，可用代理数量：{len(usable_proxy)}")
    return usable_proxy

五、完整可直接运行代码

给大家整合了全套代码，复制粘贴就能直接运行，一站式完成采集、去重、校验、筛选全过程：

import requests
from lxml import etree
import aiohttp
import asyncio

# 全局请求配置
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
TIMEOUT = 5
proxy_list = []
usable_proxy = []

# 采集模块-西刺代理
def crawl_xici_proxy():
    url = "https://www.xicidaili.com/nn/"
    try:
        res = requests.get(url, headers=HEADERS, timeout=10)
        res.encoding = "utf-8"
        html = etree.HTML(res.text)
        tr_list = html.xpath("//table[@id='ip_list']//tr[position()>1]")
        for tr in tr_list:
            ip = tr.xpath("./td[2]/text()")[0].strip()
            port = tr.xpath("./td[3]/text()")[0].strip()
            proxy_type = tr.xpath("./td[6]/text()")[0].strip().upper()
            if proxy_type in ["HTTP", "HTTPS"]:
                proxy_list.append({
                    "ip": ip,
                    "port": port,
                    "type": proxy_type,
                    "proxy": f"{ip}:{port}"
                })
    except Exception as e:
        print(f"西刺代理采集失败：{str(e)}")

# 采集模块-66免费代理
def crawl_66_proxy():
    url = "http://www.66daili.com/"
    try:
        res = requests.get(url, headers=HEADERS, timeout=10)
        res.encoding = "utf-8"
        html = etree.HTML(res.text)
        tr_list = html.xpath("//table//tr[position()>1]")
        for tr in tr_list:
            ip = tr.xpath("./td[1]/text()")[0].strip()
            port = tr.xpath("./td[2]/text()")[0].strip()
            proxy_type = tr.xpath("./td[4]/text()")[0].strip().upper()
            if proxy_type in ["HTTP", "HTTPS"]:
                proxy_list.append({
                    "ip": ip,
                    "port": port,
                    "type": proxy_type,
                    "proxy": f"{ip}:{port}"
                })
    except Exception as e:
        print(f"66免费代理采集失败：{str(e)}")

# 采集+去重核心函数
def crawl_all_proxy():
    crawl_xici_proxy()
    crawl_66_proxy()
    unique_proxy = []
    seen = set()
    for proxy in proxy_list:
        if proxy["proxy"] not in seen:
            seen.add(proxy["proxy"])
            unique_proxy.append(proxy)
    print(f"采集完成，去重后原始代理数量：{len(unique_proxy)}")
    return unique_proxy

# 异步校验单个代理
async def check_proxy(session, proxy_info):
    proxy = proxy_info["proxy"]
    proxy_type = proxy_info["type"]
    test_url = "http://httpbin.org/get"
    try:
        async with session.get(
            url=test_url,
            proxy=f"{proxy_type.lower()}://{proxy}",
            timeout=aiohttp.ClientTimeout(total=TIMEOUT)
        ) as response:
            if response.status == 200:
                usable_proxy.append(proxy_info)
    except Exception:
        pass

# 批量校验所有代理
async def batch_check_proxy(proxy_data):
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(limit=100)) as session:
        tasks = [check_proxy(session, item) for item in proxy_data]
        await asyncio.gather(*tasks)

# 主函数：获取最终可用代理列表
def get_usable_proxies():
    raw_proxy = crawl_all_proxy()
    if not raw_proxy:
        print("未采集到任何代理IP！")
        return []
    asyncio.run(batch_check_proxy(raw_proxy))
    print(f"\n✅ 筛选完成，可用代理总数：{len(usable_proxy)}")
    # 输出纯代理字符串，直接即用
    proxy_str_list = [item["proxy"] for item in usable_proxy]
    print("可用代理列表：")
    for p in proxy_str_list:
        print(p)
    return proxy_str_list

# 程序入口
if __name__ == "__main__":
    get_usable_proxies()

六、超简单使用教程

1. 直接运行

直接运行整个脚本就行，程序会自动走完「采集→去重→校验→筛选」全部流程，最后直接打印出所有可用的 ip:port 格式代理。

2. 自定义参数微调

  • 超时时间：默认5秒，想要极速代理可以改成3秒，想兼容慢速代理可以调到8秒

  • 并发数量：电脑配置一般的话，把 limit 从100改成50，避免运行卡顿

  • 新增代理源：照着现有代码格式，就能轻松添加其他免费代理网站的采集规则

3. 爬虫项目调用示例

脚本返回的代理列表可以直接用到你的爬虫代码里，随机取用超方便：

proxies_list = get_usable_proxies()
# 随机挑选一个代理使用
import random
if proxies_list:
    proxy = random.choice(proxies_list)
    proxies = {
        "http": f"http://{proxy}",
        "https": f"https://{proxy}"
    }
    res = requests.get("https://www.baidu.com", proxies=proxies, headers=HEADERS)
    print(res.status_code)

七、进阶优化小技巧

1. 提升代理存活率

  • 多站点校验：除了httpbin，新增百度等多个测试接口，避免单边可用的虚假代理

  • 定时更新：设置定时任务，定期重新采集筛选，实时更新可用代理池

  • 过滤低匿名代理：新增匿名等级判断，只保留高匿名代理，防止暴露本机真实IP

2. 解决采集被拦截问题

  • 添加随机延时：采集网页时加1-3秒随机等待，避免访问频率太高被网站封禁IP

  • 多源采集：多整合几个代理网站，增加采集基数，可用代理会更多

3. 代理持久化保存

可以把筛选好的可用代理保存到本地TXT文件，不用每次都重新采集校验，随取随用：

# 将可用代理保存到本地txt文件
def save_proxy_to_txt(proxies, path="usable_proxy.txt"):
    with open(path, "w", encoding="utf-8") as f:
        for p in proxies:
            f.write(p + "\n")
    print(f"代理已保存至 {path}")

八、温馨提示

  • 免费代理的稳定性比较一般，只适合日常测试、轻量数据采集使用，商用场景建议选择付费代理池

  • 部分免费代理会有地域限制、限速情况，批量使用前可以简单二次校验

  • 请合规使用代理IP，仅用于合法网络操作，不要用于违规场景

# python
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

2026最新AI Agent高频面试题（分类型精简详解）

本文梳理AI Agent高频面试考点，覆盖基础概念、架构、推理规划、工具调用、记忆、RAG融合、多智能体与工程落地。区分Agent、Workflow与普通工具调用，讲解ReAct、Plan‑and‑Execute等主流范式，分析三级记忆机制与上下文溢出的解决办法，对比传统RAG与Agent‑RAG差异，介绍多智能体协作模式。同时总结落地痛点、优化手段和安全风控要点，划分初/中/高级面试复习重点，可

avatar AI Agent技术社区
cover

深入理解 AI Agent · AGENT #03：从单 Agent 到多 Agent

avatar AI Agent技术社区
cover

AI Agent安全风险启示：工业巡检机器人的AI安全管控

avatar AI Agent技术社区