1.爬取代理ip和port,存到数据库

筛选ip,port

ip = content.xpath('//td[@data-title="IP"]/text()')
port = content.xpath('//td[@data-title="PORT"]/text()')

2.伪装身份 ,伪装user_agent

[
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
            'Opera/8.0 (Windows NT 5.1; U; en)']

2.代理请求

# 构建一个Handler处理器对象,参数是一个字典类型,包括代理类型和代理服务器IP+PROT
request = requests.get(url, headers=headers, proxies={"http": ip_proxy})

 

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐