用scrapy爬豆瓣的某些页面返回403错误：


      解决方法：

      在setting.py文件中增加USER_AGENT配置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'


# scrapy # 爬虫
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建，欢迎商务合作。wx: diudiu5555

更多推荐

cover

首款折叠iPhone或定价2300美元；百川智能两位联合创始人被曝离职；Manus启用.cn域名 | 极客头条

avatar AI Agent技术社区
cover

开源模型应用落地-LangGraph101-ToolNode-智能工具调度的核心枢纽

avatar AI Agent技术社区
cover

【AI落地应用实战】大模型加速器2.0：基于 ChatDoc + TextIn ParseX + ACGE的RAG知识库问答系统

avatar AI Agent技术社区