arXiv 论文批量下载：Python arxiv-downloader CLI 工具 5 分钟上手

对于习惯使用命令行界面的研究人员和开发者来说，手动一篇篇下载 arXiv 论文既耗时又低效。本文将介绍如何通过 Python 包 arxiv-downloader 实现论文的批量自动化下载，帮助您快速构建本地论文库。

arxiv-downloader 是一个轻量级但功能强大的命令行工具，支持通过 URL 或论文 ID 下载单篇论文，也能批量处理论文列表。相比浏览器插件方案，它更适合需要大量下载的场景，比如文献调研或构建个人知识库。

1. 环境准备与安装

在开始使用 arxiv-downloader 前，您需要确保系统已安装 Python 3.6 或更高版本。可以通过以下命令检查 Python 版本：

python3 --version

安装 arxiv-downloader 非常简单，只需一条 pip 命令：

pip install arxiv-downloader

如果您使用 Arch Linux 系统，还可以通过 AUR 安装：

paru -S arxiv-downloader

安装完成后，可以通过 --version 参数验证是否安装成功：

arxiv-downloader --version

提示：建议在虚拟环境中安装 Python 包以避免依赖冲突。可以使用 python3 -m venv venv 创建虚拟环境，然后通过 source venv/bin/activate 激活。

2. 基础下载功能

arxiv-downloader 提供了两种基本下载方式：通过论文 URL 或 arXiv ID 下载。下面我们分别介绍这两种方法。

2.1 通过 URL 下载

这是最直观的下载方式，只需提供论文的 PDF URL 即可：

arxiv-downloader https://arxiv.org/pdf/2302.06544.pdf

执行后，工具会自动下载论文并保存到当前目录，文件名默认为 2302.06544.pdf 。

2.2 通过 arXiv ID 下载

如果您只有论文的 arXiv ID（如 2302.06544 ），也可以直接下载：

arxiv-downloader 2302.06544

这种方式会自动补全 PDF URL，效果与通过 URL 下载相同。

2.3 指定下载目录

默认情况下，论文会下载到当前目录。您可以通过 -d 参数指定目标目录：

arxiv-downloader 2302.06544 -d ./papers

如果目录不存在，工具会自动创建。

3. 高级功能与批量下载

除了基本下载功能， arxiv-downloader 还提供了一些高级特性，特别适合批量处理场景。

3.1 下载源代码

许多 arXiv 论文提供了 LaTeX 源代码。通过 -s 参数可以同时下载源代码包：

arxiv-downloader 2302.06544 -s

源代码会以 .tar.gz 格式下载，包含论文的所有源文件和资源。

3.2 批量下载

对于需要下载多篇论文的场景，可以创建一个文本文件列出所有论文的 URL 或 ID，然后使用简单的 shell 脚本批量处理：

# papers.txt 内容示例
2302.06544
2301.12345
https://arxiv.org/pdf/2212.34567.pdf

# 批量下载命令
while read line; do
  arxiv-downloader "$line" -d ./papers
done < papers.txt

3.3 结合 arXiv API 实现智能下载

更高级的用户可以结合 arXiv API 实现按条件搜索并下载论文。以下是一个 Python 脚本示例：

import arxiv
import subprocess

# 搜索条件
search = arxiv.Search(
  query="deep learning",
  max_results=10,
  sort_by=arxiv.SortCriterion.SubmittedDate
)

# 下载搜索结果
for result in search.results():
    subprocess.run(["arxiv-downloader", result.entry_id])

4. 实用技巧与问题排查

在实际使用中，您可能会遇到一些常见问题。以下是几个实用技巧：

4.1 提高下载速度

如果下载速度较慢，可以尝试以下方法：

• 使用 --timeout 参数增加超时时间
• 在网络状况较好的时段下载
• 考虑使用代理（需自行配置）

4.2 处理下载失败

下载失败时，工具会显示错误信息。常见问题及解决方法：

• 404 错误 ：确认论文 ID 或 URL 正确
• 网络错误 ：检查网络连接，重试下载
• 权限问题 ：确保有目标目录的写入权限

4.3 自动化脚本示例

以下是一个结合日期范围下载论文的完整脚本示例：

#!/bin/bash

START_DATE="2023-01-01"
END_DATE="2023-01-31"
CATEGORY="cs.CL"

for i in {01..31}; do
    DATE="2023-01-$i"
    arxiv-downloader -q "cat:$CATEGORY AND submittedDate:[$DATE TO $DATE]" -d ./$CATEGORY
done

这个脚本会下载 2023 年 1 月所有计算机语言学（cs.CL）分类的论文，并按日期分类存储。