1. 查看系统是否有 python 环境

python --version
pip --version
# python3 --version
# pip3 --version

如果没有 Python 环境,就执行以下命令进行安装

sudo apt update
sudo apt install -y python3 python3-pip python3-venv

2. 在 Linux 上 创建项目目录,项目脚本就在这个目录下面跑

mkdir -p /app/project1

3. 安装虚拟环境

进入项目目录

cd /app/project1/

安装虚拟环境

python3 -m venv venv

激活虚拟环境

source venv/bin/activate

激活后,命令行会显示 (venv),所有依赖都会在这个环境安装,如下图所示:

4. 创建 requirements.txt 文件

sudo vim requirements.txt

requirements.txt 文件中的内容是你脚本要跑起来所需要的依赖

# 例如 playwright 的版本号要 大于等于 1.36.0
playwright>=1.36.0

# 例如 es 的版本号 要是 9.2.0
elasticsearch==9.2.0

# 或者不指定版本
requests

然后安装依赖 

pip install -r requirements.txt

5. 启动脚本

然后把你的脚本文件,例如 main.py 放到项目目录里面,然后执行如下命令,即可启动脚本

python3 main.py

如果想要后台守护进程的方式启动,使用如下命令:

nohup python3 main.py > main.log 2>&1 &

如果是 Playwright 爬虫项目

1. 安装 Playwright 浏览器

playwright install

这一步会下载 Chromium、Firefox、WebKit 等浏览器。Linux 上用 Chromium 足够。

2. 如果缺失库,可以执行如下命令

playwright install-deps

它会检测 Linux 依赖并提示缺失的库,如果提示有缺失的库,可以 apt install xxx 进行安装

3. 然后运行的你的 Playwright 爬虫脚本

linux 环境下,使用无头模式,有可能会被反爬机制监测,所以要使用有界面的模式

headless=False

但是 linux 上没有 X Server(图形界面环境),导致 Chromium 无法启动,所以要安装 xvfb 

4. 安装 xvfb 虚拟显示

sudo apt install xvfb -y

5. 启动 Playwright 脚本

xvfb-run python main.py

如果想要后台守护进程的方式启动,使用如下命令:

nohup xvfb-run python main.py > log.txt 2>&1 &

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐