1️⃣ 克隆仓库

cd ~
git clone https://github.com/NVlabs/FoundationPose.git
cd FoundationPose

2️⃣ 创建 Conda 环境

conda env create -f environment.yml
conda activate foundationpose

3️⃣安装 PyTorch3D 

已经安装过Pytorch的跳过此步骤（此行代码是安装Pytorch）

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

go to 直接从这下面开始看：

方式 A：在线安装（可能超时）（我因为网络问题连接失败，采用了方式B）

pip install --no-build-isolation git+https://github.com/facebookresearch/pytorch3d.git

方式B：使用离线 ZIP 安装（推荐国内网络）

1.从 GitHub 下载 PyTorch3D ZIP

2.解压：

unzip pytorch3d-main.zip
mv pytorch3d-main ~/FoundationPose/pytorch3d

3.编译安装：

cd ~/FoundationPose/pytorch3d
# 如果报错 "unsupported GNU version"（GCC 版本过高）：
export CC=/usr/bin/gcc
export CXX=/usr/bin/g++
export CUDAHOSTCXX=/usr/bin/g++

rm -rf build *.egg-info
pip install --no-build-isolation .

4️⃣ 安装其他依赖

cd ~/FoundationPose
pip install -r requirements.txt
pip install --no-build-isolation git+https://github.com/NVlabs/nvdiffrast.git

5️⃣ 编译 FoundationPose C++ 扩展

bash build_all_conda.sh

6️⃣ 检查环境是否正确

python check_env.py

输出应包含：

import pytorch3d: ok
import nvdiffrast.torch: ok
cuda available: True
...
Weights (scorer, ...): ok
Weights (refiner, ...): ok

⚠️ 注意：

• 如果出现 Weights missing model_best.pth，说明 weights 没有正确放置。

7️⃣ 准备 demo 数据 （采用官方的demo，不是自己建模的）

1.在 FoundationPose 下创建文件夹：

mkdir weights demo_data

2.下载官方提供的权重：

• Weights 2024-01-11-20-02-45
• Weights 2023-10-28-18-33-37

  解压后形成目录结构：

weights/
├── 2024-01-11-20-02-45
│   ├── model_best.pth
│   └── config.yml
└── 2023-10-28-18-33-37
    ├── model_best.pth
    └── config.yml

3.下载 demo_data 示例：

• kinect_driller_seq.zip
• mustard0.zip

解压后放到 demo_data/ 下。

8️⃣ 运行 demo

图片 demo

python run_demo.py

• 结果保存在：FoundationPose/debug/track_vis/
• 输出为 图片，每一帧保存为单张图片

视频 demo

python run_ycb_video.py

• 结果保存在：FoundationPose/debug/track_vis/
• 输出为 视频

⚠️ 注意：

• 如果显存不足（如你的 RTX 3050 只有 4GB），可以降低 batch_size。