• 安装 NVIDIA 容器工具包 首先确保用了最新的 NVIDIA 容器工具包。运行以下命令：

sudo apt-get update 
sudo apt-get install -y nvidia-container-toolkit 
sudo systemctl restart docker

• 修改 Docker 配置文件 你可能需要在 Docker 配置文件中指定默认的 runtime 。打开 /etc/docker/daemon.json 文件并添加（或修改）以下配置：

{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

• jetson-containers安装步骤：

cd /opt/ 
git clone https://github.com/dusty-nv/jetson-containers 
bash jetson-containers/install.sh

交互模式运行ollama

jetson-containers run $(autotag ollama)