bisheng大模型之实操部署
更新软件包索引使用下面的 curl 导入源仓库的 GPG key将 Docker APT 软件源添加到你的系统更新软件包索引。
更新软件包索引
sudo apt update
sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
使用下面的 curl 导入源仓库的 GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
将 Docker APT 软件源添加到你的系统
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
更新软件包索引
sudo apt update
1.安装docker
sudo apt install docker-ce docker-ce-cli containerd.io
查看是否安装成功
docker --version
docker-compose 安装
curl -L "https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
查看是否安装成功
docker-compose --version
若执行该代码后出现docker的版本,则说明安装成功。
2.正式部署
安装git
sudo apt install git
克隆项目
git clone https://github.com/dataelement/bisheng.git
进入项目目录
cd bisheng/docker
运行项目
sudo docker-compose up -d
Milvus 安装
到根目录下
cd ~
安装Milvus
wget https://github.com/milvus-io/milvus/releases/download/v2.2.10/milvus-standalone-docker-compose.yml -O docker-compose.yml
运行Milvus
sudo docker-compose up -d
然后添加安全组。设,源:所有IPv4(0.0.0.0/0)目的端口为3001.
公网ip加上:3001即为入口地址。
期间遇到网址无法打开的问题,
先将所有容器停止(不提倡)
docker stop $(docker ps -q)
再将所有容器删除
docker rm $(docker ps -a -q)
然后执行
rm -rf bisheng
将bisheng项目删除重新加载
git clone https://github.com/dataelement/bisheng.git
若是登录不进去
先进入项目目录
cd bisheng/docker
再重启backend服务
docker-compose restart backend
若是断网什么的,重新联网之后要重启容器
docker restart $(docker ps -a -q)
这样网站才能进去。
ElasticSearch 安装
创建了一个新的Docker网络
docker network create elastic
拉取指定版本的Elasticsearch Docker镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.9.2
运行Elasticsearch容器
docker run --name elasticsearch --net elastic -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -it -d docker.elastic.co/elasticsearch/elasticsearch:8.9.2
执行时发现端口已经被占用,修改端口后,再次执行该命令发现报错,提示elasticsearch的容器已经存在。因此再执行rm elasticsearch命令,然后再执行上面的命令。
BISHENG-RT 安装
拉取项目
docker pull dataelement/bisheng-rt:0.0.1
创建目录
mkdir -p model_repository
进入目录
cd model_repository
更新索引
sudo apt update
安装git-lfs
sudo apt install git-lfs
初始化lfs
git lfs install
拉取模型
git clone https://huggingface.co/THUDM/chatglm3-6b
看一下有哪些文件
ls
进入你要下载的模型文件目录
cd chatglm3-6b
拉取仓库里的大文件
git lfs pull
检查 LFS 对象是否存在
ls -lh .git/lfs/objects
检查文件完整性
git lfs ls-files
重新尝试下载
git lfs fetch --all
查看NVIDIA显卡驱动和GPU状态
nvidia-smi
更多推荐
所有评论(0)