智能客服私有化大模型部署--模型部署(实现ChatGLM-4b模型部署操作,并实现接口对外开放)
·




huggingface_hub里面有各种各样的模型![]()
这个小模型大概有4-5G
下载比较慢
复制一个相同的会话窗口,然后继续往下做
新窗口要切换到虚拟环境才可以
就可以进入第三步

解压这个压缩包,解压到当前位置即可
这个代码里面就要开放的接口的代码

项目依赖的包,要装好
这些.py结尾的是python代码,执行的时候要依赖很多东西
而python项目中的依赖的一些相关的库和包都会放到requirements,txt文件下,所以都安装下来
到此为止依赖项全部安装完成
执行python的项目要注意,要执行requirements,txt的内容,因为这里面通常放的是所有项目的依赖,把这些都装好,代码才可以运行,如果运行的时候发现某个没有再安装对应的依赖即可,这也是部署python项目的方案

host=0.0.0.0 表示谁都可以访问,端口是8000

测试能否对外提供服务
响应成功
不需要安装额外的依赖,因为一开始就安装全了
同时,大模型对外提供的是8000的端口,所以也要在服务器中开放8000的端口,开放了这个端口才可以对外进行访问,从而拿到数据

这个接口就可以交给开发人员,开发人员可以通过这个端口查询相应的数据,大模型就可以返回相应的内容,然后展示到窗口上即可
更多推荐
















所有评论(0)