huggingface_hub里面有各种各样的模型

这个小模型大概有4-5G

下载比较慢

复制一个相同的会话窗口,然后继续往下做

新窗口要切换到虚拟环境才可以

就可以进入第三步

解压这个压缩包,解压到当前位置即可

这个代码里面就要开放的接口的代码

项目依赖的包,要装好

这些.py结尾的是python代码,执行的时候要依赖很多东西

而python项目中的依赖的一些相关的库和包都会放到requirements,txt文件下,所以都安装下来

到此为止依赖项全部安装完成

执行python的项目要注意,要执行requirements,txt的内容,因为这里面通常放的是所有项目的依赖,把这些都装好,代码才可以运行,如果运行的时候发现某个没有再安装对应的依赖即可,这也是部署python项目的方案

host=0.0.0.0 表示谁都可以访问,端口是8000

测试能否对外提供服务

响应成功

不需要安装额外的依赖,因为一开始就安装全了

同时,大模型对外提供的是8000的端口,所以也要在服务器中开放8000的端口,开放了这个端口才可以对外进行访问,从而拿到数据

这个接口就可以交给开发人员,开发人员可以通过这个端口查询相应的数据,大模型就可以返回相应的内容,然后展示到窗口上即可

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐