智能问答,需要本地部署聊天大模型,部署完成后,需要对外提供一套接口,相关的开放人员会调用这个接口,然后把用户输入的内容给到大模型,大模型再给出响应,再给到用户进行前端展示
GLM支持中英文的交互
6B意味大概有60亿的参数
参数越大代表模型越智能
这个模型也支持纯CPU,如果是纯CPU,至少要是16核或者32核的,否则推理速度会很慢
所以一般推荐用显存

T4加速会便宜

这样就有了一台带有GPU的云服务器

新建一个远程连接

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐