登录社区云,与社区用户共同成长
邀请您加入社区
智能问答,需要本地部署聊天大模型,部署完成后,需要对外提供一套接口,相关的开放人员会调用这个接口,然后把用户输入的内容给到大模型,大模型再给出响应,再给到用户进行前端展示 GLM支持中英文的交互 6B意味大概有60亿的参数 参数越大代表模型越智能 这个模型也支持纯CPU,如果是纯CPU,至少要是16核或者32核的,否则推理速度会很慢 所以一般推荐用显存
T4加速会便宜
这样就有了一台带有GPU的云服务器
新建一个远程连接
Agent 垂直技术社区,欢迎活跃、内容共建。
更多推荐
制造业AI模型场景泛化迭代升级:从单点算法到企业级智能体协同的技术演进路径与方案测评
快消AI Agent落地:从有没有AI到AI能不能产出可考核结论
企业如何管理Token消耗?
扫一扫分享内容
为遵守国家网络实名制规定,未绑定将限制内容发布与互动
所有评论(0)