近日，燧原科技的新一代人工智能推理加速卡燧原S60与飞桨已完成大模型推理I 级兼容性测试，成为国内首家完成适配认证的芯片厂商。这是燧原科技加入飞桨“硬件生态共创计划”后的阶段性成果。

本次推理 I 级兼容性测试完成了对大模型Llama-13B的验证。经过双方联合严格测试，燧原S60在Llama-13B模型上的精度、首字延迟及tokens吞吐率指标均达到飞桨大模型工具链I级认证要求，且兼容性良好，整体运行稳定，可以满足用户的实际应用场景需求。

飞桨大模型工具链适配认证是飞桨芯片适配认证标准的一部分，基于芯片+飞桨的大模型支持能力，针对调优、训练、推理等功能分别验证，在精度、性能、稳定性等维度设定验收要求，通过双方测试后发布兼容性证明。更多关于适配认证的具体内容可在以下链接中获取详细信息：

飞桨大模型工具链适配认证标准：

https://github.com/PaddlePaddle/community/blob/master/working_groups/Maturity_Model_for_PaddleLargeModelToolChain_Hardware_Adaptation.md

为了让小伙伴们更快速地了解飞桨与燧原之间的适配工作，以及基于燧原S60进行大模型开发的操作技巧，双方研发工程师将于9月10日（周二）20:00-21:00为大家直播分享。赶快扫描下方海报二维码预约报名！

燧原S60是面向数据中心大规模部署的新一代人工智能推理加速卡，满足大语言模型、搜广推及传统模型的需求，具有模型覆盖面广、易用性强、易迁移易部署等特点，可广泛应用于图像及文本生成等应用、搜索与推荐、文本、图像及语音识别等主流推理场景。

燧原科技

燧原科技专注人工智能领域云端算力产品，致力为人工智能产业发展交付普惠的基础设施解决方案，提供原始创新、全栈自研、具备完全自主知识产权的通用人工智能训练和推理产品。凭借其具有高能效比的训练和推理产品组合，已广泛应用于智算中心、互联网、金融、智慧城市等多个行业和场景。

飞桨

飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。截至2024年6月，飞桨文心生态已凝聚1465万开发者，服务37万家企事业单位，创建95万个模型。

2022年，飞桨携手国内外硬件厂商联合发布硬件生态共创计划，当前计划成员已经超过40家。结合伙伴自有软硬件基础开发栈特色，针对不同应用场景和产品，共同推出厂商定制版飞桨框架，建设开源开放模型库，开发课程与培训内容等，以更好地服务开发者。

往期推荐

_ ●燧原科技万卡集群点亮，助力庆阳打造“东数西算”标杆示范案例 ► 点击阅读

_ ●燧原科技技术伙伴（ETP）培育计划正式启航，共筑“合作共赢，成就卓越”的繁荣生态 ► 点击阅读

欢迎关注燧原科技公众号