信创模盒ModelHub XC近日完成对OpenAI最新开源模型Circuit Sparsity的适配与验证,并在昇腾910B4 NPU等国产算力平台上实现稳定、高效运行。

Circuit Sparsity 模型介绍

OpenAI 的 Circuit-Sparsity 稀疏模型架构(参数量 0.4B、99.9% 权重为零)一经开源即引来巨大关注,其以原生稀疏架构构建可读 “电路”,破解了大模型 “黑箱” 难题,成为 AI 可解释性领域的颠覆性突破和未来大模型演进的重要技术方向。

该模型采用动态剪枝等技术,电路规模较密集模型缩减 16 倍,颠覆传统参数竞赛,引领行业向 “透明化 + 高效化” 转型。OpenAI通过 “桥梁网络” 连接稀疏与密集模型,实现了对现有大模型的可解释性行为编辑。

Circuit Sparsity不仅是现有模型的优化,更提供了全新架构方法论,验证了结构性稀疏兼具高性能与高可解释性的可行性,预示下一代模型将走向 “电路化”“稀疏化” 设计。

ModelHub XC完成Circuit Sparsity 开源模型的适配

在此背景下,ModelHub XC 平台率先完成了对 Circuit Sparsity 开源模型架构的全面适配与验证。尽管该研究模型尚处探索阶段,计算模式特殊,但我们的适配工作成功实现了其在昇腾 910B4 等国产算力平台上的稳定、高效运行。

架构适配:

该新型极度稀疏架构算法底层基于 Transformers 架构——

以Transformers为蓝本,通过引入动态稀疏约束和组件微调,从根本上重构出一个天生具有结构化稀疏性的新模型架构。同时,这一新架构的编译、计算和数据流模式,又经过优化,以充分释放如昇腾910B这类专用NPU的极致算力。

适配结果:

测试数据显示,ModelHub XC平台在昇腾910B4 NPU上对OpenAI开源Circuit Sparsity模型完成了适配与性能验证。

1. 性能提升倍数(关键指标)

请求延迟:NPU 处理单条请求平均延迟仅需 2.00 秒,CPU 则高达 56.21 秒。NPU 的单条处理速度提升了 28.11 倍。

吞吐量 (QPS):NPU 的吞吐量为 0.50 条/秒,是 CPU(0.02 条/秒)的 25 倍。

2. 结果分析

巨大性能鸿沟:从“分钟级”响应(CPU)到“秒级”响应(NPU)的跨越,证明了 Circuit Sparsity 这类稀疏模型极度依赖专用AI计算硬件(如NPU)的并行计算与高效内存访问能力,在通用CPU上运行效率极低。

适配成功意义:

本次适配成功的深层价值,远不止于支持一个特定模型,更在于验证了 ModelHub XC 适配方法论强大的兼容性与前瞻性。 Circuit Sparsity 所代表的极端稀疏化、电路化思想,是大模型架构未来演进的重要潜在方向。

此次的实践表明,ModelHub XC 所构建的适配方法论不仅能无缝兼容当前主流的稠密模型、MoE 模型架构,对于像Circuit Sparsity等此类具备革命性意义的新型架构探索,同样展现出强大的适应能力。这意味着当未来行业真正转向稀疏化、模块化的下一代架构时,基于 ModelHub XC 的技术体系已做好充分准备,能够快速响应并提供支持,确保用户平稳过渡到新的技术时代。

ModelHub XC 将持续关注并积极投入对前沿模型架构的适配研究,确保我们的技术栈始终与全球 AI 技术演进的最前沿同步,为产业界拥抱下一代人工智能提供坚实、可靠的算力与工具基础。


ModelHub XC信创模盒致力于打造国产化算力模型开发者和算力生态厂商合作共赢的开放平台,解决国产算力的AI模型兼容性问题,实现“引擎、模型即插即用”,缩短模型在国产算力平台的部署周期,推动AI信创事业快速升级。

信创模盒 ModelHub XC 官网:https://modelhub.org.cn/

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐