仓库直达:Gitee 国内高速镜像 | GitHub 主仓 全栈 Rust 自研・推理侧自进化・全硬件适配・无第三方框架绑定

核心架构全景图
 

一、项目定位:不止于推理,更是自进化控制层

rust-norion 不是又一个复刻版推理内核,而是面向本地大模型的自进化推理控制平面: 它不重复造张量计算的轮子,而是聚焦推理上层闭环 —— 自适应路由、分层记忆管理、策略自进化、超长上下文调度、生产级门禁,可对接任意自研 Transformer 运行时,完美适配私有化部署、边缘 AI、rust-saas 平台底座等场景。

核心三大差异化优势:

  • 纯 Rust 原生:无 GC、无内存安全隐患、单静态二进制分发,零 Python 依赖
  • DNA 推理基因链:行业首创,将推理策略封装为可编辑基因,带写入门禁与审计链路,不重训权重即可进化推理能力
  • 全硬件零绑定:从微控制器、嵌入式板卡、笔记本到多 GPU 服务器全覆盖,不锁死 CUDA / 厂商运行时

二、4 大核心能力速览

  1. 可控自进化闭环 RLVR 风格过程奖励 + 经验回放 + 漂移门控,推理过程自动优化路由、记忆、层级策略;所有变更可量化、可追溯、可一键回滚。

  2. 自研分层 KV 记忆系统 Hot/Warm/Cold 三级冷热存储 + 自研 4/8bit 量化 + 磁盘持久化 ndkv 格式,Infini 风格全局 / 局部分离,支持百万级 token 超长上下文,不爆内存。

  3. DNA 基因链治理 Gene Scissors 基因剪支持老化基因重标、低效基因隔离、再生候选生成;统一写入门禁要求所有基因变更必须经过「验证 - 回放 - 审计」三审才能落地,进化全程可控可审计。

  4. 生产级工程化体系 内置 KV 量化门禁、内核一致性门禁、设备兼容门禁、持久化往返校验,CI 流水线一键卡点,直接满足企业级交付标准。
    自进化基因治理流程图

    三、最新版本核心更新

    本次同步到 Gitee 的最新版本,完成了全链路升级:

  5. 开源协议正式落地 GPL-3.0,商用、二次开发规则清晰透明
  6. 新增策略晋升评分体系,候选策略多轮验证达标后自动转正,进化效果可度量
  7. DNA 基因写入门禁正式闭环,默认零自动激活,杜绝策略跑偏
  8. 接入 r97 编码评测运行器,多语言代码生成自动跑分,闭环优化奖励信号

    四、国内 3 步快速上手
# 1. 高速克隆(国内无需代理)
git clone https://gitee.com/babalibaba/rust-norion
cd rust-norion

# 2. 代码场景快速体验
cargo run -- --profile coding "实现一个Rust异步任务调度器"

# 3. 查看本地进化状态与记忆
cargo run -- --inspect-state --inspect-limit 5
本地执行 cargo run -- --profile coding "..."后

五、适用场景

  • 企业内网私有化 AI 部署,数据零出域、无第三方服务依赖
  • 边缘 / 嵌入式设备低资源推理,轻量化二进制开箱即用
  • 本地研发代码助手,保护敏感代码不外传
  • Rust 技术栈 SaaS 平台的推理层底座,可无缝对接 GreptimeDB 做可观测

最后

rust-norion 填补了 Rust 生态「上层推理控制层」的空白,把「自进化」从概念落地成了可审计、可工程化的完整体系。国内镜像上线后,开发者可以更顺畅地参与贡献、二次开发。

欢迎 Star 收藏,也欢迎在评论区聊聊:你最想把这套自进化推理引擎用在什么场景?

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐