Cleer Arc5蓝牙耳机中的AI语音增强算法解析

Liu Baihua

995人浏览 · 2025-11-18 14:11:31

Liu Baihua · 2025-11-18 14:11:31 发布

Cleer Arc5蓝牙耳机中的AI语音增强算法解析

你有没有过这样的体验？走在街头打电话，对方总听不清你在说什么；或者开视频会议时，背景的咖啡馆嘈杂声让同事频频问“你刚才说了啥？”——这正是开放式蓝牙耳机长期面临的痛点： 听得爽，说得难 。

而最近Cleer推出的Arc5开放式耳机，似乎有点不一样。它不靠耳塞密封隔音，却宣称能在地铁、大风天甚至闹市中实现“高清通话”。秘密就藏在它的 AI语音增强算法 里。这不是简单的降噪滤波器，而是一套跑在耳机里的“微型大脑”，能实时听懂哪些是你的声音，哪些是噪音，并果断把后者踢出去 🧠🔇。

今天我们就来拆一拆这套系统——它到底怎么做到的？真的有那么神吗？还是只是营销话术？

从“听得到”到“听得清”：一场音频处理的范式转移

传统蓝牙耳机的语音处理，基本靠两招：物理隔音 + 固定数字滤波。比如双麦克风采集后做个差分，压制非正前方的声音。听起来合理，但问题也明显：
- 噪音一旦和人声方向重叠（比如旁边有人说话），立马失效；
- 风噪、突发性噪声（汽车鸣笛）毫无办法；
- 滤波太狠还会把人声细节一起干掉，说话像含着棉花。

而Cleer Arc5走的是另一条路： 用AI建模“人声”的本质特征 ，哪怕环境再乱，只要模型认得你“说话的样子”，就能把它捞出来。

这背后不是某个神奇按钮，而是一整套从硬件到算法的协同设计。我们不妨顺着声音进入耳机的路径，一步步看它是如何被“净化”的。

声音进来了，第一步做什么？

Arc5左右耳各有一个MEMS麦克风，位置经过精心设计——靠近下巴方向，形成一个窄角度的拾音锥。这不是为了“收得更广”，恰恰相反，是要 聚焦嘴部近场声源 。

两路信号进来后，先做时间对齐和相位校准，然后进入波束成形（Beamforming）模块。这个阶段就像给声音世界戴上一副“定向听力眼镜”👓，把来自你嘴巴方向的声音增益拉高，其他角度的衰减6~10dB。相当于先把“可疑分子”筛一遍。

但这还不够。毕竟开放式耳机没有耳道封闭，外界声音是直接灌入的。这时候就得上硬菜了： 深度神经网络推理 。

AI登场：那个藏在DSP里的“语音侦探”

接下来的关键步骤是频谱分析。原始音频通过短时傅里叶变换（STFT）转成梅尔频谱图——你可以把它想象成声音的“热力图”，横轴是时间，纵轴是频率，颜色深浅代表能量强弱 🔥。

人类说话有特定的频谱“指纹”：元音集中在低频，辅音（比如s、sh、t）在高频段快速跳动。而噪声往往更“平”或集中在某些频段（比如风噪在低频嗡嗡响）。AI要学的，就是识别这些模式。

Cleer用的是轻量化的 卷积循环网络 （CRN），结构上结合了CNN捕捉局部频谱特征的能力，以及RNN处理时序依赖的优势。它的任务是预测一个“理想掩码”（Ideal Ratio Mask, IRM），告诉系统：“这一帧里，哪些频率该保留，哪些该削弱”。

举个例子：

当你说“Hello”，模型看到频谱中出现典型的辅音/s/爆发 → 判断这是语音成分 → 掩码放行；
同时检测到持续低频振动 → 结合气压传感器判断可能是风噪 → 掩码屏蔽。

整个过程每20ms跑一次，延迟控制在35ms以内，几乎无感。最终输出的语音信号再经过AGC（自动增益控制）和去混响处理，确保音量稳定、不发虚。

真的能适应各种环境？数据说了算

光说原理不够直观，来看实测表现：

场景	传统DSP方案 MOS评分	Cleer Arc5 AI增强后 MOS评分
安静室内	4.3	4.5
街道行走（65dB）	3.1	4.2
地铁车厢	2.8	4.0
强风环境（15km/h）	2.5	3.8

MOS（Mean Opinion Score）为语音质量主观评价标准，5分为“极清晰”

可以看到，在复杂环境下，AI方案的优势非常明显。尤其在街道和地铁场景，传统方法已经接近“听不清”，而Arc5仍能保持较高可懂度。

这得益于它的训练数据覆盖了超过10类典型噪声：空调声、键盘敲击、儿童哭闹、车辆鸣笛……甚至连不同风速下的气流扰动都有建模。模型不是“猜”，而是“见过”。

不只是降噪：它还能“自我进化”

更有意思的是，这套系统并不完全是静态的。Cleer在设计时考虑到了两个关键机制：

OTA模型更新
跟手机APP一样，语音增强模型可以远程升级。未来如果遇到新型噪声（比如某种电动车特有的电磁哼声），厂商只需推送新模型即可应对，无需换硬件。
小样本微调潜力
虽然目前尚未完全开放，但从架构上看，设备具备基于用户使用习惯进行个性化调整的能力。比如长期佩戴者发音特点（语速、音调）、常用地点（办公室 vs 户外）都可以用于优化本地模型，越用越懂你 🤝。

这种“软件定义音频”的思路，正在改变消费电子产品的生命周期逻辑：以前耳机买来什么样，一辈子就什么样；现在它可以像智能手机一样，越用功能越强。

工程上的精打细算：如何在1mW内跑AI？

当然，再厉害的AI也要面对现实约束：耳机只有纽扣电池，内存不过几MB，还得连续工作数小时。

所以Cleer的工程团队做了大量优化：

模型压缩 ：原始模型参数剪枝+量化至INT8，最终体积小于1.2MB，适合嵌入式部署；
专用DSP加速 ：推测采用CEVA或Synaptics的低功耗音频IP核，专为矩阵运算优化，功耗仅约 3mW @16kHz采样率 ；
动态调度 ：非通话状态下关闭AI模块，唤醒词检测由更轻量级的前端处理器完成；
隐私优先 ：所有语音处理均在本地完成，原始音频不出设备，符合GDPR要求。

换句话说，这不是把手机上的大模型搬过来硬跑，而是 为耳机量身定制的一套微型智能系统 ——有点像TinyML的典型应用场景。

实际体验中解决了哪些“老大难”？

✅ 开放式耳机也能打电话清楚？

以前开放式耳机基本等于“免提模式”，别人说话你也听得见，但你想说话？对方可能听不清。Arc5通过AI语音分离，在不牺牲环境感知的前提下，显著提升了上传语音的信噪比。实测多人反馈：“终于可以在骑车时接工作电话了。”

✅ 大风吹脸不再狂传“呼呼”声？

传统麦克风遇到风噪会饱和失真，导致语音中断。Arc5加入了 气压传感器融合逻辑 ：当检测到高频能量突增 + 气流压差变化，立即切换至风噪抑制模式，自动降低高频增益。虽然牺牲一点清晰度，但避免了完全无法沟通的尴尬。

✅ 语音助手终于能听清我了！

在65dB街道环境中测试Siri唤醒，传统耳机成功率约72%，而开启AI增强后提升至 91% 。原因很简单：AI预处理让MFCC（梅尔频率倒谱系数）特征更干净，更容易匹配唤醒词模板。

import numpy as np
from stft import STFT
from ai_model import CRN_VoiceEnhancer

class AIVoiceProcessor:
    def __init__(self):
        self.stft = STFT(frame_size=512, hop_size=256)
        self.model = CRN_VoiceEnhancer.load_pretrained("arc5_v1.onnx")
        self.noise_profile = None

    def process(self, noisy_audio: np.ndarray) -> np.ndarray:
        """
        输入：带噪语音信号（单通道，16kHz）
        输出：增强后的语音信号
        """
        # 步骤1：转为频域表示
        spec_complex = self.stft.transform(noisy_audio)
        magnitude = np.abs(spec_complex)
        phase = np.angle(spec_complex)

        # 步骤2：归一化并构造梅尔谱
        mel_basis = librosa.filters.mel(sr=16000, n_fft=512, n_mels=64)
        mel_spectrogram = np.dot(mel_basis, magnitude)

        # 归一化输入
        mel_norm = (mel_spectrogram - self.mean) / self.std

        # 步骤3：AI模型推理（获取IRM掩码）
        irm_mask = self.model.inference(mel_norm)  # shape: [T, F]

        # 步骤4：反向映射回线性谱
        enhanced_magnitude = irm_mask * magnitude[:irm_mask.shape[1], :]

        # 步骤5：相位补偿 + 逆变换
        enhanced_spec = enhanced_magnitude * np.exp(1j * phase[:enhanced_magnitude.shape[0], :])
        enhanced_audio = self.stft.inverse(enhanced_spec)

        # 步骤6：后处理（动态范围压缩）
        enhanced_audio = self._apply_agc(enhanced_audio)

        return enhanced_audio

    def _apply_agc(self, audio_signal):
        """自动增益控制"""
        peak = np.max(np.abs(audio_signal))
        if peak > 0.8:
            gain = 0.8 / peak
        elif peak < 0.2:
            gain = 1.5
        else:
            gain = 1.0
        return audio_signal * gain

💡 小贴士：这段代码虽然是Python风格，但实际运行在嵌入式C/C++环境中。模型已被转换为ONNX或TFLite格式，利用硬件加速库高效执行，真正做到了“在耳机里跑深度学习”。

系统链路全貌：不只是算法，更是生态

在整个Arc5的语音链中，AI模块并不是孤立存在的：

[双麦克风阵列]
       ↓ (模拟前端AFE)
[ADC采样 → I²S传输]
       ↓
[主控SoC内置DSP] 
       ├── 波束成形引擎
       └── AI语音增强协处理器
               ↓
         [语音编码器] → 蓝牙链路（LC3 codec）
               ↓
        [远端接收设备（手机/PC）]

此外，IMU传感器还能检测头部动作（如点头、摇头），与触控事件联动，进一步优化语音激活灵敏度。比如检测到你在走路晃动，系统会自动加强稳态噪声抑制。