LiveKit Agents 技术文档

agents Build real-time multimodal AI applications 🤖🎙️📹 项目地址: https://gitcode.com/gh_mirrors/agen/agents

LiveKit Agents 是一个专为构建实时、可编程服务器端参与者设计的框架，旨在创建能够视听并理解的对话式多模式语音代理。它集成了用于常见工作流的插件，如语音活动检测和从语音到文本的转换。通过与LiveKit（云托管或自托管）无缝集成，减轻了排队系统的需求，并允许本地开发的代理代码在生产环境中扩展支持数千个并发会话。

安装指南

核心库安装

在您的终端里执行以下命令来安装 LiveKit Agents 的核心库：

pip install livekit-agents

插件安装

LiveKit Agents 提供一系列预构建的插件来简化代理的组合。要安装特定插件，例如用于语音转文本的 DeepGram 插件，使用如下命令：

pip install livekit-plugins-deepgram

可用的插件及其功能参见上文列出的表格。

使用说明

LiveKit Agents 涉及三个关键概念：代理（Agent）, 工作者（Worker）, 和 插件（Plugin）。

运行代理

确保已设置以下环境变量以运行您的代理：

• LIVEKIT_URL: LiveKit 服务器的地址。
• LIVEKIT_API_KEY 和 LIVEKIT_API_SECRET: 用于认证的密钥和秘密。

启动工作者执行基础命令：

python my_agent.py start

若进行开发，使用热重载的 dev 命令：

python my_agent.py dev

您也可以指定房间加入：

python my_agent.py connect --room 房间名

与“Playground”交互

为了便于代理的建设和测试，LiveKit提供了名为“Playground”的Web前端。利用它可以轻松地构建和测试您的代理逻辑：

• 在线体验: Agents Playground
• 源码: GitHub Repository

信号处理

发送 SIGTERM 给工作者时，它会告知 LiveKit 不再接受新的任务，并管理正在进行的会话直到它们结束。

下载模型文件

某些插件需要预先下载模型文件。使用此命令获取所有必需的模型：

python my_agent.py download-files

对于自定义插件，实现 download_files 方法来整合模型下载逻辑。

项目API使用文档

具体API细节和函数调用示例，请参考每个插件的文档以及官方文档中的API Overview部分。每个插件都提供了一系列方法，比如初始化、处理音频输入、输出文本等，这些都需要按照各自的具体文档进行调用。

记得查看开发者预告期间的版本变更记录和潜在的API变动指导文档，例如 0.8迁移指南，以保持应用的兼容性和稳定性。

LiveKit Agents通过其强大的插件系统和清晰的架构，极大地简化了构建复杂通信代理的过程。随着您的应用发展，深入理解这些组件之间的互动将使您能够充分利用该框架的潜力。

agents Build real-time multimodal AI applications 🤖🎙️📹 项目地址: https://gitcode.com/gh_mirrors/agen/agents