跳至内容
HeartBeatAgents

连接 LiveKit 和一个语音提供商,为你的智能体启用实时语音。

在智能体能够进行语音对话之前,语音需要连接两个独立的东西:一个传输层(LiveKit)和至少一个语音提供商(Deepgram 或 ElevenLabs)。两者都位于设置 → 语音下。

1. 连接 LiveKit(传输层)

LiveKit 承载你的浏览器与智能体之间的实际音频。输入你的 LiveKit 项目 URL、API 密钥和 API 密钥密文,然后保存。这是一个安装范围的设置:一个 LiveKit 项目服务于该安装上的每一个组织,而不是每个组织各一个。

2. 连接一个语音提供商(按组织)

转录和语音回复分别配置,并且可以使用不同的供应商:

  • Deepgram:转录英语、西班牙语、法语和普通话;能说英语、西班牙语和法语。
  • ElevenLabs:这四种语言都能转录和说。

为你想启用的每个角色添加对应提供商的 API 密钥。你不需要同时启用两个角色:只用转录,语音也能工作。参见语音了解在聊天中的实际效果。

3. 依赖之前先测试

在保存新的或修改过的凭证之前使用测试连接。它探测的是你即将保存的确切配置,而不是已经存储的那个,因此一个错误的密钥不会被提交到一个正在运行的安装之上、打断已经处于语音会话中的人。

4. 供应商训练退出

两个受支持的供应商都允许你选择不让它们用你组织的音频进行训练,该选项默认开启。有些供应商只在付费计划中兑现这一点:启用后运行测试连接以确认供应商确实接受了该设置。

开始一次会话

一旦传输层和至少一个转录提供商都已连接,智能体对话视图中就会出现麦克风控件。如果没有出现,检查设置 → 语音看看还缺少哪个部分。参见语音不可用了解每种具体缺失情况的含义。

相关内容

  • 语音:语音对话看起来和表现起来是什么样子
  • 语音不可用:修复缺失或被禁用的麦克风控件
  • 安全:提供商凭证是如何存储和限定范围的