与你的智能体实时对话
以 Markdown 查看使用你自己的 LiveKit 和语音提供商账户,在浏览器中与智能体进行实时语音对话。
这是什么
语音是在你的浏览器中直接与智能体进行的实时双向语音对话。它通过 LiveKit 使用 WebRTC 进行音频连接。不涉及任何电话业务:没有电话号码,没有拨号,没有呼出通话。
自带提供商
语音在生效之前需要连接两样东西,都在设置 → 语音中配置:
- 一个 LiveKit 项目:在你的浏览器和智能体之间传输音频的通道。
- 一个语音提供商,用于转录以及可选的语音回复。目前 Deepgram 和 ElevenLabs 均受支持。你可以为每个角色使用不同的供应商,因为覆盖范围因供应商和语言而异。
凭证是按组织隔离的。同一安装上不同组织之间不共享任何内容。
你会先于智能体看到什么
每条语音消息在发送前都会以可编辑的转录文本形式出现在聊天中。如果某个词被听错,你可以在智能体读取之前修正它。
只有语音输入而没有语音输出
一个组织可以在不配置文本转语音提供商的情况下启用转录。这是一种受支持的状态,而不是故障:你对智能体口述,并阅读它的文字回复。界面会直接说明这一点,而不是留下一个悄无声息什么都不做的麦克风。
语言覆盖
覆盖范围取决于所连接的供应商,而不是平台本身:
- Deepgram:转录英语、西班牙语、法语和普通话;仅能说英语、西班牙语和法语。
- ElevenLabs:这四种语言都能转录和说。
如果没有已连接的供应商在某个方向上覆盖某种语言,设置页面会将其作为一个事实直接说明,而不是让会话开始后用错误的语言回复。
隐私
原始音频永远不会被存储。只有最终的转录文本会保留,与对话中的任何其他消息一样。