教程中心 进阶玩法

语音全指南

让 ta 听懂你说的话(STT),也让 ta 用自己的声音回应你(TTS)。触发方式怎么选、各种语音服务怎么配、怎么训练专属声线,这一篇讲透。

约 10 分钟 进阶

语音能做什么

配好语音后,你们的相处会立体很多:

  • 游戏里连麦——不用停下手里的操作打字,直接开口跟 ta 说话。
  • 手机通话——在虚拟手机里给 ta 打电话,实时语音对聊,还能一起看看屏幕。
  • ta 的声音——短信朗读、游戏内说话、通话回应,都用 ta 自己的声线。

两个概念先分清:STT(语音识别)负责「ta 听懂你」,TTS(语音合成)负责「ta 开口说话」。它们分开配置、互不依赖——只想让 ta 有声音、自己继续打字,完全可以只配 TTS。

👂 💭 👄 🎵 💬 💬 🎵 你 ta 听懂你STT,在你电脑上 开口说TTS,跟着恋人走
耳朵和嘴是两样东西,分开配。只想让 ta 有声音、你自己照样打字,只配嘴就行。

语音识别(STT)

KOA 的语音识别在你的电脑本地完成:识别模型内置在启动器里,不需要额外的 Key,你的声音也不会上传到任何服务器。

需要配置的只有两样,都在启动器的 API 页:

  • 识别语言——选你平时说话的语言,识别更准。
  • 触发方式——「智能检测」或「按键说话」,下一节详细讲。

首次使用语音时,启动器会自动准备识别模型(如需下载会显示进度条,已为大陆网络做了镜像优化),耐心等一小会儿就好,之后不用再等。

两种触发方式

在 API 页选择适合你的触发方式:

方式怎么用适合场景
智能检测(VAD) 开启后自动检测你在说话,说完自动识别发送 沉浸连麦:双手不离开键盘鼠标,像跟队友开黑一样自然聊
按键说话 按 V 开始说话,说完再按结束 环境有杂音(室友说话、放着音乐),或者不想让 ta 听到你的每句自言自语

小差异提醒:我的世界和泰拉瑞亚里按 V 即可用语音;饥荒是在游戏面板里打开 STT 开关后全程连麦。

语音合成(TTS)总览

TTS 让 ta 开口说话。最重要的一件事先记住:TTS 是在恋人资料页的「语音」里配置的,不在 API 页——因为声音是跟着角色走的,每个恋人可以有自己的声线,切换角色时声线自动跟着切换。

打开「资料」页 → 进入你的恋人的编辑页 → 找到「语音」(手机上叫「语音配置」),在「TTS 引擎」里选一种语音服务:

服务费用特点
Edge TTS免费零配置开箱即用,预设音色
ElevenLabs按用量付费音色逼真自然,支持自定义声音
MiniMax TTS按用量付费音色丰富,支持声音码自定义音色
OpenAI TTS(兼容)按用量付费兼容硅基流动等第三方服务
GPT-SoVITS 情感特化(本地)免费KOA 内置训练工具,从零训练自己的声线
GPT-SoVITS 推理特化包(本地)免费本地推理不限量,直接用现成模型
GPT-SoVITS 原生(本地)免费对接官方原版 GPT-SoVITS

上面四种云端服务按配置难度从低到高排列;三种 GPT-SoVITS 本地方案不需要网络,声音数据不出你的电脑——区别在于你手上已有什么:已有训练好的模型选「推理特化包」,想从零训练选「情感特化」,已经在跑官方原版选「原生」。

Edge 免费 TTS

最低门槛的选择:不需要任何 Key,免费使用。在「语音」里选择 Edge TTS,挑一个你喜欢的预设音色,保存即可;但需要魔法。

先用 Edge 让 ta 开口,以后想要更贴合 ta 气质的声线,再升级到下面几种。

ElevenLabs TTS

音色非常自然逼真,还支持克隆自定义声音。ElevenLabs 提供有限的免费额度,超出后按用量计费。

  1. 注册 ElevenLabs

    到 ElevenLabs 官网注册账号,在个人设置中获取 API Key。

  2. 填入 KOA

    在恋人的「语音」里选择「ElevenLabs」,填入 API Key,从音色列表中选一个适合 ta 的声音。

  3. 试听保存

    试听确认是 ta 的感觉,保存生效。

MiniMax TTS

音色多,还能填声音码,用你在 MiniMax 上做好的自定义音色。

  1. 注册 MiniMax 开放平台

    到 MiniMax 开放平台注册账号,按平台指引拿到 API Key。

  2. 填入 KOA

    在恋人的「语音」里选择 MiniMax,填 API Key,再选音色。有声音码就填在「声音码(可选)」里。

  3. 试听保存

    点「试听」听一下,满意就点「保存语音」。

咳嗽、叹气、笑出声

模型选 Speech-2.8(HD 或 Turbo)时,恋人咳嗽、叹气、笑出声,台词里会写成 (coughs)、(sighs)、(laughs) 这样的标签,MiniMax 念成真的咳嗽声、叹气声和笑声,不会把「咳咳」照字念出来。这是 KOA 自己交代给恋人的,不用设置。屏幕上看不到这些标签。

  • 线下场景、剧场、跑团,还有手机里的电话、一起看、短信语音条和恋人打来电话的第一句,都会这样写。游戏里暂时还不念标签。
  • Speech-2.6 和更早的模型不认标签,恋人不会写,台词里有也会被去掉,不会念成单词。
  • 括号里的其它字不会念出来。双语模式的翻译、括号里写的动作,都只在屏幕上看得到。
  • 想自己听听:选了 Speech-2.8 以后,「试听的话」默认就是带标签的一句,点「试听」。自己打标签的话,MiniMax 认这 19 个,拼写要一字不差:(laughs) (chuckle) (coughs) (clear-throat) (groans) (breath) (pant) (inhale) (exhale) (gasps) (sniffs) (sighs) (snorts) (burps) (lip-smacking) (humming) (hissing) (emm) (sneezes)

台词语气

「台词语气」是 MiniMax 下面的一个开关,默认关着。关着时,MiniMax 看台词的字自己判断用什么情绪。

打开以后,恋人写每一句台词时,从 MiniMax 认的几种情绪里挑一个:平静、开心、难过、生气、害怕、厌恶、惊讶。模型选 Speech-2.6 的话还多「生动」和「低语」。平常说话、温柔、安慰、开玩笑都是平静的声音,真开心、真难过的句子才换。短信语音条和恋人打来电话的第一句也一样。

  • MiniMax 的情绪没有轻重,开心就是很开心。听着太用力,就关掉。
  • 想听听开着是什么样,点试听那一排的「让恋人说一句」。KOA 按角色设定写一句台词,连语气一起念给你听。每点一次,用一次聊天模型和一次语音。
  • 游戏里暂时还是以前的样子:开着时只有难过、生气、开心这类情绪会带上,别的还是 MiniMax 自己判断。

高级设置

「台词语气」下面有一栏「高级设置」,默认收着,点一下展开。里面是读音字典(下一节)和下面几样,不动它们就是以前的声音。标题后面写着「已设置 2 项」这样的字,就是里面改过东西。

  • 「语调」:往左声音低,往右声音高。
  • 「音量」:觉得恋人说话声太小或太大时调,最大到 2。
  • 「语言增强」:恋人说粤语、日语或者别的语言时,选上那种语言,发音更准。只说普通话的不用选。
  • 「读准数字和符号」:打开后,「9:30」「¥58」这类念得更准。只有 Speech-2.8 和 2.6 有这个开关。
  • 「音质」:「标准」就是以前的音质。「高」每句的文件大一倍,「省空间」小一半,声音会糊一点。手机上的语音条存满了会从最早的删起,选「高」删得快一些。
  • 「恢复默认」:把上面这几样调回去,读音字典不动。

改完不用先保存,直接点「试听」就能听。这些设置跟着每一句发给 MiniMax,游戏里暂时还用不上。改了以后,以前念过的句子再播一次会重新合成,MiniMax 按字算钱。

读音字典

MiniMax 把恋人的名字或者某个词念错了,写进「读音字典」。它在「高级设置」里,展开就看到。

  1. 一行写一个词

    写成 原文/读音。读音用拼音,一个字一对括号,拼音后面的数字是声调,轻声写 5。名字「乐乐」想念 yuè yuè,就写 乐乐/(yue4)(yue4)。中文输入法打出来的全角斜杠和括号也认。

  2. 保存

    点「保存语音」。有哪一行写错了,框下面会说是第几行、错在哪,改好才存得进去。「高级设置」收着的话,会自己展开。

  3. 试听

    在「试听的话」里打一句带这个词的话,点「试听」。字典不用先保存。

字典跟着每一句发给 MiniMax,游戏里暂时还用不上。改了字典以后,以前念过的句子再播一次会重新合成,MiniMax 按字算钱。

以前写过「语气语调」

「语气语调」这个框从这一版起去掉了,里面写的不再生效。框里的字只有写台词的模型读得到,MiniMax 本来就收不到,挪进角色设定,恋人照样读得到。

写过的话,语音区里会多一块「语气语调(已停用)」,原文还在:

  1. 复制

    点「复制」,粘进资料页的「角色设定」。

  2. 清掉

    点「清掉」,这一块就没了。保存以后才算数。

OpenAI 兼容 TTS

除了 OpenAI 官方,任何兼容 OpenAI TTS 接口的服务都能用——比如硅基流动等平台。

配置方法:在「语音」里选择 OpenAI TTS,把 API 地址改成对应服务商提供的地址,填入该服务的 Key,选择音色即可。

GPT-SoVITS 情感特化训练工具

想让 ta 用只属于你的声线说话?KOA 内置了一套可视化的声线训练工具——从准备素材到训练再到部署,全程在浏览器里点点点,不需要任何命令行知识。训练完成后一键部署为本地 TTS 服务,KOA 直接连上就能用。

本工具基于开源项目 GPT-SoVITS 及社区生态开发,是 KOA 附赠的免费工具,不属于 KOA 付费激活的功能范围。训练出的声音请仅用于个人用途,遵守你所在地区的相关法规。

你需要准备什么

  • NVIDIA 独立显卡——训练需要 GPU 算力,集成显卡跑不动。工具内有显存参考表帮你判断你的显卡够不够用。
  • GPT-SoVITS 官方整合包——约 8 GB,提供训练所需的运行环境和预训练模型。工具页面内有下载指引,从官方渠道获取。
  • 角色的语音素材——一段干净的角色语音(游戏配音、动画台词等均可),工具内自带切分和标注功能。
  1. 下载官方整合包

    在启动器「工具」页找到「GPT-SoVITS 情感特化训练工具」,按页面指引下载官方 GPT-SoVITS 整合包并解压,版本选 v2pro-20250604。RTX 50 系显卡选 v2pro-20250604-nvidia50。2026 年 10 月出的 V5 整合包训练面板用不了。

  2. 绑定目录

    在工具页选择你解压后的整合包目录,KOA 会自动识别并注入训练面板文件。之后 KOA 更新时面板也会自动跟着更新。

  3. 启动面板、训练声线

    点击「启动」,面板会在浏览器中打开。面板内有完整的新手指南,跟着走就行:创建项目 → 导入音频 → 自动切分标注 → 格式化 → 开始训练。训练时间取决于显卡性能和数据量,通常几十分钟到几小时不等。

  4. 部署为 TTS 服务

    训练完成后在面板的部署页一键部署。首次部署需要联网安装几个小依赖(面板已配置国内镜像),之后不再需要网络。

  5. 连接 KOA

    在恋人的「语音」里选择「GPT-SoVITS 情感特化 (本地)」,地址默认已经填好(http://127.0.0.1:9881)。刷新音色列表选中你训练的模型,还可以为 ta 的每句话挑一种说话情绪。

训练面板在 KOA 启动器运行期间保持可用。关闭启动器时面板和部署服务会一起关闭(训练进行中时会先弹确认)。

日常使用:一键启动 API

训练部署过一次之后,日常使用不需要每次都打开面板走部署流程。「工具」页提供了一键启动 API 的快捷卡片——点一下就能直接启动 TTS 服务供 KOA 调用,省去开面板的步骤。

GPT-SoVITS 推理特化包

如果你已经有训练好的 GPT-SoVITS 模型(自己训练过、或从社区拿到现成模型),可以用推理特化包直接跑——不需要再训练,模型搬进去就能用。

  1. 下载推理特化包

    到 ModelScope 的 aihobbyist/GPT-SoVITS-Inference 页面下载整合包并解压。cu124 / cu128 两个版本对应不同的 CUDA 版本:显卡驱动较新选 cu128,启动报错就换另一个。

  2. 放入你的模型

    把训练好的 GPT / SoVITS 模型和参考音频放进推理包的模型目录,参照包内示例的层级摆放(模型名 / 参考语言 / 情绪参考音频)。

  3. 启动 API 服务

    运行推理包里的 API 启动脚本,记下窗口里显示的端口(一般是 8001)。KOA 使用期间这个窗口要保持开着。

  4. 连接 KOA

    在恋人的「语音」里选择「GPT-SoVITS Inference Plugin (本地)」,接口地址填 http://127.0.0.1:8001(端口以上一步窗口显示的为准,地址请用 127.0.0.1,不要填 0.0.0.0)。刷新音色列表选中你的模型,还可以为 ta 挑一种说话情绪。

GPT-SoVITS 原生

如果你已经在跑 GPT-SoVITS 官方原版的 api_v2.py,可以直接对接,不需要换推理特化包。

在恋人的「语音」里选择「GPT-SoVITS 原生 (本地)」,接口地址填你的 API 地址(默认 http://127.0.0.1:9880)。

官方原版不提供模型列表接口,KOA 无法自动拉取音色列表——你需要在「语音」里手动填写参考音频路径等参数。如果觉得麻烦,建议换用上面的推理特化包或情感特化训练工具,模型直接搬过去就行,不需要重新训练。

双语模式

如果 ta 的设定说的是外语,或者你想边谈恋爱边练语言,可以在角色设定的 TTS 页打开双语。这里有两个开关,各管各的:

  • 手机里的双语:短信、电话和一起看看用 ta 的母语。点一下短信气泡,中文在原文下面展开,语音条也一样。
  • 游戏里的双语:ta 在游戏里用母语说话,屏幕上显示中文。先打开「启用语音」,才看得到这个开关。
  • 角色的母语:两个开关共用,比如填「日语」。空着时按角色描述判断。

可以只开一个。想在游戏里听 ta 说日语、手机里照常聊中文,就只开游戏那个。

线下场景的双语在它自己的设置里,选「双语台词」。

常见问题排查

ta 听不到我说话

  • 检查 Windows 设置里的麦克风权限,以及麦克风有没有被别的程序占用。
  • 确认 API 页的触发方式:选了「按键说话」就要按 V 才会开始识别。
  • 识别语言选的和你实际说的是否一致。

ta 不出声

  • 确认在恋人资料页的「语音」里(不是 API 页)选好了服务并保存。
  • 用 MiniMax / OpenAI 兼容服务时,检查凭证是否有效、余额是否充足。
  • 到启动器「日志」页看 TTS 相关报错,通常能直接看到原因。

MiniMax 没有念出笑声、叹气声

  • 模型要选 Speech-2.8(HD 或 Turbo)。2.6 和更早的模型不认标签。
  • 标签要是 MiniMax 认的那 19 个,拼写一字不差。拼错的标签会留在屏幕上,没有声音。「日志」页里也会有一行 is not a MiniMax voice tag,写着是哪一个。
  • 在「试听的话」里打一句带标签的话试听。试听里有声音,引擎就没问题。

读音字典写了,还是念错

  • 看看那一行是不是 原文/读音,读音是不是一个字一对括号,比如 (yue4)。
  • 「日志」页里有 MiniMax rejected the pronunciation dictionary 这一行,是 MiniMax 不收这份字典,那一句是去掉字典念的。把最近加的那几行删掉再试。

高级设置改了,听不出变化

  • 「日志」页里有一行 MiniMax rejected 开头、中间写着 the advanced settings,是 MiniMax 不收这组设置,那一句是去掉高级设置和读音字典念的。点「恢复默认」,再一样一样改回去试。
  • 「读准数字和符号」只在 Speech-2.8 和 2.6 上有用,换成别的模型,这个开关会藏起来。

情感特化训练工具启动失败

  • 检查端口 9877 是否被占用——如果你自己手动跑过面板,关掉那个实例再从 KOA 启动。
  • 确认绑定的目录是官方 GPT-SoVITS 整合包的解压目录(里面应该有 runtime 文件夹和 GPT_SoVITS 文件夹)。
  • 确认整合包版本是 v2pro-20250604。更新的 V5 整合包训练面板用不了。

情感特化部署后 KOA 连不上

  • 确认在面板的部署页已经成功部署(部署日志没有报错)。
  • 在恋人的「语音」里确认选的是「GPT-SoVITS 情感特化 (本地)」而不是其它 GPT-SoVITS 选项。
  • 地址用默认的 http://127.0.0.1:9881 不要改,除非你手动换过部署端口。

GPT-SoVITS 推理特化包拉不到模型 / 音色列表是空的

  • 确认跑的是「推理特化包」(AI-Hobbyist 维护的推理专用版本)——官方原版没有模型列表接口,KOA 读不到它的模型。如果你用的是官方原版,切换到「GPT-SoVITS 原生 (本地)」通道,或换用推理特化包。
  • 接口地址的端口要和推理包 API 窗口显示的一致(一般是 8001),并确认那个窗口没有被关掉。
  • 地址用 127.0.0.1,不要填 0.0.0.0(那是服务的监听写法,不是访问地址)。

玩游戏时本地 TTS 突然不出声

如果 ta 平时好好的,一开游戏(尤其是我的世界等吃显卡的游戏)就不说话了——这是 TTS 推理和游戏在抢显卡资源。GPT-SoVITS 推理默认会尽量多占显存,游戏也要大量显存——两边一起跑,显存不够时 TTS 会静默失败(不报错、不提示,只是没有声音)。

按推荐顺序试试这几个方案:

  • 限制 TTS 显存占用——找到你的 GPT-SoVITS 推理服务的 Python 启动文件(api_v2.py 或类似文件),在文件顶部找到 import torch,紧跟其后加一行:
    torch.cuda.set_per_process_memory_fraction(0.4)
    这样 TTS 最多只用 40% 的显存,给游戏留出空间。12 GB 显卡建议 0.4,8 GB 建议 0.45,6 GB 建议 0.5。如果加了之后不玩游戏时 TTS 也报错,就把数字调大一些。
  • 降低游戏画面配置——关闭光影、降低渲染距离和分辨率,都能释放出大量显存给 TTS 使用。光影开关的影响最大:光影可能额外吃掉 4-6 GB 显存。
  • 换用不吃显卡的 TTS——如果显卡实在带不动两头跑,可以把 TTS 切成 Edge TTS(免费且不用显卡)或其它云端服务,游戏性能也完全不受影响。

查看显存使用情况:打开任务管理器 → 「性能」 → 「GPU」 → 看「专用 GPU 内存」。如果已经接近总量,就是显存不够了。

还是解决不了?导出诊断包,到帮助中心指引的渠道反馈。