语音能做什么
配好语音后,你们的相处会立体很多:
- 游戏里连麦——不用停下手里的操作打字,直接开口跟 ta 说话。
- 手机通话——在虚拟手机里给 ta 打电话,实时语音对聊,还能一起看看屏幕。
- ta 的声音——短信朗读、游戏内说话、通话回应,都用 ta 自己的声线。
两个概念先分清:STT(语音识别)负责「ta 听懂你」,TTS(语音合成)负责「ta 开口说话」。它们分开配置、互不依赖——只想让 ta 有声音、自己继续打字,完全可以只配 TTS。
语音识别(STT)
KOA 的语音识别在你的电脑本地完成:识别模型内置在启动器里,不需要额外的 Key,你的声音也不会上传到任何服务器。
需要配置的只有两样,都在启动器的 API 页:
- 识别语言——选你平时说话的语言,识别更准。
- 触发方式——「智能检测」或「按键说话」,下一节详细讲。
首次使用语音时,启动器会自动准备识别模型(如需下载会显示进度条,已为大陆网络做了镜像优化),耐心等一小会儿就好,之后不用再等。
两种触发方式
在 API 页选择适合你的触发方式:
| 方式 | 怎么用 | 适合场景 |
|---|---|---|
| 智能检测(VAD) | 开启后自动检测你在说话,说完自动识别发送 | 沉浸连麦:双手不离开键盘鼠标,像跟队友开黑一样自然聊 |
| 按键说话 | 按 V 开始说话,说完再按结束 | 环境有杂音(室友说话、放着音乐),或者不想让 ta 听到你的每句自言自语 |
小差异提醒:我的世界和泰拉瑞亚里按 V 即可用语音;饥荒是在游戏面板里打开 STT 开关后全程连麦。
语音合成(TTS)总览
TTS 让 ta 开口说话。最重要的一件事先记住:TTS 是在恋人资料页的「语音」里配置的,不在 API 页——因为声音是跟着角色走的,每个恋人可以有自己的声线,切换角色时声线自动跟着切换。
打开「资料」页 → 进入你的恋人的编辑页 → 找到「语音」(手机上叫「语音配置」),在「TTS 引擎」里选一种语音服务:
| 服务 | 费用 | 特点 |
|---|---|---|
| Edge TTS | 免费 | 零配置开箱即用,预设音色 |
| ElevenLabs | 按用量付费 | 音色逼真自然,支持自定义声音 |
| MiniMax TTS | 按用量付费 | 音色丰富,支持声音码自定义音色 |
| OpenAI TTS(兼容) | 按用量付费 | 兼容硅基流动等第三方服务 |
| GPT-SoVITS 情感特化(本地) | 免费 | KOA 内置训练工具,从零训练自己的声线 |
| GPT-SoVITS 推理特化包(本地) | 免费 | 本地推理不限量,直接用现成模型 |
| GPT-SoVITS 原生(本地) | 免费 | 对接官方原版 GPT-SoVITS |
上面四种云端服务按配置难度从低到高排列;三种 GPT-SoVITS 本地方案不需要网络,声音数据不出你的电脑——区别在于你手上已有什么:已有训练好的模型选「推理特化包」,想从零训练选「情感特化」,已经在跑官方原版选「原生」。
Edge 免费 TTS
最低门槛的选择:不需要任何 Key,免费使用。在「语音」里选择 Edge TTS,挑一个你喜欢的预设音色,保存即可;但需要魔法。
先用 Edge 让 ta 开口,以后想要更贴合 ta 气质的声线,再升级到下面几种。
ElevenLabs TTS
音色非常自然逼真,还支持克隆自定义声音。ElevenLabs 提供有限的免费额度,超出后按用量计费。
-
注册 ElevenLabs
到 ElevenLabs 官网注册账号,在个人设置中获取 API Key。
-
填入 KOA
在恋人的「语音」里选择「ElevenLabs」,填入 API Key,从音色列表中选一个适合 ta 的声音。
-
试听保存
试听确认是 ta 的感觉,保存生效。
MiniMax TTS
音色多,还能填声音码,用你在 MiniMax 上做好的自定义音色。
-
注册 MiniMax 开放平台
到 MiniMax 开放平台注册账号,按平台指引拿到 API Key。
-
填入 KOA
在恋人的「语音」里选择 MiniMax,填 API Key,再选音色。有声音码就填在「声音码(可选)」里。
-
试听保存
点「试听」听一下,满意就点「保存语音」。
咳嗽、叹气、笑出声
模型选 Speech-2.8(HD 或 Turbo)时,恋人咳嗽、叹气、笑出声,台词里会写成 (coughs)、(sighs)、(laughs) 这样的标签,MiniMax 念成真的咳嗽声、叹气声和笑声,不会把「咳咳」照字念出来。这是 KOA 自己交代给恋人的,不用设置。屏幕上看不到这些标签。
- 线下场景、剧场、跑团,还有手机里的电话、一起看、短信语音条和恋人打来电话的第一句,都会这样写。游戏里暂时还不念标签。
- Speech-2.6 和更早的模型不认标签,恋人不会写,台词里有也会被去掉,不会念成单词。
- 括号里的其它字不会念出来。双语模式的翻译、括号里写的动作,都只在屏幕上看得到。
- 想自己听听:选了 Speech-2.8 以后,「试听的话」默认就是带标签的一句,点「试听」。自己打标签的话,MiniMax 认这 19 个,拼写要一字不差:
(laughs)(chuckle)(coughs)(clear-throat)(groans)(breath)(pant)(inhale)(exhale)(gasps)(sniffs)(sighs)(snorts)(burps)(lip-smacking)(humming)(hissing)(emm)(sneezes)
台词语气
「台词语气」是 MiniMax 下面的一个开关,默认关着。关着时,MiniMax 看台词的字自己判断用什么情绪。
打开以后,恋人写每一句台词时,从 MiniMax 认的几种情绪里挑一个:平静、开心、难过、生气、害怕、厌恶、惊讶。模型选 Speech-2.6 的话还多「生动」和「低语」。平常说话、温柔、安慰、开玩笑都是平静的声音,真开心、真难过的句子才换。短信语音条和恋人打来电话的第一句也一样。
- MiniMax 的情绪没有轻重,开心就是很开心。听着太用力,就关掉。
- 想听听开着是什么样,点试听那一排的「让恋人说一句」。KOA 按角色设定写一句台词,连语气一起念给你听。每点一次,用一次聊天模型和一次语音。
- 游戏里暂时还是以前的样子:开着时只有难过、生气、开心这类情绪会带上,别的还是 MiniMax 自己判断。
高级设置
「台词语气」下面有一栏「高级设置」,默认收着,点一下展开。里面是读音字典(下一节)和下面几样,不动它们就是以前的声音。标题后面写着「已设置 2 项」这样的字,就是里面改过东西。
- 「语调」:往左声音低,往右声音高。
- 「音量」:觉得恋人说话声太小或太大时调,最大到 2。
- 「语言增强」:恋人说粤语、日语或者别的语言时,选上那种语言,发音更准。只说普通话的不用选。
- 「读准数字和符号」:打开后,「9:30」「¥58」这类念得更准。只有 Speech-2.8 和 2.6 有这个开关。
- 「音质」:「标准」就是以前的音质。「高」每句的文件大一倍,「省空间」小一半,声音会糊一点。手机上的语音条存满了会从最早的删起,选「高」删得快一些。
- 「恢复默认」:把上面这几样调回去,读音字典不动。
改完不用先保存,直接点「试听」就能听。这些设置跟着每一句发给 MiniMax,游戏里暂时还用不上。改了以后,以前念过的句子再播一次会重新合成,MiniMax 按字算钱。
读音字典
MiniMax 把恋人的名字或者某个词念错了,写进「读音字典」。它在「高级设置」里,展开就看到。
-
一行写一个词
写成
原文/读音。读音用拼音,一个字一对括号,拼音后面的数字是声调,轻声写 5。名字「乐乐」想念 yuè yuè,就写乐乐/(yue4)(yue4)。中文输入法打出来的全角斜杠和括号也认。 -
保存
点「保存语音」。有哪一行写错了,框下面会说是第几行、错在哪,改好才存得进去。「高级设置」收着的话,会自己展开。
-
试听
在「试听的话」里打一句带这个词的话,点「试听」。字典不用先保存。
字典跟着每一句发给 MiniMax,游戏里暂时还用不上。改了字典以后,以前念过的句子再播一次会重新合成,MiniMax 按字算钱。
以前写过「语气语调」
「语气语调」这个框从这一版起去掉了,里面写的不再生效。框里的字只有写台词的模型读得到,MiniMax 本来就收不到,挪进角色设定,恋人照样读得到。
写过的话,语音区里会多一块「语气语调(已停用)」,原文还在:
-
复制
点「复制」,粘进资料页的「角色设定」。
-
清掉
点「清掉」,这一块就没了。保存以后才算数。
OpenAI 兼容 TTS
除了 OpenAI 官方,任何兼容 OpenAI TTS 接口的服务都能用——比如硅基流动等平台。
配置方法:在「语音」里选择 OpenAI TTS,把 API 地址改成对应服务商提供的地址,填入该服务的 Key,选择音色即可。
GPT-SoVITS 情感特化训练工具
想让 ta 用只属于你的声线说话?KOA 内置了一套可视化的声线训练工具——从准备素材到训练再到部署,全程在浏览器里点点点,不需要任何命令行知识。训练完成后一键部署为本地 TTS 服务,KOA 直接连上就能用。
本工具基于开源项目 GPT-SoVITS 及社区生态开发,是 KOA 附赠的免费工具,不属于 KOA 付费激活的功能范围。训练出的声音请仅用于个人用途,遵守你所在地区的相关法规。
你需要准备什么
- NVIDIA 独立显卡——训练需要 GPU 算力,集成显卡跑不动。工具内有显存参考表帮你判断你的显卡够不够用。
- GPT-SoVITS 官方整合包——约 8 GB,提供训练所需的运行环境和预训练模型。工具页面内有下载指引,从官方渠道获取。
- 角色的语音素材——一段干净的角色语音(游戏配音、动画台词等均可),工具内自带切分和标注功能。
-
下载官方整合包
在启动器「工具」页找到「GPT-SoVITS 情感特化训练工具」,按页面指引下载官方 GPT-SoVITS 整合包并解压,版本选
v2pro-20250604。RTX 50 系显卡选v2pro-20250604-nvidia50。2026 年 10 月出的 V5 整合包训练面板用不了。 -
绑定目录
在工具页选择你解压后的整合包目录,KOA 会自动识别并注入训练面板文件。之后 KOA 更新时面板也会自动跟着更新。
-
启动面板、训练声线
点击「启动」,面板会在浏览器中打开。面板内有完整的新手指南,跟着走就行:创建项目 → 导入音频 → 自动切分标注 → 格式化 → 开始训练。训练时间取决于显卡性能和数据量,通常几十分钟到几小时不等。
-
部署为 TTS 服务
训练完成后在面板的部署页一键部署。首次部署需要联网安装几个小依赖(面板已配置国内镜像),之后不再需要网络。
-
连接 KOA
在恋人的「语音」里选择「GPT-SoVITS 情感特化 (本地)」,地址默认已经填好(
http://127.0.0.1:9881)。刷新音色列表选中你训练的模型,还可以为 ta 的每句话挑一种说话情绪。
训练面板在 KOA 启动器运行期间保持可用。关闭启动器时面板和部署服务会一起关闭(训练进行中时会先弹确认)。
日常使用:一键启动 API
训练部署过一次之后,日常使用不需要每次都打开面板走部署流程。「工具」页提供了一键启动 API 的快捷卡片——点一下就能直接启动 TTS 服务供 KOA 调用,省去开面板的步骤。
GPT-SoVITS 推理特化包
如果你已经有训练好的 GPT-SoVITS 模型(自己训练过、或从社区拿到现成模型),可以用推理特化包直接跑——不需要再训练,模型搬进去就能用。
-
下载推理特化包
到 ModelScope 的 aihobbyist/GPT-SoVITS-Inference 页面下载整合包并解压。cu124 / cu128 两个版本对应不同的 CUDA 版本:显卡驱动较新选 cu128,启动报错就换另一个。
-
放入你的模型
把训练好的 GPT / SoVITS 模型和参考音频放进推理包的模型目录,参照包内示例的层级摆放(模型名 / 参考语言 / 情绪参考音频)。
-
启动 API 服务
运行推理包里的 API 启动脚本,记下窗口里显示的端口(一般是 8001)。KOA 使用期间这个窗口要保持开着。
-
连接 KOA
在恋人的「语音」里选择「GPT-SoVITS Inference Plugin (本地)」,接口地址填
http://127.0.0.1:8001(端口以上一步窗口显示的为准,地址请用 127.0.0.1,不要填 0.0.0.0)。刷新音色列表选中你的模型,还可以为 ta 挑一种说话情绪。
GPT-SoVITS 原生
如果你已经在跑 GPT-SoVITS 官方原版的 api_v2.py,可以直接对接,不需要换推理特化包。
在恋人的「语音」里选择「GPT-SoVITS 原生 (本地)」,接口地址填你的 API 地址(默认 http://127.0.0.1:9880)。
官方原版不提供模型列表接口,KOA 无法自动拉取音色列表——你需要在「语音」里手动填写参考音频路径等参数。如果觉得麻烦,建议换用上面的推理特化包或情感特化训练工具,模型直接搬过去就行,不需要重新训练。
双语模式
如果 ta 的设定说的是外语,或者你想边谈恋爱边练语言,可以在角色设定的 TTS 页打开双语。这里有两个开关,各管各的:
- 手机里的双语:短信、电话和一起看看用 ta 的母语。点一下短信气泡,中文在原文下面展开,语音条也一样。
- 游戏里的双语:ta 在游戏里用母语说话,屏幕上显示中文。先打开「启用语音」,才看得到这个开关。
- 角色的母语:两个开关共用,比如填「日语」。空着时按角色描述判断。
可以只开一个。想在游戏里听 ta 说日语、手机里照常聊中文,就只开游戏那个。
线下场景的双语在它自己的设置里,选「双语台词」。
常见问题排查
ta 听不到我说话
- 检查 Windows 设置里的麦克风权限,以及麦克风有没有被别的程序占用。
- 确认 API 页的触发方式:选了「按键说话」就要按 V 才会开始识别。
- 识别语言选的和你实际说的是否一致。
ta 不出声
- 确认在恋人资料页的「语音」里(不是 API 页)选好了服务并保存。
- 用 MiniMax / OpenAI 兼容服务时,检查凭证是否有效、余额是否充足。
- 到启动器「日志」页看 TTS 相关报错,通常能直接看到原因。
MiniMax 没有念出笑声、叹气声
- 模型要选 Speech-2.8(HD 或 Turbo)。2.6 和更早的模型不认标签。
- 标签要是 MiniMax 认的那 19 个,拼写一字不差。拼错的标签会留在屏幕上,没有声音。「日志」页里也会有一行
is not a MiniMax voice tag,写着是哪一个。 - 在「试听的话」里打一句带标签的话试听。试听里有声音,引擎就没问题。
读音字典写了,还是念错
- 看看那一行是不是
原文/读音,读音是不是一个字一对括号,比如(yue4)。 - 「日志」页里有
MiniMax rejected the pronunciation dictionary这一行,是 MiniMax 不收这份字典,那一句是去掉字典念的。把最近加的那几行删掉再试。
高级设置改了,听不出变化
- 「日志」页里有一行
MiniMax rejected开头、中间写着the advanced settings,是 MiniMax 不收这组设置,那一句是去掉高级设置和读音字典念的。点「恢复默认」,再一样一样改回去试。 - 「读准数字和符号」只在 Speech-2.8 和 2.6 上有用,换成别的模型,这个开关会藏起来。
情感特化训练工具启动失败
- 检查端口 9877 是否被占用——如果你自己手动跑过面板,关掉那个实例再从 KOA 启动。
- 确认绑定的目录是官方 GPT-SoVITS 整合包的解压目录(里面应该有
runtime文件夹和GPT_SoVITS文件夹)。 - 确认整合包版本是
v2pro-20250604。更新的 V5 整合包训练面板用不了。
情感特化部署后 KOA 连不上
- 确认在面板的部署页已经成功部署(部署日志没有报错)。
- 在恋人的「语音」里确认选的是「GPT-SoVITS 情感特化 (本地)」而不是其它 GPT-SoVITS 选项。
- 地址用默认的
http://127.0.0.1:9881不要改,除非你手动换过部署端口。
GPT-SoVITS 推理特化包拉不到模型 / 音色列表是空的
- 确认跑的是「推理特化包」(AI-Hobbyist 维护的推理专用版本)——官方原版没有模型列表接口,KOA 读不到它的模型。如果你用的是官方原版,切换到「GPT-SoVITS 原生 (本地)」通道,或换用推理特化包。
- 接口地址的端口要和推理包 API 窗口显示的一致(一般是 8001),并确认那个窗口没有被关掉。
- 地址用
127.0.0.1,不要填 0.0.0.0(那是服务的监听写法,不是访问地址)。
玩游戏时本地 TTS 突然不出声
如果 ta 平时好好的,一开游戏(尤其是我的世界等吃显卡的游戏)就不说话了——这是 TTS 推理和游戏在抢显卡资源。GPT-SoVITS 推理默认会尽量多占显存,游戏也要大量显存——两边一起跑,显存不够时 TTS 会静默失败(不报错、不提示,只是没有声音)。
按推荐顺序试试这几个方案:
-
限制 TTS 显存占用——找到你的 GPT-SoVITS 推理服务的 Python 启动文件(
api_v2.py或类似文件),在文件顶部找到import torch,紧跟其后加一行:torch.cuda.set_per_process_memory_fraction(0.4)
这样 TTS 最多只用 40% 的显存,给游戏留出空间。12 GB 显卡建议 0.4,8 GB 建议 0.45,6 GB 建议 0.5。如果加了之后不玩游戏时 TTS 也报错,就把数字调大一些。 - 降低游戏画面配置——关闭光影、降低渲染距离和分辨率,都能释放出大量显存给 TTS 使用。光影开关的影响最大:光影可能额外吃掉 4-6 GB 显存。
- 换用不吃显卡的 TTS——如果显卡实在带不动两头跑,可以把 TTS 切成 Edge TTS(免费且不用显卡)或其它云端服务,游戏性能也完全不受影响。
查看显存使用情况:打开任务管理器 → 「性能」 → 「GPU」 → 看「专用 GPU 内存」。如果已经接近总量,就是显存不够了。
还是解决不了?导出诊断包,到帮助中心指引的渠道反馈。