理解.语音分析语音分析(转写 + 情绪)

每条质检结论,都能跳回原话

通话录音自动转写,政策口径、服务态度与风险一次质检

00:0008:43
02:14政策口径「48 小时退款」与制度 72 小时不符↗ 跳转
05:37服务态度出现安抚语,情绪由激动转平稳↗ 跳转
07:52风险升级客户提及「投诉到平台」,触发升级预警↗ 跳转

报告样式示意;页面下方为真实质检报告,问题可点击跳转录音位置

6 通(3 主案例 + 3 边界)
测试通话
3 个(政策口径 / 服务态度 / 风险升级)
质检维度
17 条(引用 8 篇制度)
规则条目
可交互样例

每条质检结论,都能跳回原话

选择一通测试通话,点击问题或风险即可定位录音。测试音频为合成样例,不使用真实客户隐私数据。

模拟测试通话,非真实客户录音

加载报告…

如何实现

从输入到交付的完整链路

客服质检主管 / 客服组长 · 每天大量通话录音,人工只能抽检,口径是否准确、客户情绪是否升级全靠事后回忆

  1. 01

    音频切分与时间轴

    ffmpeg 静音检测切段,合并过短片段、超长硬切并标记,逐段记录起止时间

  2. 02

    逐段转写

    MiMo ASR 分段识别,空段与重试占比过高时标记质量降级

  3. 03

    规则质检

    MiMo LLM 按橙果制度输出结构化报告;引用逐字校验,无法命中的条目自动丢弃并记入 warnings

  4. 04

    报告呈现

    波形 + 话轮 + 评分 + 问题/风险列表,点击跳转到对应秒数;支持导出 JSON 与 Markdown

之前:人工抽检少量录音,结论无证据、不可回溯
之后:全量自动质检,每条结论带原话、时间与制度出处
关键判断

不只是做出来,还要知道为什么这样做

引用逐字校验是幻觉治理的底线

质检报告里的每条「原话引用」必须逐字命中转写文本,服务端二次校验,编造的引用直接丢弃并记入 warnings——宁可少报一条问题,不能出现一条假证据。

用 TTS 合成测试用例做回归

真实客服录音涉隐私且不可复现。TTS 合成 6 通典型通话(口径错误/抢话/噪音等),每通带预期断言,改一行代码跑一遍就知道有没有把对的改坏。

切分交给 ffmpeg,不交给模型

静音切分是确定性任务,规则算法又快又稳;LLM 只做它擅长的语义判断。让每个环节干自己最擅长的事,链路才既准又省。

技术栈、技能原件与运行信息

技术与 AI 调用链

模型:mimo-v2.5-asr(语音转写)、mimo-v2.6-flash(质检分析)、mimo-v2.5-tts(测试通话合成)

框架:FastAPI、ffmpeg 静音切分、Pydantic 报告校验、pytest 端到端回归

链路:录音 → 静音切分/计时 → MiMo ASR 逐段转写 → MiMo LLM 规则质检 → 引用校验 → 报告 JSON

提供本地可运行版本,启动方式见项目文档;公开页面不展示本机目录。

可复用场景:客服通话质检、会议纪要与待办提炼、培训录音检查

继续验证这个项目

看真实产出,或回到看板比较其他 AI 能力。