直接回答
双人翻译测试要核对谁说话、录到了什么、使用哪个语言方向,以及结果如何呈现。仅让模型处理两句短话,并不能证明它支持对话。`COVE-ASR-01` 记录了当前共享推理引擎的音频转录路径,`COVE-ASR-02` 记录按顺序处理语音片段、失败片段保留可见占位。这些事实没有说明当前应用会自动识别说话人或进行说话人分离。应把说话人身份作为样例或用户提供的测试标签,而不是先验假设的产品能力。 准备一组成对轮次,为每轮附上核对过的转录和方向标签。记录预期说话人、源语言、目标语言、轮次顺序、显示分组以及是否涉及语音播放。样例还要包含重叠说话、打断、静音、某人切换语言、重复短词、姓名,以及应该被标成听不清的一轮。内容使用合成语句或已获许可录音。界面提供某语言选择项不代表该语言的采集或识别一定可用,各阶段要分别记录证据。 分开保留三类数据:采集到的音频/片段身份、识别出的源词句和目标翻译。如果应用会合并片段,还要保留合并文本与源说话轮次之间的映射。识别漏掉一段会让译文看起来被分到另一个人名下。译文即使流畅,也可能颠倒意思或错配回复。若实现并不暴露说话人标签,报告应写明标签由测试人员手工标注,不得暗示应用推断了说话人。 测试要覆盖打断与任务状态,不只看理想的交替轮次。暂停或取消采集、拒绝或撤销麦克风权限、让界面进入后台、停止录音、模拟模型或解析器失败。界面应显示部分轮次,不把它冒充成完整句子,并允许用户重试或编辑后再分享。Android 音频采集文档和 `AudioRecord` 参考资料描述平台采集接口,但不会定义产品的对话语义;这些规则应写进应用自身的验收契约。 使用固定样例集重复运行。记录构建与制品身份、运行时、音频格式、输入路线、每轮语言方向、联网状态、分段边界、用户修正、取消及最终处理状态。目标语参考应独立审核。检查轮次归属、遗漏、否定词、数字保留、顺序及听不清内容是否标为不确定。不要编造准确率,也不要说测试能预测真实拥挤交谈表现;失败和分歧都要保留,不得只挑选干净样例。 最终报告应回答实用问题:该构建能否让两轮人工标记的内容保持顺序;部分失败是否仍能定位;每条译文是否关联预期轮次;用户能否修正;被打断后怎样恢复。说明不支持的能力和确切测试环境。合成交替轮次测试成功,只能证明这条记录过的流程,不证明自动说话人识别、每种语言对、连续流式翻译或高风险对话安全有效。
两人轮流说出简短方向指示
审核者在对话屏幕上测试一人提问、另一人回应。应用显示音频和文本,但并没有已验证的自动说话人识别能力。
决策
在样例中人工标明说话人与语言方向,每轮单独留档,检查产品能否维持顺序并显示部分失败。
预期结果
报告区分人工标签和应用真实行为,指出具体哪个阶段丢失内容或将内容错误归给另一人。
需要收集的证据
只有将以下证据与同一模型文件和测试运行关联起来,结论才可复核:
- COVE-ASR-01:当前共享引擎的音频转录路径
- COVE-ASR-02:当前流水线按片段顺序处理并保留失败占位
- BENCHMARK-01:质量结果需原始测试记录
任务质量需要有版本记录的语料和验收规则;流畅的单条样例不等于准确度结果。
实施流程
- 定义轮次标签和显示预期. 为每轮设定稳定说话人编号、源/目标方向、顺序、转录参考、译文属性和是否包含播放。
- 采集受控样例. 使用许可或合成语音,覆盖交替轮次、重叠、打断、静音、仅限范围内的混合语种、短词、姓名、数字和听不清输入。
- 逐阶段追踪音频. 分别记录音频片段、识别文本、翻译、显示分组和可选播放。合并内容时仍保存与原轮次的映射。
- 覆盖取消和生命周期变化. 测试停止、取消、权限拒绝/撤销、后台切换、进程重建和识别/模型/解析器失败,确认部分轮次不会被伪装成完整结果。
- 按属性审核,不编造分数. 对照经审核参考检查轮次顺序、归属、漏词、否定、数字和不确定性,将失败和修正都留在报告。
让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作,同时避免记录用户私密内容。
验收标准
- 每个样例轮次均有明确说话人和语言标注,不把人工标签描述成自动分离能力。
- 部分、取消、缺失或失败轮次仍可见且可定位,应用不会静默把内容归给另一个说话人。
- 报告记录构建、模型/运行时、路线、语言方向、样例与限制,不作无测量的语言或对话质量承诺。
决策对照表
| 维度 | 选择或证据 | 解读方式 |
|---|---|---|
| 人工标记的交替轮次 | 轮次顺序工作流测试 | 检验排序与呈现,但不证明自动说话人识别。 |
| 重叠说话 | 带阶段记录的压力条件 | 可暴露边界歧义,单次测试不能把它说成已支持能力。 |
| 单条独立短句 | 短句翻译核验 | 未覆盖说话人归属、对话状态、打断和轮次恢复。 |
需要避免的失败模式
- 把人工写入的说话人标签说成自动识别
- 将转录、翻译和轮次归属合成一个结果
- 只保留无失败的干净对话
还要避免静默回退、版本未固定、缺少取消处理,以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。
最小复现记录
| 层级 | 记录内容 |
|---|---|
| 设备 | 厂商、型号、芯片、内存档位、操作系统版本 |
| 软件 | 应用版本和 Git 提交号 |
| 模型 | 系列、变体、版本、格式、文件长度、摘要、量化方式 |
| 运行时 | 名称、版本、请求后端及实际后端证据 |
| 工作负载 | 样例版本、输入摘要、提示词摘要、输出策略 |
| 结果 | 完成、失败、取消、回退及保护隐私的诊断信息 |
发布检查表
- ☐ 主要搜索问题已回答,且没有未经支持的数字。
- ☐ 所有模型文件和运行时版本均已固定。
- ☐ 代表性任务和失败处理策略均有说明。
- ☐ 生命周期、取消、清理和回退均已测试。
- ☐ 用户内容与网络边界均有说明。
- ☐ 结论只适用于被记录的配置。
- ☐ 新增测试结果时链接到原始方法或证据。
来源与相关证据
中文部署与排错专题见。奇连 AI 端侧专题。
常见问题
双人测试能证明应用可以识别说话人吗?
不能。如果测试人员手动标注说话人,验证的只是处理这些标签的行为。自动识别需要单独记录实现并评测,不能从人工标注推断。
核对前可以把所有轮次合并吗?
如果产品需要可以合并,但必须保留原轮次映射。否则漏段或错位会让一句回复看起来属于另一个人,且难以定位来源,并保留轮次编号供追查。
一段交替对话能证明连续翻译吗?
不能。固定短轮次样例不能证明流式处理、长会话或所有语言方向;也没有覆盖真实交谈中的打断和恢复,需另行测试这些边界。