Gemini 3.5 Live Translate 上线
来自 Google DeepMind · 期号 2026-06-09
摘要
Google DeepMind 将 Gemini 3.5 的实时语音翻译能力集成到 AI Studio、Google Translate 和 Google Meet 中。 它利用 Gemini 3.5 的原生多模态能力，直接处理语音流，无需先转文字再翻译，从而保留了语气、停顿和情感，让翻译听起来更自然。 官方称其延迟接近实时，但未公布具体数字或与竞品的对比。
深读
导读 Google DeepMind 发布了 Gemini 3.5 Live Translate，一个端到端的实时语音翻译模型。它直接处理语音流，而非传统的先转文字再翻译，从而保留了说话人的语气、停顿和情感，让翻译听起来更自然。读完本文可以了解其技术特点、产品集成方式以及首批合作伙伴的反馈。 关键信息 - 模型支持 70+ 语言的自动检测和实时语音到语音翻译，延迟控制在说话人身后几秒。 - 与逐句翻译系统不同，Gemini 3.5 Live Translate 在说话人讲话的同时连续生成语音，而非等待对方说完再回应。 - 产品集成分三路：开发者通过 Gemini Live API 和 Google AI Studio 公开预览；企业通过 Google Meet 本月开始私有预览；普通用户通过 Android 和 iOS 版 Google Translate 使用。 - Google Meet 的翻译语言从之前的 5 种扩展到 70+ 种，支持 2000+ 种语言组合，不再仅限于与英语互译。 - 所有生成的音频都通过 SynthID 添加了不可感知的数字水印，用于检测 AI 生成内容。 - 合作伙伴 Grab 正在测试该模型，用于司机与乘客在接送点之间的多语言实时沟通，这些用户每月通过 Grab 发起超过 1000 万次语音通话。 逐节讲解 从文本翻译到语音翻译的跨越 文章回顾了 Google 翻译二十年的演进：从最早的机器学习实验开始，如今每月为数十亿用户翻译超过一万亿词。Gemini 3.5 Live Translate 是这一演进的最新一步，它是一个专门用于实时语音到语音翻译的音频模型。核心区别在于，它利用 Gemini 3.5 的原生多模态能力直接处理语音流，而不是走传统的“语音转文字→翻译→文字转语音”流水线，因此能保留说话人的语调、节奏和音高。 技术特点：连续流式处理与噪声鲁棒性 模型自动检测 70+ 种语言，并在说话人讲话的同时连续生成翻译语音，而不是像逐句翻译系统那样等待对方说完。文章指出，这需要在“等待更多上下文以提高质量”和“立即翻译以跟上说话人节奏”之间做权衡。模型还具备噪声鲁棒性，能应对嘈杂、不可预测的环境，并且支持多语言输入，无需手动配置语言设置。 产品集成：开发者、企业与消费者 Gemini 3.5 Live Translate 在三类产品中落地： - 开发者：通过 Gemini Live API 和 Google AI Studio 公开预览。Agora、Fishjam、LiveKit、Pipecat 和 Vision Agents 等平台已集成该 API，帮助开发者构建语音翻译应用。 - 企业：Google Meet 本月开始私有预览。翻译语言从之前的 5 种扩展到 70+ 种，支持 2000+ 种语言组合，不再仅限于与英语互译…