Meta发布AI模型SeamlessM4T 可转录和翻译近100种语言

2023-08-23 09:47:02
28429
8月22日,科技巨头Facebook母公司Meta对外发布了一款最新人工智能翻译引擎,SeamlessM4T。

8月22日,科技巨头Facebook母公司Meta对外发布了一款最新人工智能翻译引擎,SeamlessM4T。Meta称,SeamlessM4T可以更轻松地跨文本语音翻译和转录近100种语言。

同时,Meta还公布了新的开源翻译数据集SeamlessAlign,将44.3万小时的语音与文本、2.9万小时的语音转录数据进行对齐,教会SeamlessM4T如何将语音转录为文本、翻译文本、从文本生成语音。

Meta表示,SeamlessM4T将与SeamlessAlign一同开源。SeamlessM4T代表了 AI 技术驱动的“语音到语音”和“语音到文本”领域的“重大突破”。

此次公布的SeamlessM4T,建立在Meta AI翻译模型的技术能力基础上,并重新设计Fairseq序列建模工具包,以创建更轻量级的模型和处理更多信息。

Meta表示,SeamlessM4T从“爬取的网页数据的公开可用存储库中”收集了400万小时的“原始音频”,该模型可以在近100种语言之间进行文本到语音的翻译,并支持35种语言的完全语音到语音翻译。

对于安全性和脱敏性,Meta表示,在开发SeamlessM4T时,团队构建了一个可以识别敏感词系统,目标是能够过滤了训练数据中不平衡的数据信息,从而检测和输出正确的翻译内容。而且,Meta研究人员还尝试清理误译一些脏话的数据集,以便更准确地检测何时使用。

Meta研究科学家负责人Paco Guzman表示,SeamlessM4T的一大突破是它不依赖中间模型来产生结果,这使得它更加灵活,甚至支持动态更改语言。这将促进更多人使用其进行日程对话。

不过,Meta建议不要使用SeamlessM4T进行长篇翻译,政府专用的认证翻译,以及不鼓励出于医疗或法律目的部署该模型,原因或与专业领域的翻译准确度有关。科技网站《对话》(theconversation)最近表示,AI 翻译有许多缺陷,包括不同形式的性别错误和偏见、语音识别算法偏差等。

据报道称,Meta后续将把这些翻译和转录方面的 AI 进展,整合到Facebook、Instagram、WhatsApp、Messenger和Threads等产品当中。

免责声明:本文观点来自原作者,不代表天天在线的观点和立场。文章内容仅供参考、交流、学习,不构成投资建议
实习编辑:刘新宇XN047