一次情報で読む、いまのAI
← すべてのニュース

Magpie TTS多言語低遅延オープン提供

目線

自前音声エージェントのTTSを低遅延・多言語で置き換え/構築する開発者が、即ベンチと試作に入れる。

対象

音声エージェント・多言語TTSを自前構築する開発者

使える場面

  • カスタマーサポートや企業コパイロットの多言語音声応答を自社GPUで動かす
  • ASR+LLM+TTSのカスケード構成でレイテンシを自前計測・最適化する
  • NeMoでドメイン用語や発音をファインチューンする

試すなら

HFのモデルカードとデモ、またはNIMでTTFAを確認して試す

確認点

本番レイテンシはNIM最適化コンテナ前提。オープンウェイト単体は研究・チューニング向け

背景

音声AIは統合APIの簡便さと、成分ごとのチューニング・データレジデンシ・レイテンシ可視化のトレードオフがある。Magpieは後者のカスケード構成向けに設計された。

何が変わったか

  • 364MパラメータのオープンウェイトTTS。英・西・仏・独・伊・ベトナム・中国語・ヒンディー・日本語に加え、標準アラビア語・韓国語・ブラジルポルトガル語を追加(計12言語)
  • 男女話者を共有多言語表現でサポート。ヒンディー/日本語のコードスイッチング強化
  • Frame stackingとLocal transformerで高速化。B200で1ストリームTTFA 32ms、64ストリームでも高スループット
  • 品質向上(仏・西などでCER低下・SSIM向上)。Nemotron Voice Agent例やNIM/NeMo連携を提供

使える場面・影響

自社インフラでTTFAを直接制御でき、プライバシー要件の強い企業音声AIや多言語展開が現実的になる。統合API依存を減らせる。

試す前に確認

  • NVIDIA Open Model Licenseでウェイト公開
  • 日本語を含む12言語対応
  • 推奨推論設定(cfg_scale=2.5等)はモデルカード参照
  • 本番はNIM、研究/FTはHFチェックポイント

一次ソース