ElevenLabsの発表内容
音声に合わせて文字の表示位置を文字単位で特定する新技術です。
従来のツールでは長い音声ファイルを細かく切り分ける必要がありました。「Cue」は任意の長さの音声を一度の処理で同期できます。社内で行った29言語の性能測定では、比較したすべてのオープンソースツールを上回る精度を記録しました。
この技術は、同社の文字起こし機能「Scribe」の全処理に組み込まれています。外部のシステムから呼び出せる単体のAPIとしても提供されています。
動画の字幕表示や吹き替えの作成で、発話と字幕のずれを防ぐ作業に役立ちます。楽曲の歌詞を音声に合わせて表示するタイミング調整にも利用できます。
つまり、どういうこと？
ひらたく言うと、カラオケの画面で流れる歌詞のように、声と文字のタイミングをぴったり一致させる技術です。たとえるなら、録音音声の再生に合わせて文字の看板を狂いなく掲げていく係のような役割を果たします。動画の字幕が早すぎたり遅れたりして違和感が出る問題を解消できます。
編集部の見方
実に手堅い進化です。音声認識の精度自慢が一段落したところで、文字と音の微妙なずれという実務上の引っかかりに手を入れてきた点に、筆者は好感を持ちました。派手な新モデルの発表よりも、既存製品の土台を着実に固める姿勢が見て取れます。
ただ、長尺の音声を細かく切り分けずにそのまま一括で処理できる設計は、日々の動画編集を回す現場にとってかなり重宝しそうです。手作業で字幕のタイミングをひとつずつ直していた人なら、修正にかかる手間を大幅に減らせるはずです。
次は他社の動画編集ソフトや自動字幕サービスがこのAPIをいつ標準機能に組み込んでくるか、年末までの各社アップデートの動きを見たいところです。
誰に関係するか
動画の字幕作成や吹き替えを行っている人は、音声と文字のずれを抑えて正確な位置に合わせられるようになります。
出典: ElevenLabs ↗
