Whisperは、OpenAIが開発しオープンソースとして公開している自動音声認識(ASR)モデルです。会議やインタビュー、動画などの音声を文字に起こせるほか、さまざまな言語の音声を英語に翻訳することもできます。

仕組みと特徴

Webから集めた680,000時間分の多言語・マルチタスクの教師データで学習されています。大規模で多様なデータを使ったことで、なまりや背景雑音、専門用語に強くなっている点が特徴です。学習データの約3分の1は英語以外の音声です。

構造はエンコーダ・デコーダ型のTransformerで、入力音声を30秒ごとに区切って処理します。1つのモデルで言語の判定、フレーズ単位のタイムスタンプ付与、多言語の文字起こし、英語への翻訳をこなします。特定のベンチマークに特化したモデルには及ばない場面がある一方、多様なデータセットで測ると誤りが50%少ないと公表されています。

使い方と料金

モデルと推論コードが公開されているため、自社のPCやサーバーで無料で動かせます。商用利用が可能なオープンソースで、音声データを外部に出したくない場合にも使いやすい形です。自前で環境を用意しない場合は、OpenAIのAPI経由で1分あたり$0.006の従量課金で使えます。

向いている人と注意点

アプリに音声入力を組み込みたい開発者や、議事録・動画字幕の文字起こしを安く回したい人に向いています。一方で話者の分離は標準の機能に含まれず、リアルタイム処理や大規模な運用には別途の設計が必要です。Whisperの紹介ページは公開当初のもので、OpenAIの最新の音声・文字起こしモデルは別途案内されています。