Deepgramの発表内容
Deepgramは、音声認識モデル「Nova-3」をAWSのAI専用チップ「Trainium2」へ移植しました。AWSのエンジニアチームと協力し、数か月かけて最適化を進めました。
計算処理のまとまりを効率化し、不要なメモリ読み込みを減らす調整を施しました。
大量の音声データをまとめて文字起こしするバッチ処理において、従来の構成より1ドルあたりの処理量が11〜70%増加しました。
大量の録音データを抱える企業は、処理にかかる費用を抑えられます。自社の仮想環境「Amazon SageMaker AI」でモデルを運用している利用者にも、この性能向上が反映されます。
つまり、どういうこと？
ざっくり言うと、同じ燃料で動くトラックを、荷物がたくさん積める新型に乗り換えたような話です。音声認識の計算プログラムを、専用に作られた新しい半導体に合わせて手作業で作り直しました。その結果、1回あたりの計算の無駄が減り、1台のサーバーで同時にさばける音声の量が大幅に増えています。
編集部の見方
AIの性能競争といえば精度の高さばかりが語られがちですが、実運用で重くのしかかるのはサーバー代です。筆者は、派手な新機能よりも1ドルあたりの処理効率を前面に出した今回の報告に好感を持ちました。
専用チップへの乗り換え。
ただ、汎用チップから自社モデルを移植するには、プログラムを細かく書き直す手間がかかります。それでも最大70%の改善が出るなら、大量の音声を抱える事業者にとっては移行の手間をかける価値がかなり高いはずです。
一方、こうしたインフラの改善が自社のAPI利用料金の引き下げとしていつ還元されるかは気になるところです。まずは年内に予定されるSageMaker環境のアップデートを見たいです。
誰に関係するか
コールセンターの通話記録など大量の音声を文字起こししている人は、インフラ費用を抑えながら処理できるようになります。
