AWS、「pytorch」向け開発ツールで処理を効率化　音声認識の費用対効果が最大70%向上

結論（先に3行）

1. AWSは「pytorch」向け開発ツールを使い、AIチップ上で音声認識モデルの処理効率を高めました。2. 1ドルあたりの音声処理量は、従来環境と比べて11〜70%増えました。3. 自社環境やクラウド上で音声認識モデルを大量処理する企業が対象です。

音声AIを手がけるDeepgramは、自社の音声認識モデル「Nova-3」をAWSのAI専用チップ「AWS Trainium2」へ移植しました。標準の機械学習基盤「pytorch」で書かれたコードを元に、AWSの技術支援チームと共同で調整を進めました。

検証では、「TorchNeuron」という専用の変換ツールを導入しました。このツールにより、処理をCPUへ逃がさずにAI専用チップ側だけで実行できました。

録音データの文字起こしなどバッチ処理 (まとめて行う処理) において、1ドルあたりの処理量は従来の計算環境と比べて11〜70%向上しました。モデル内の計算処理を効率化し、通信の待ち時間を減らしたことで性能を引き出しました。

この仕組みは、Amazon SageMaker AI上のVPC (仮想専用環境) で自社運用する企業でも使えます。コールセンターの通話分析や医療記録の文字起こしといった大規模な音声処理において、計算資源にかかる費用を抑えられます。

ざっくり言うと、AI専用チップの性能を無駄なく引き出すための専用道路を整備した、ということです。

普段使っているプログラムをそのまま別のチップに載せ替えると、途中でCPUへの連絡待ちが発生して作業が滞ります。今回はpytorchのコードを専用ツールで手入れし、AIチップの中だけで処理を完結させました。その結果、同じ費用で処理できる音声の量が最大70%増えています。

AI開発において、プログラムを書き換えずにチップを乗り換えるのはかなり骨が折れます。筆者が驚いたのは、pytorchのコードを動かすために、専門チームが数か月かけて計算部品を作り直している点でした。地道な泥臭い調整です。

ただ、1ドルあたりの処理量が最大70%も向上するなら、大量の音声を扱う企業にとって移行の手間をかける価値は十分にあります。高価な半導体の調達待ちに悩む現場にとって、現実的な選択肢になりそうです。

次は、リアルタイムの音声応答でも同様の効率化が進むのか、年内のアップデートを注視したいところです。

自社環境で音声認識モデルを動かしている人は、文字起こしの計算費用を抑えて大量の音声を処理できるようになります。

出典: AWS ↗／ TechCrunch AIも報道