Hugging Face、AWSの「Trainium2」でモデル学習に対応　64プロセスの並列処理で実証

本ページはプロモーションを含みます（掲載基準）

画像: AWS Machine Learning Blog

結論（先に3行）

1. 「Hugging Face」の機能が、AWSの半導体「Trainium2」での学習に対応しました。2. 「Transformers 5.16.0」などの環境ですぐに利用できます。3. AWS上で独自モデルの追加学習や開発を行う開発者が対象です。

AWSは、自社開発のAI半導体「Trainium2 (AI処理に特化した専用半導体)」で「Qwen3」を学習させる手順を公開しました。基盤には「Hugging Face」のライブラリ「Transformers」を採用しています。

今回の検証では、計算環境「trn2.48xlarge」を1台使用しています。16基の半導体を用い、64個の並列処理で学習を実行しました。

学習方法は3通りあります。その1つでは「Hugging Face Hub」から設計を読み込み、安全な保存形式「safetensors」で直接書き出せます。

公開データを使って事前学習を省くことで、誤差を示す損失値は12.43から6.54に抑えられました。既存の資産をそのまま流用し、効率的な追加学習を進められます。

ざっくり言うと、AWSの自社製チップでも「Hugging Face」の普段の仕組みがそのまま動くようになった、ということです。

たとえるなら、特殊なエンジンを積んだ車に、普段使い慣れている市販のハンドルやカーナビをそのまま取り付けて運転できるような状態です。面倒な専用の書き換えを減らし、使い慣れた手順で作業できます。

独自チップの導入で最も困るのは環境の移行です。今回の発表で筆者が目を引かれたのは、設定を変えずに公開モデルの保存形式をそのまま扱える点でした。専用環境への乗り換えの敷居は、かなり下がった印象です。

ただ、独自の半導体を使いこなすには専用の設定や調整がまだ求められます。すでにAWS上で基盤を固めている組織なら試す価値は十分にあります。一方で、手軽な運用のしやすさを最優先にしたい人なら、一般的な環境にとどまるほうが無難かもしれません。

本格的な普及に向けて。次は、主要フレームワークの次回アップデートで、どこまで手作業の調整が減るかを見届けたいところです。

AWSの独自半導体でAIモデルを開発している人は、「Hugging Face」の資産をそのまま移行して効率的に追加学習できるようになります。