Amazon Bedrockの発表内容
AWSは、「Amazon SageMaker AI」で多段階強化学習を行う手順を公開しました。多段階強化学習 (MTRL) は、何段階もある作業を最後の結果だけで採点し、AIを鍛える方法です。
AIの動作役であるエージェント (自分で手順を進めるAI) と、採点の仕組みは「Amazon Bedrock AgentCore」上に置きます。例題は、隠された5文字の単語を6回以内で当てるゲーム「Wordle」です。利用者は正しい手順を指定しません。決めるのは結果の採点方法だけです。
学習したモデル「gpt-oss-20b」の正答率は、標準設定で61%から84%に上がりました。考える量を減らした設定では15%から69%に伸びました。学習にかかった費用は約339ドルです。料金は、AIが処理した文字の単位 (トークン) 100万あたりで払う従量制です。利用者がサーバーの台数を選ぶ必要はありません。
対応する基礎モデルは「Amazon Nova 2 Lite」など4種類です。データと学習済みモデルは利用者のAWSアカウント内に残ります。基礎モデルの学習には使われません。
一般向けのAIが学んでいない社内の作業手順も、小さく安いモデルに覚えさせられます。経費精算や問い合わせの仕分けのように、何段階も続く作業が対象になります。
つまり、どういうこと？
たとえるなら、新人社員に細かい手順書を渡さず、仕事の出来上がりだけを見て合格か不合格かを伝え続けるやり方です。何度も挑戦するうちに、新人は自分で上手な進め方を見つけていきます。
今回は単語当てゲームでこれを試し、正答率が61%から84%に上がりました。手順が決まっていない社内の作業でも、結果さえ採点できればAIを育てられる、ということです。
編集部の見方
単語当てゲームの成績が、約339ドルの学習で61%から84%へ。数字だけ見ると地味ですが、筆者はこの金額にかなり驚きました。
ただ、ゲーム自体は大手のAIがすでに得意な分野です。本当の狙いは、一般向けのAIが学んでいない社内の手順を、小さく安いモデルに覚えさせることにあります。正しい手順を書かず、結果の採点だけを決めればよい仕組み。導入のハードルはぐっと下がりそうです。
一方、何を合格とするかの採点表づくりは利用者側の仕事。経費精算や問い合わせの仕分けのように、成否がはっきりした作業から試すのが無難だと思います。サーバーの台数を選ばずに済む点も、情報システム部門が小さい会社には重宝する作りという印象です。
次は、学習に使える「Amazon Nova 2 Lite」で同じ手順を回したときの成績が出てくるかを見たいです。
誰に関係するか
経費精算や問い合わせの仕分けのような社内手順をAIに任せたい人は、小型で安いモデルを自社の作業向けに鍛えられるようになります。
