オープンソースLLMのファインチューニングとサーバーレス推論

Forefront AIは、オープンソースLLMを独自データでファインチューニングし、推論エンドポイントとして運用できる開発者向けプラットフォームです。Mistral-7BやPhi-2などのオープンソースモデルやHuggingFace上のモデルを指定し、サーバーレス環境で学習とデプロイを実行します。GPUクラスタの構築・管理を省き、数行のコードやPlaygroundからAPI経由でモデルを呼び出せます。

データセット管理と自動ベンチマーク評価

学習データや検証データを一元管理するデータセット機能を備え、Inspectorツールでサンプルデータの偏りやトークン分布を確認できます。API利用時の入出力を蓄積して学習データに転換するパイプライン連携にも対応します。モデル学習後は、損失グラフの確認に加えてMMLU、TruthfulQA、HumanEvalなどの標準ベンチマークを用いた性能評価を自動実行し、客観的な精度を検証できます。

対象ユーザーとモデルのポータビリティ

自社データを用いた特化型モデルを低工数で開発・運用したいエンジニアや開発チームに適しています。推論トラフィックに応じた従量課金のサーバーレスエンドポイントで運用でき、使っていない時間のGPU費用は発生しません。作成したモデルはエクスポートして自社環境や別プロバイダーへ移行できます。リクエストログは保存されず、入力データがモデル学習に流用されることもありません。