SWE-Lancer (経済価値コードベンチ)

SWE-Lancer (経済価値コードベンチ)とは — 詳しく解説

SWE-Lancerは、実在のフリーランス案件（主にUpwork上のExpensifyリポジトリ関連タスク）と、それぞれに設定された実際の報酬額を組み合わせて構築されたコーディング評価ベンチマークである。従来のコーディングベンチマークが正解率のみを測るのに対し、SWE-Lancerは個々のタスクにドル建ての経済価値を紐づけ、AIが実務でどれだけの金額分の仕事をこなせるかを示す点が特徴とされる。評価対象はコード実装タスク（IC SWE）と、技術的な意思決定・レビューを行うマネジメントタスクの2種類に分かれ、実際のエンドツーエンドテストで合否判定される。2026年時点の実運用では、上位モデルでもタスク全体の経済価値の半分以下しか獲得できないとされ、単純な正答率よりも高額タスクほど正解率が下がる傾向が現場での選定材料として注目されている。ベンチマークのスコアだけでモデルの実運用コストパフォーマンスを判断せず、自社のタスク傾向に近いサブセットでの相場感を確認したうえで採用可否を判断するのが実務上の落とし穴を避けるコツとされる。

SWE-Lancer (経済価値コードベンチ)に関連するAIツール

SonarQube AI

2.90フリーミアム

Screenshot to Code

2.17フリーミアム

AppMaster

2.48フリーミアム

BabyAGI

1.77フリーミアム

RunPod

2.65フリーミアム

関連用語

「評価指標」の他の用語