概要
Nebius Token Factoryは、DeepSeek-V4-Pro、Kimi-K3、GLM-5.1、MiniMax-M2.5、Nemotron-3-Ultra、INTELLECT-3、Qwen3-235B-A22B、GPT OSS 120B/20Bなど60以上のオープンソースモデルを本番規模で稼働させる推論プラットフォームです。専用エンドポイントへのデプロイでサブ秒レイテンシと99.9%稼働率を目標とし、オートスケーリング・投機的デコーディング・マルチリージョンルーティングにより100M+トークン/分規模でも安定した性能を維持します。
主な機能
- RAG構築ツール: 埋め込みモデルとPGVectorストレージによる検索拡張生成の一括構築
- ファインチューニング: 自社データでのモデル調整、独自チェックポイントのエンドポイントデプロイ
- エージェント機能: function calling・構造化JSON出力・ガードレールを標準搭載
- Data Lab: 本番ログや既存データセットをpost-training用に整備するワークスペース
OpenAI互換APIを採用し既存コードからの移行が容易。ゼロデータリテンション設定、SOC 2 Type II・HIPAA・ISO 27001準拠のデータセンター(フィンランド・フランス・米国)を提供し、医療・金融など規制業界での本番導入にも対応する。
