DataFlowは、OpenDCAIがオープンソースで公開している、大規模言語モデル(LLM)向けのデータを生成・クリーニング・評価・選別するためのデータ準備フレームワークです。PDFやプレーンテキスト、質の低いQAといったノイズの多い素材から学習用の高品質なデータを作り、事前学習、ファインチューニング、強化学習、RAGなどに使える形へ整えます。医療、金融、法務、学術研究といった特定分野でのLLMの性能向上を狙った設計です。
主な機能
- すぐ使えるパイプライン: テキスト・数学・コードの学習データ生成、AgenticRAGやText2SQLを使ったデータ生成、PDFからQAへの大規模変換、書籍PDFから画像付きQAへの変換などを用意しています
- オペレーター方式: 10以上のコアオペレーターと100以上のパイプライン用オペレーターを組み合わせて処理を組み立てます。独自のオペレーターも作成でき、GitHubやPyPIで配布できます
- 再現性と共有: データ処理の手順をパイプラインとして残せるため、同じ処理を再実行したり、異なるデータ処理の戦略を公平に比べたりできます。土台のモデルを入れ替えて、データの質とモデル性能の関係を調べる使い方もできます
- DataFlow-agent: 既存のオペレーターを組み替えたり新しく作ったりして、目的に合うパイプラインを動的に組み立てます
- WebUI: dataflow webuiのコマンド一つで、画面上でパイプラインを組み立てて実行できるビジュアルビルダーを起動できます
料金と注意点
Apache-2.0ライセンスで公開されており、無料で使えます。PythonとGitのエコシステムの上に作られているため、導入や運用設計にはPython環境の知識が必要です。WebUIからは、MCP経由でコーディングエージェントにパイプラインを作らせるDataFlow-Harnessも入手できます。研究者やAIエンジニアが、学習データの前処理を再現できる形で管理したい場面に向きます。
