Hugging Faceの発表内容
Hugging Face上で、動画生成モデル「Hy-Nomas」の各種データが公開されました。利用者は公開された学習済みの重みデータを無償で取得できます。
「Hy-Nomas」は文章による指示やカメラの移動軌跡を反映し、場面の連続性を保ちながら動画を生成します。映像の復元には8段階の計算処理を採用しています。INT8 (計算の桁数を減らして動作を軽くする形式) のデータを使えば、1台のGPU (画像処理装置) でも動かせます。
配布データには通常の生成モデルに加え、映像の質を高める追加データやロボットの腕の動作を学習したデータも含まれます。Webブラウザ上で動作する対話式の操作画面も用意されています。
動画生成の基盤モデルを自前で動かす現場では、高性能なサーバーを多数並べることなく、手元の機材で対話的な映像生成を検証できるようになります。
つまり、どういうこと？
ざっくり言うと、指示した言葉やカメラの向きに合わせて、場面がつながる動画をその場で作れる仕組みが手に入ります。たとえるなら、監督の指示を受けて即座にカメラアングルや展開を変える専属のカメラマンを、自分のパソコン内に抱えるようなものです。重い計算を減らす工夫が入っているため、巨大な設備を用意しなくても、手持ちのパソコンで映像の自動生成を動かせます。
編集部の見方
動画生成モデル本体だけでなく、ロボットアームの動作データまで最初から揃えて配ってきた点に筆者はかなり驚きました。単にきれいな映像を作るだけでなく、機械制御のシミュレーションまで視野に入れている設計です。
手元の1台で動く手軽さ。
ただ、これだけの規模の仕組みを単一のGPUで扱えるなら、社内での検証コストは大きく下がります。業務での導入を検討するなら、まずは軽量なINT8形式から試してみるのが現実的な判断になりそうです。今後は近日中に公開される技術報告書で、詳しい学習手法やベンチマーク結果がどう示されるかを見届けたいところです。
誰に関係するか
自社で動画生成AIの動作検証を行っている人は、高価な計算環境を揃えなくても手元のGPU環境で対話型の映像生成を試せるようになります。
出典: GitHub ↗
