こんにちは、ルーティンラボ管理人のせなお（@rutinelabo）です！
今日は、1枚の画像から簡単にハイクオリティの動画に変換することのできる超便利な動画生成 AI「Stable Video Diffusion」に焦点を当てたいと思います。
この「Stable Video Diffusion」は、特に画像から動画を生成できるAIで、特に風景や人物の背景などをより遠近感を出したり立体感を生み出してくれる動画生成AIになります。
この記事では、「Stable Video Diffusion」の基本的な使い方や活用方法、制した動画の商用利用についての注意点を詳しく解説していきます！
この記事はこんな内容
「Stable Video Diffusion」の基本概要と機能紹介
「Stable Video Diffusion」の使い方と商用利用について
＼YouTube動画で見たい方はこちらから／
Stable Video Diffusionの概要
Web版の「Stable Video Diffusion」は、画像からリアルな動画を生成することができるAI技術です。
この AI ツールは、画像モデル 「Stable Diffusion」が基盤モデルとなっており、動画生成専用に開発されました。
「Stable Video Diffusion」では、特に波の動きやカメラの動きを含むカメラワークなどのを動きをつけることが可能です。
Stable Video の特徴
- 生成可能な動画再生時間：2-5 秒
- 生成可能なフレームレート： 最大30FPS（フレーム/秒）
- 動画生成にかかる処理時間：2分以内
本ツールは特にプログラミングの技術やAI に関する特別な知識も使わず簡単に動画を生成できるので、多くのユーザーの興味を集めています。
Stable Video Diffusionのライセンス及び料金について
「Stable Video Diffusion」を使用する前には、必ずライセンスを確認しておくようにしましょう。
ライセンスの規約の項目には、以下の注意するべきポイントが記載させています。
Stable Video Diffusionは現在、非商用コミュニティライセンス（以下「ライセンス」）の下で使用することができます。
Stability AIは、Stable Video Diffusionを、研究およびその他の非商業的な目的のために、モデルコードおよび重みを含めて、自由に利用できるようにしています。Stable Video Diffusionの使用には、Stability AI Acceptable Use Policyに記載されている使用およびコンテンツの制限を含む、ライセンスの条件が適用されます。
このライセンスは、研究が広く利用できるようにすると同時に、私たちのAIモデルが人類のために使われるようにするという、Stability AI の2つのコミットメントを反映しています。
Stable Video ライセンス より
簡単に言えば、基本的に無料で使えるとのこと。しかし、商用利用では、使えないということなので注意してください。
ライセンスは随時更新されるとこことなので、利用する前に必ずチェックしておきましょう。
「Stable Video Diffusion」の商用利用について
参考：https://ja.stability.ai/blog/stable-video-diffusion
「Stable Video Diffusion」の商用利用についての紹介です。
Stable Video DiffusionをリリースしたStability AIの公式サイトに記載されている内容としては、「Stable Video Diffusionは研究用であり、現段階では商用アプリケーションでの使用を意図していない」と記載されています。
そのため、現時点の段階では、商用利用はできないようです。
しかし、メンバーシップの項目には、各種プランが用意されております。
- Non-Commercial：個人・研究利用向けの無料プラン
- Professional：機関投資家・クリエイター・開発者・新興企業向けの月額20ドルのプラン
- Enterprise：Professinalプランよりも大きな顧客向けのカスタムプラン
商業利用が可能になってくるのは、「Professionalプラン」と「Enterpriseプラン」のみとなります。
商用利用したい場合は、有料プランへの加入を行い、登録を済ませておきましょう！
「Stable Video Diffusion」の使い方について
ライセンスの取り扱いの確認が済んだら、早速「Stable Video Diffusion」を使ってみましょう。
まずは公式サイトに移動して、「Try Now」をクリックして生成ページに移動していきます。
>>「Stable Video Diffusion」へ移動する
先に、右上の表示されているアカウントのアイコンをタップして、ログイン作業を済ませておきましょう。
これだけで「Stable Video Diffusion」を使い始めることができます。それぞれ好きな生成方法を選択してから、スタートしましょう。
Start with Image：画像から動画の生成
Start with Text：テキストプロンプトから動画の生成
それでは、次の章からは、それぞれの方法で、具体的な「Stable Video Diffusion」の使い方を解説していきます。
画像から動画を生成するプロセス
画像から動画を生成するには、「Start with Image」を選択していきましょう。
生成画面に移動してきたら、初めに「Select an image」の項目をクリックして、動画に変換したい画像を選択していきます。
今回は以下の３Dキャラクターの画像をアップロードして動画に変換してみようと思います。
アップロードした画像はこちら
画像のアップロードが完了したら、以下のカメラワークの設定を選択していきます。
今回は試しに「Locked」を選択して、カメラの固定をした状態で動画に変換してみましょう。
そして出来上がった、動画が以下の通りです。
うん、正直なところ、かなり微妙かと思います…
次は試しに以下の画像をアップロードして、カメラワークを変更してみようと思います。
次にアップロードした画像はこちら
今回のカメラの設定は「orbit」の項目をクリックして、生成してみます。
生成できた動画の内容は以下の通りです。
今回は成功と言えるかと思います。
「Stable Video Diffusion」の特徴と言えるのが、画像から動画に変換した時のフレームワークが通常のアニメなどと同様に最大30 FPSまで出力できるのでかなり滑らかな動画の生成です。
「Stable Video Diffusion」では、よりリアルな画像を初めにアップロードしてからベースに動画を作ると、かなりハイクオリティの動画が生成できそうです。
テキストから動画を生成するプロセス
次は、テキスト（プロンプトから動画を生成するには、「Start with Text」の生成方法について紹介していこうと思います。
この方法では以下の順番で、動画の生成を行っていきます。
「Start with Text」の生成方法
- テキスト（プロンプト）の入力をする
- 生成できた画像の中から1枚選ぶ
- 画像から動画に変換する
以上の作業手順でテキストから動画への生成が可能になります。それでは生成画面に移動して、「Text」を選択して生成するモードを切り替えて行きます。
今回は以下のようなプロンプトを記述してみました。
a super complicated designed spaceship flying above a medieval European city, in the style of futurist, sunny and bright
environment light, ultra detailed
実際に画像生成 AI で上記のプロンプトを実行してみると以下のような画像の生成が可能になります。
以下のように、テキストから画像の候補を生成してくれました。ここからどれか1つベースとなる画像のモデルを選んでいきます。
今回のカメラワークでは「Pan」を選択し、動画に動きをつけていきたいと思います。
以上の作業で生成できた動画が以下のものになります。
今回もかなりリアルな動画の生成ができました。今回実際に触ってみて「Stable Video Diffusion」の様々な特徴をつかむことができました。
簡単にまとめると以下の通りです
「Stable Video Diffusion」の特徴
- 画像からハイクオリティの動画の生成が可能
- 背景やカメラワークで動きをつけた方が生成が安定
- 人物の部分的な動きをつけるのはイマイチ
以上のような特徴があることがわかりました。
やはり課題としては「Gen-2」などのように、部分的にキャラクターの動きをつけるという作業についてはあまり向かないかと感じました。トップページの作品にはキャラクターに動きがついているものもあるのですが、ほとんどが、カメラワークが切り替わった作品になっていました。
実際にキャラクターが動いてる動画がこちら
まとめ：ハイスペックな動画生成AI「Stable Video Diffusion」
以上、画像から高品質な動画を生成するAI技術「Stable Video Diffusion」の紹介でした。この技術を活用すれば、誰でも簡単にプロレベルの動画を作成できるようになります。
注意点としては、動画生成にはクレジットが必要であり、毎日40クレジット支給されます。1本の動画を生成するのに10クレジット必要となるため1日の生成上限回数が決まっていることです。
「Stable Video Diffusion」などの AI に関する情報は本ブログの他の記事でも紹介しています。AI技術やその他のクリエイティブツールに関心がある方は、ぜひ以下のリンクから是非参考にしてみてください！
