こんにちは、ルーティンラボ管理人のせなお（@rutinelabo）です！
今回は画生成AI 「PIKA」に新しく追加されたリップシンクの機能について紹介していきます。このリップシンクの機能ですが、最近AIに関するコンテンツ作成では、かなり人気になっている機能です。
この機能を使うことで、キャラクターや人物が自然な話している動画を作成することができます。最近は、この機能を使ったAI動画がかなり普及してきました。
この機能は、喋ら世帯キャラクターや喋るのが苦手なクリエイターの方にはかなり便利な機能になってくるので、リップシンクの機能を是非使ってみていただけたらなと思います。この記事では、動画生成AI「PIKA」とそのリップシンク機能について詳しく解説します。
この記事では、初心者の方にも簡単に理解ができるようにその使い方やメリット、そして注意点を詳しく、解説していきます！
この記事はこんな内容
動画生成AI 「PIKA」のアップデート情報
新機能リップシンクのの使い方について
新機能サウンドエフェクトの使い方について
この記事を書いた人
＼ 今回の内容を動画で見たい方は以下を参考にしてね！！ ／
動画生成 AI「PIKA」がアップデート！その内容は？
今回のアップデートで動画生成AI 「PIKA」にできることが増えました。主にアップデート内容としては以下の2つになります。
PIKAの新機能はこちら
- リップシンク機能：人物に合わせて口パクで音声を読み上げる
- サウンドエフェクト機能：動画に合わせて効果音を追加する
以前までのPIKAでは、人物がしゃべっている動画を作成しようとすると、ひとまず動画を作成してから音声を編集ソフトなどを用いて、加える必要がありました。効果音なども同様です。
その手間が一気に省かれてAIが音に合わせた効果的な動画を作成してくれるようになりました。
『PIKA』のリップシンク機能について
リップシンクは、事前に用意された動画に声を合わせ、キャラクターが話しているように見せることができる機能です。
この技術はクリエイターやコンテンツ制作者にとって非常に便利です。動画と音声が同期する高品質な動画コンテンツを作成できます。
実際のリップシンクの機能はこちら
動画生成AI PIKAでは、この機能を利用して、よりリアルな口パク動画が作成することができ、動画生成の幅が広がりました。
『PIKA』のサウンドエフェクト機能について
リップシンクの他にも、追加された新機能があります。「SOUND EFFECT」の機能を使うことで、動画に自動で効果音を加えることができ、よりハイクオリティな動画を作成することができます。
この機能を使えば、例えば焼けるベーコンの音や、カエルの鳴き声など、リアルな音響効果を動画に追加することが可能です。
実際のサウンドエフェクトの機能はこちら
「リップシンク」や「SoundEffect」機能を使って、作成できるコンテンツの幅がかなり広がったので、次の章ではその使い方とテクニックを紹介していきます。
『PIKA』のリップシンク機能の使用方法
それでは、早速リップシンクの機能を使った動画生成を行なっていきます。生成する方法はかなりシンプルなので、AIを使い慣れてない方でもスムーズにできるようになっています。
大まかな流れとしては初めに動画を作成し、その後に用意している音声を動画に追加していく作業になります。手順は以下の通りです。
リップシンク動画の作成手順
- ベースとなる動画の準備：リップシンクを適用したい動画準備
- 音声の作成：選んだ動画に合わせたい音声データを用意し、それを動画に同期させます。
- リップシンク動画の生成：PIKAを使って動画を生成する
step
1ベースとなる動画の準備
まずはベースとなる動画を作成していきます。動画生成方法は2種類あり、種類はそれぞれ以下の通りです。
Describe your story：テキストプロンプトを用いて動画を生成する
Image or video：画像や動画を元に動画を生成する
今回は『Describe your story』で、テキストプロンプトから動画を作ってみようと思います。使用したプロンプトはプロンプト以下の通りです。
Travel vlogging photography Spontaneous casual picture Playful and joyful candid social media influencer man walking and living And documenting nice moments The candidate is man with black hair medium length black eyes medium skin-tone good looking handsome, Arabian face, Friendly looking, charismatic The candidate wearing Black and green Hoody, Light blue jeans , Rayban sunglasses The candidate is looking directly at someone in front of him on a restaurant table With Relaxed and friendly body l
リップシンクの加えるための動画を作る際には、人物の顔や口元がはっきりわかる動画が好ましいので、生成する際にはご注意ください。
step
2音声の作成
次は、リップシンクの機能を追加するための音声を用意していきます。音声データはあらかじめ用意したものをMP3ファイルなどでOKです。
他にもAIツールを使えば、テキストから自然に読み上げてくれるものもあるので、そちらを活用アリでする！
有名どころを上げていくのでぜひ参考にしてみてください。
IIElevenLabs：テキストの読み上げや音声の変換、自分の声で収益化までできるツール
CoeFont：有名人や声優の声を商用利用できる音声AIツール
IIElevenLabs
CoeFont
これらのツールを使って、音声を生成することによってリップシンクの機能の活用方法が大幅に広がりますので、是非お試しください。
step
3リップシンク動画の生成
最後は、生成した動画と用意していた音声をリップシンクの機能を利用して合体させていきます。
リップシンクの機能を使うことで、音声に合わせて動画の人物が口パクをしてくれて、あたかもしゃべっているかのような動画を生成することができます。
PIKAの操作画面に移動し、対象の動画の「Edit」→「Lipsync」をクリックします。
用意していた音声ファイルをアップロードして、動画の調整を行うことができたら最後に「Ganerate」をクリックします。
完成した動画がこちら
動画のクオリティーや音声データにはまだまだ課題があるもののリップシンクの機能としては十分使えているかと思います。
こんな感じで、リップシンクの機能を搭載した動画の生成が簡単に作れちゃいます！
PIKAで動画生成する際のポイント！
動画生成AI「PIKA」で動画を作る際のポイントを紹介していきます。
どの動画生成AIにも、当てはポイントかもしれませんが、テキストプロンプトから動画を生成してしまうと、AI独特の破城がある動画が出来上がってしまいます。
よりクオリティの高い動画を生成しようとすると、ベースとなる画像を「MIdjourney」や「DALL-E3」などの画像生成AIで作成したものを使用すると、よりクオリティの高い動画が作成できます。
実際に今回テキストプロンプトと画像をベースにしたものを見比べて見比べると以下のような結果に
画像からリップシンクの動画生成
やはりベースとなる画像を初めに作成しておく方が、動画のクオリティはかなり違うことが分かります。
『PIKA』のSoundEffect機能の使用方法
続いて、SoundEffect機能についても紹介していきいます。
SoundEffect機能の効果は、自動で動画のシチュエーションに適した効果音を生み出してくれる機能になります。
見出し（全角15文字）
- プロンプト or 画像の準備：最初にベースとなる動画を生成する
- SoundEffectの追加：効果音の追加作業
- SoundEffect動画の生成：SoundEffectの動画の生成
step
1プロンプト or 画像の準備
まずは新しく動画を生成する、もしくはすでに生成した動画の「Edit」を選択してみてください。
今回は新しく動画を再生してみようと思います。今回使用したプロンプトは以下の通りです。
A river flows through the forest. A bird is flying above it.
step
2SoundEffectの追加
次にSoundEffectの効果を加えていきます。プロンプトの入力項目の右下に「SoundEffect」のON/OFFを切り替えることができるのでそちらをクリックしておきましょう。
step
3SoundEffect動画の生成
最後に生成ボタンをクリックして、動画の生成をスタートさせます。SoundEffectの効果は動画にあったものを自動で割り当てられます。
今回生成できたものがこちら
動画の雰囲気なども良く、簡単なプロンプトからかなりハイクオリティの動画の生成ができました。
それぞれの機能の注意ポイント
最後に、リップシンク機能やSoundEffectの効果を動画に割り当てていく時のそれぞれの注意ポイントを解説していきます。
比較的簡単にどちらの機能も利用できますが、ある程度コツを抑えておかないとなかなかハイクオリティのものが出来上がりません。
自分の納得いかない動画ばかりでできてしまう人は是非参考にしてみてください。
リップシンク機能のポイント
リップシンクの機能での注意ポイントとしては、より自然に人物が話してる様子をいかに作り出すかが大切になってきます。
また生成する時に、以下の3つのポイントを押さえておくとかなりエラーが減るので参考にしてみてください。
- 人物の輪郭がはっきりわかる
- 口元がはっきり表示されている認識できる
- 目の認識ができる
SoundEffect機能のポイント
SoundEffectの機能を使う時に多くのユーザーが感じるのが、動画の尺が短すぎる問題かと思います。
そういった際には、動画を引き伸ばしてもう一度サウンドエフェクトの効果を割り当てることで、ある程度秒数のある動画を生成することができます。
「Add 4s」をクリックして4秒間の動画の引き伸ばしが可能なので、動画の延長をしていきます。
注意ポイントは、引き伸ばした4秒にはサウンドエフェクトの効果は追加されません。
引き延ばせた動画を再度「Edit」をクリックして編集を行なっていきます。
「SoundEfect」をクリックして、引き伸ばした分の後半4秒のサウンドエフェクトの効果を追加していきます。
改めてサウンドエフェクトの効果を追加すると、3つのサウンドエフェクトの候補を提示してくれるので、お好みのものを選択し、動画に割り当てていきます。
完成した7秒間の動画がこちら
注意ポイント
動画を引き伸ばしてしまうと、AI特有の境界線に破城が出てしまったりすることがあるので、ある程度確認しながら作業してみてください。
まとめ：PIKAの新機能リップシンクとサウンドエフェクト
動画生成AI「PIKA」による新機能の紹介をお届けしました。今後の動画制作において、PIKAの可能性を活用し、クリエイティブなコンテンツをより一層充実させてみましょう！
さらに、他の動画生成AI「Gen-2 runway」や「Sora」、「Haiper AI」などに関する情報も本ブログで幅広く取り上げています。新たな視点や技術を探求したい方は、ぜひ他の記事もご覧ください。
