AIキャラが商品を紹介する動画を自動で作る｜開発中アプリ PV Studio の1週間

この記事では、私が開発しているアプリ「PV Studio」に、今週1週間で入れた機能と、その途中でつまずいた点をまとめます。

読み終えると、次のことが分かります。

AIで「キャラクターが商品を紹介する動画」を作るとき、どんな流れになるのか
AI動画でよく起きる「口パクが途中で止まる」問題の原因と、その直し方
商品画像の「使用許諾」によって、動画の作り方を変えなければいけない理由

AI動画に興味はあるけれど、何ができて、どこが難しいのかを知りたい人に向けて書いています。

まずは、ご覧ください。

【PR】DJI Osmo Pocket 3
型落ち商品だけどまだまだ現役。プライム感謝祭でのセールはあと数時間。急げ！
Amagami-labの一ノ瀬ひよりが紹介します pic.twitter.com/AWxdLApwKw
— Amagami-lab | MOSOする人。 (@amagami_lab) October 19, 2026

【紹介動画実験　その２】架空の人物・一ノ瀬ひより（映像と声はAI制作）が、丸い壺みたいなティッシュケース「ペーパーポット」を紹介。グッドデザイン賞受賞、日本製で一つ一つ塗装。180組までというデメリットも話しています。 #ペーパーポット #Ad… pic.twitter.com/L8fSrjcqlq
— Amagami-lab | MOSOする人。 (@amagami_lab) October 19, 2026

PV Studio とは

PV Studio は、プロモーションビデオ（PV、宣伝用の短い動画）を作るために、私が自分用に開発しているアプリです。まだ一般には公開していません。

もともとは「キャラクターの写真と、歌の入った曲」を渡すと、キャラクターが歌うリップシンク（口パク）動画を作るためのものでした。開発は Claude（AnthropicのAI）と二人三脚で進めていて、私が「こうしたい」と伝え、Claude が私のPC上でコードを書いて試す、という分担です。

動画に出てくるのは、架空のキャラクターです。動画クリエイター設定の「一ノ瀬ひより」と、歌手設定の「Elliot」がいます。どちらも実在しない人物で、映像と声はAIで作っています。動画にもその旨を必ず表記しています。

今週やったことの全体像

今週の流れは、ざっくり次のとおりです。

Elliot の動画を、新しく入れた補正つきで書き出し直し、補正前と後の比較動画を作った
「ひよりがガジェットを紹介する動画は作れるか」を試した
試した結果足りなかった点を、「商品紹介モード」としてアプリに組み込んだ
仕様を詰めて、長さの選択、デメリットも話す台本、宣伝文、縦型ショートなどを足した
実際の商品で紹介動画を作り、口パクのずれを直した
商品画像の使用許諾に合わせて、動画の構成を切り替えるチェックボックスを入れた

ここからは、特に学びが多かった3〜6を順に説明します。

試しに作ってみて分かった「足りないもの」

まず、ひよりが手のひらサイズのカメラ（ジンバルカメラ）を紹介する52秒の動画を試しに作りました。ひよりが部屋から語りかける6カットと、商品や撮影例を見せる4カットをつないだものです。アプリの中での制作時間は約45分、画像の生成代は約1.2ドルでした。

できあがりは悪くなかったのですが、アプリだけでは足りない点が3つ見つかりました。

商品カットが自動で入らない。 語りのカットしか作らないので、商品を映すカットは手作業で足しました。
商品の形が本物と違う。 商品写真ではなく、AIが描いた商品画像を使ったため、形が少し違っていました。実物の写真を参考にして作り直したところ、形が合うようになりました。
PR表記がない。 商品を紹介してリンクを貼る動画は、広告であることを示す「PR」の表記が必要です。

そこで、この3点をまとめて「商品紹介モード」としてアプリに入れました。

商品紹介モードの仕組み

商品紹介モードでは、商品の情報を入れるだけで、台本から書き出しまでが一続きで進みます。

入力： 商品名、商品ページのURL、商品写真（複数枚可）、動画の長さ（1・3・5・10分）を入れます。URLを入れると、アプリが商品ページを読みに行き、特徴や仕様、商品写真を取り込みます。
台本： AIが台本を書きます。いいところだけでなく、デメリットも必ず入れるようにしました。長さに応じて、いいところは3〜10個、デメリットは1〜3個です。
絵コンテ： 台本の「いいところ」ごとに、どの商品カットを見せるかを割り当てます。
映像： キャラクターが話すカット（口パク）と、商品を見せるカットを作ります。
書き出し： 左上に「PR」と「架空の人物・AIで制作」の表記を自動で入れます。

あわせて、YouTubeの概要欄とXの投稿に使う宣伝文も自動で作ります。チェックを入れれば、縦型のショート動画も作ります。

デメリットも話させる理由

台本にデメリットを入れたのは、良いことだけを並べた紹介は、見ている人にとって判断材料にならないと考えたからです。実際に作ったティッシュケースの紹介動画では、「入るのは180組まで。厚めのティッシュは入らないことがある」という点にも触れています。

商品カットの動きは「回り込み」に統一

商品カットは、最初は「最初の画像」と「最後の画像」を渡して、その間をAIの動画モデルにつないでもらっていました。ところが、2枚の画像で商品の位置が少しずれていると、商品が机の上をすべるように動いてしまいます。

そこで、商品カットは「最後の画像を使わず、カメラがゆっくり回り込む動き」に統一しました。道を歩くような「前へ進む映像」は、AIで動画を作ると建物がゆがんだので、画像をゆっくり拡大して前へ進んでいるように見せる方法に切り替えています。

【画像: 商品紹介動画のワンシーン。商品が机の上にあり、カメラが回り込むカット】

商品紹介モードの入力欄の使い方、台本を書かせるときにAIへ渡している指示文、商品カットの動きの指定は、noteで詳しくまとめています。同じような動画を自分で作りたい人は、そちらも参考にしてください。👇️

AIキャラに商品を紹介させたら、口が止まった話｜自作アプリ PV Studio 開発記

つまずいた点：口パクが途中で止まる

いちばん時間がかかったのが、口パクのずれです。

実際の商品で65秒の紹介動画を作ったところ、「1つ目は、グッドデザイン賞を受賞した…」という声が流れているのに、ひよりの口が半開きのまま止まって見える場面がありました。商品カットに切り替わる直前のカットで起きていました。

最初の見立ては一部しか当たっていなかった

最初は、カットの終わりにかけている「静止を目立たなくする補正」が原因だと考えました。補正で終わりの0.4〜0.6秒を引き伸ばしていたので、そこで口が声より遅れる、という見立てです。補正をやめて作り直しましたが、まだ直っていませんでした。

本当の原因

調べ直すと、原因は「最後の画像」にありました。

語りのカットは、「最初の画像」と「最後の画像」の間を動画モデルがつないで作ります。最後の画像は、口を閉じた笑顔です。そのため、動画モデルはカットの後半から口を閉じにいきます。

文の区切りで終わるカットなら、これで問題ありません。ところが、商品カットに切り替わる手前のカットは、文の途中で終わります。声はまだ続いているのに、口だけが閉じかけて止まってしまっていたのです。

口の周りの動きを測ると、カットの前半はふつうに動いているのに、最後の約1秒は、声に対して2〜3割しか動いていませんでした。

もう一つの気づきは、それまで使っていた「一致度」の点数では、この問題を見つけられなかったことです。この点数は、動画の音声と元の音声を比べていただけで、口の動きは見ていませんでした。点数が高くても、見た目がずれていることはあるのだと分かりました。

対策

対策は2つです。

文の途中で切れるカットは、最後の画像を使わずに作る。 試作して測り直したところ、口はカットの最後まで声に合わせて動き続けました。
口の動きの自動チェックを入れる。 動画を作るたびに、口の周りの動きと声の大きさを0.5秒ずつ比べます。声が出ているのに口が0.6秒以上止まっていたら、自動で作り直します。

このチェックを過去の動画にかけると、私が気づいた場所のほかに、短い止まりがあと2か所見つかりました。人の目で全部を見つけるのは難しいので、機械に見張らせるのは効果があったと感じています。

商品画像の「使用許諾」で構成を変える

最後に入れたのが、「許諾済みの画像を使用」というチェックボックスです。

商品を紹介するとき、メーカーやお店から商品画像を借りることがあります。このとき、画像を「加工して使ってよい」のか、「そのまま使う許可しかない」のかで、できることが大きく変わります。

これまでの作り方では、キャラクターが商品を手に持つ映像や、商品の回り込み映像を、商品画像を参考にAIで描いていました。これは画像を加工して使っているのと同じなので、無加工の許可しかない場合は使えません。

そこで、次のように切り替えるようにしました。

チェックあり（加工してよい画像）： これまでどおり、商品を手に持つカットや回り込みのカットをAIで作ります。
チェックなし（既定）： 「話す人 → 提供された画像そのまま＋ナレーション → 話す人 → 提供された画像 …」と交互に切り替えます。提供画像は切り抜き、ぼかし、ズーム、色の変更をせず、無地の背景の上に全体を置くだけです。字幕も画像に重ねず、下の余白に出します。

既定を「チェックなし」にしたのは、許諾の確認を忘れたときに、より安全な側に倒れるようにするためです。

なお、私が以前の動画で、商品ページの縦長の画像から一部を切り出して使ったことも、無加工の条件では加工にあたります。画像の扱いは、許諾の内容を確認してから決める必要があります（法律や契約の細かい判断は、それぞれの許諾条件を確認してください）。

1週間やってみた感想

ここからは私の感想です。

AIに動画を作らせると、「それらしい映像」はすぐにできます。ただ、商品がすべる、建物がゆがむ、口が止まるなど、よく見るとおかしい点が必ず出ます。
その「おかしい点」を一つずつ原因まで掘り下げて、アプリの仕組みとして直していくのが、開発のいちばん大事な部分だと感じました。一度直せば、次から作る動画すべてに効くからです。
商品紹介は、映像の出来だけでなく、PR表記や画像の許諾といったルールの面も、最初から仕組みに入れておくのが大切だと分かりました。

次は、新しい台本の書き方（ポイントごとの商品カット、デメリット、長尺）で、最初から通しで動画を作ってみる予定です。