生成AIと作品づくり第1回｜写真の葉を、生成AIで5秒だけ動かしてみた

生成AIで作られた動画を見て、「すごいな。どうやって作ったんだろう」と思うことがあります。僕もいつか、そんな作品を作ってみたい。でも、まずは手元にある写真で、今できることから試してみようと思いました。この連載では、僕が実際に作ってみたものや、うまくいかなかったことも紹介します。読んだ方にも「これなら自分でもできそう」と感じてもらえたら嬉しいです。

iPhoneで撮影した、秋の葉の写真があります。青空を背景に、逆光を受けた黄色い葉の葉脈が透けて見える写真です。

静止画のままでも気に入っているのですが、「この葉が風に揺れたら、どんな景色になるだろう」と思ったのです。そこで今回は、この写真をAdobe Fireflyに読み込ませ、5秒の短い動画にしてみます。目標は大きな変化を加えることではありません。もとの写真にある光を生かし、弱い風だけを感じられる映像にすることです。

なぜ、この写真を動かしたかったのか

今回選んだ写真には、何枚もの葉が重なり、明るい部分と影の部分があります。もし葉が少し揺れれば、光の通り方も変わるはずです。写真の中にすでにある表情を、動きによって見せられるのではないかと考えました。

ただ、葉を激しく揺らすと、逆光で見えている形や葉脈が崩れるかもしれません。そこで、動かすのは葉と細い枝だけ。カメラは動かさず、新しいものも足さない。先に、このような方針を決めました。

iPhoneで撮影した、青空を背景に逆光で透ける黄色い秋の葉 — 元の写真。構図と葉の形を残しながら、動きを加えてみます。

今回、用意したもの

静止画像を動画にするには、画像から動画を生成できるサービスが必要です。今回は、そのサービスにAdobe Fireflyを使います。また、動画を作るために、次の3つを用意しました。

元になる静止画像
画像から動画を生成するサービス
どのように動かしたいかを伝える言葉

Fireflyに静止画像を「最初のフレーム」として読み込ませ、どのように動かしたいかを文章で伝えると、その画像を出発点にした動画を生成できます。利用にはAdobeアカウントが必要です。また、動画を生成するとクレジットを消費するため、生成前に使用できるクレジットも確認しておきます。

AIには、何を伝えたのか

Adobe Fireflyの動画生成画面で、写真を「最初のフレーム」に指定し、次のようなプロンプトを入力しました。

元の写真の構図を保つ。カメラは固定。
逆光に透けた秋の葉と細い枝が、弱い風でごく自然に揺れる。
葉を通る光と影がわずかに変化する。
葉の形、枚数、色を保ち、新しい葉や物体を加えない。
大きなカメラ移動や急な動きはしない。

「葉を揺らす」だけでなく、「葉の形や枚数は変えない」ことも書いています。写真を出発点にする以上、どこを動かし、どこを残したいのかを区別したかったからです。

画面左側で生成の設定と最初のフレームに使う写真を指定し、右側で生成結果を確認します。

Adobe Fireflyの画面。左側に設定と最初のフレームの写真、右側に生成した葉の動画のプレビュー — Fireflyの画面全体。左側で設定と元写真を指定し、右側で結果を確認します。

今回の設定は、動画を作るモデルが「Firefly Video」、解像度が540p、画面の形が縦長（9:16）、フレーム率が24 FPS、長さが5秒です。24 FPSは、1秒間に24枚の画像を表示する設定を指します。まずは短い縦型動画を試したかったので、この長さと画面の形を選びました。必要なクレジットは、生成前に画面で確認します。

Firefly Video、540p、縦長9対16、24 FPS、5秒と表示された設定画面 — 設定部分を拡大。全体画面で小さく見える文字も確認できます。

生成された5秒を見てみる

できあがった動画は、縦型の約5秒。黄色い葉と青い空の対比は残り、葉や枝が揺れることで、静止画に時間の流れが生まれました。光と影も少しずつ変わり、写真から自然につながる部分があります。

iPhoneで撮影した写真からAdobe Fireflyで生成した、約5秒の動画です。再生ボタンを押すと読み込みます。

一方、すべてが指示どおりだったわけではありません。葉の位置関係が少し変わり、完全な「カメラ固定」にも見えません。中盤以降には、画面左下に落ち葉のような形が現れます。それが元写真の一部を動かしたものなのか、AIが補って作ったものなのかは、映像だけでは断定できません。

指示どおりでなくても、採用する？

左下の動きには少し唐突さがあります。それでも、動画全体を見ると、強い違和感があるほどではありませんでした。僕は、今回は作り直さず、この結果を最初の試作として残すことにしました。

「指示に忠実か」と「作品として見られるか」は、同じ判断ではありません。意図しないものが入った事実は確認したうえで、それが作品の魅力を損ねるのか、それとも許容できる変化なのかを考えます。思いどおりでないから、すぐにもう一度生成する。そう決める前に、一度立ち止まって見直すことも大切です。

AIに任せたこと、人が決めたこと

今回、僕がしたのは、写真を選び、どんな動きを見たいかを言葉にし、生成結果を見て採用するかを決めることです。AIには、静止画から動きのある映像を作ってもらいました。

もちろん、細かな形や動きを正確に決めたい作品なら、別の制作方法が向いていることもあります。今回わかったのは、生成AIが写真に予想外の変化を加えること、そして、その変化を作品に残すかどうかは作り手が判断できるということです。

今回できたのは、「おお、すごい！」と驚くような動画ではありません。でも、静止した葉の写真から、風に揺れる葉の動画を作れることを実感できました。僕にとっては、これが生成AIを使った作品づくりの第一歩です。

AIで素材をつくり、人の手でデザインする。 この5秒は、その小さな実験になりました。