影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】

你们看了影视飓风最新的这期关于 AI 的节目了吗,老感人了😭

图片[1]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

实不相瞒,我第一次看的时候还是粗剪版,就已经把我给看哭了。

这是我上个月跟飓风导演 Aki 的聊天记录:

图片[2]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这两天节目发了之后,我特意找个安静的时间又看了一遍,在同一个地方,再次流下了不争气的眼泪。。。

图片[3]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

如果你还没看过,这里是原片,强烈推荐你去看看:

言归正传,作为一个 AI 博主,我肯定还是来讲 AI 的。

图片[4]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

节目中,满屏“卧槽”的 Tim 变成假人的那段,是我做的:

图片[5]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

还有 AI 版的列车镜头也是我做的,其实做了很多颗,不过为了节奏更好,最后节目只用了其中一两颗。

不过在这里,倒是可以再给各位看看,纯用 AI 做的这些镜头们:

(银河列车 AI镜头混剪)

(Tim 72 变 AI片段)

 

是不是感觉还行?

所以这篇文章,就跟大家分享一下,我一个新人博主,是怎么被影视飓风“盯上”、如何跟他们合作、以及上面那些镜头到底是怎么做的。

快搬好小板凳🪑

图片[6]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

谈起这个项目,时间还要回到两个月前。

在一个寂寞的夜里,Tim 老师突然给我发微信说,有个两年前的大项目正在重启,其中涉及到一些复杂的 AI 镜头,问我是否感兴趣一起参与。

要我说,Tim 要么是低估了自己,要么是高估了我,这么好的项目居然问我感不感兴趣,直接把我塞麻袋里拐走干项目干他个十天半个月的,我都不带眨眼的。

图片[7]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

说到这,其实还有个故事背景想跟各位分享。

2024 年,我其实在飓风工作过一年,也是担任导演,像这些节目 ⬇️ 都是我做的,不知道你有没有看过。

图片[8]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

后来在今年年初的时候,因为太痴迷于 AI,我就决定出来全身心研究 AI,其实在当时很多人不理解我的选择,身边都是“这么好的工作你真是一点都不懂得珍惜”之类的声音。

他们说得对,飓风真是我待过最好的公司,无论是福利、工作内容还是人性化的体验,我觉得找不到第二家了。

但我还是认为:哪怕眼前的境地已经很完美,但如果你想开启新的征程,就必须要学会放下。

就像一开始决定加入飓风的时候,我其实也“放下”了很多东西:

我扔掉自己开了 4 年的影视公司、卖掉了一屋子的器材设备、放弃了无数个日夜才积累起来的客户资源,从上海举家搬到杭州。

究其原因,只是因为在那个阶段,我觉得自己有必要来飓风“进修”。

所以年初当我再次选择离开的时候,面对那些不理解的声音,我在心里悄悄定下了一个小目标:

早晚有一天,我会在这个全新的领域,也能获得飓风的认可。

因此直到两个月前,Tim 老师问我有没有兴趣的时候,我真的非常开心:

图片[9]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

实话说,那会儿我刚开始做 AI IP 才不到一个月,没什么作品、更没什么行业影响力,按理说飓风也该找一些经验丰富的头部 AI  创作者来合作的。

所以很多朋友也会问我:大羽你为什么总能获得一些奇妙的机遇?

那顺着这事儿,我也顺便跟大家分享一个我受益无穷的观点。

图片[10]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

在我的逻辑中,一个人或一个创业项目,如果要发展的好,必不可少的因素就是资源和机会,而资源和机会传递的主要载体是“信息”

比如你手里有个大项目,需要物色一个大佬来带队,那你只能通过“熟人引荐”、“招募”、“搜索”等路径来找到你需要的那个人,这些路径本质上就是信息的传递。

那我作为一个普通人,没有特牛的人脉和行业影响力,该如何让机会通过信息来主动涌向我呢?

答案只有一个:公开表达

图片[11]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

比如拿这次和飓风的合作来举例,纯从功利客观的角度来看待的话,整件事情的发展路径其实是这样的:

首先,我经常在朋友圈分享我关于 AI 的思考、或研究 AI 的进展,以至于大多数朋友都知道我在做 AI 相关的事情,这是一切的前提。

图片[12]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

所以有一天,有一位朋友找到我,问我有没有兴趣去参加海浪电影周的一个 AI 黑客松比赛,于是我就去了,顺便拿了个金奖。

图片[13]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

如果事情到此结束,此后我只是把“拿奖”这件事当做一个背书,那其实就没有然后了。

但拿了奖之后,我打磨了一篇非常深度、且尽量有趣的创作复盘,就是这篇 ⬇️(有兴趣可点开查看文章)

万字复盘!电影周金奖AI短片 创作幕后与AIGC干货教学:如何48小时完成一部AI获奖短片

至此,事情开始变得好玩起来。

你很难轻易的向别人证明你有真材实料,但一篇深度的文章可以做到、你持续公开表达的一个账号可以做到。

于是通过那篇文章,多了非常多的机会找到我,包括平台方找我联合出品长片、艺术家邀请我一同创作短片、甚至还有AI 科技公司喊我当合伙人 ,包括这次飓风的邀约,也是源于他们读了这篇文章,认为我可以胜任这次合作。

所以回溯整个链路,不管是发朋友圈也好、发自己的作品、心得总结也好,你可以看到每个关键节点,都是因为我在持续地“公开表达”,机会和资源才能“看得见我”、“信得过我”、最后“找得到我”

一定有无数个 AI 技术比我强得多的人,但因为他们没有公开表达,所以就算再厉害,逻辑上也压根不可能被看到,这其实非常可惜。

但也正因为“公开表达”不是每个人都有勇气尝试、都善于去做,我们普通人才有机会享受这样一种“红利”。

因此,我还是这个观点:对于普通人来说,如果你想获得更多机会,最需要做的事情其实就是公开表达。

就像你在看的这篇文章,如果我羞于启齿或懒得写,你可能就永远看不到我,我可能就错过了一个认识富婆的机会(不是

图片[14]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

讲完了创业上的心得,接下来我们讲讲幕后创作。

如果你是 AI 小白,也不用担心,我会用最简单易懂的语言向你解释复杂的逻辑,这是我擅长的事情。

这期节目,我主要负责的是两个部分的 AI 制作:

第一个核心需求,是这支片子里需要一些“展示 AI 技术”的镜头,比如几年前的 AI 生成效果和当下的 AI 生成效果进行对比,所以我制作了很多银河列车的 AI 镜头:

图片[15]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

另一个核心需求,也是这次制作的难点,就是配合 Tim 的一段 Talking(台词),来呈现“模糊掉 AI 与现实的界限”的效果。

如你所见,就是开头那段视频中的内容,先把 talking 背景“破坏”掉、从室内转成大峡谷、再到 Tim 变成猪猪侠、最后很多个屏幕作为收尾的那一段。

图片[16]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

在讲解具体制作逻辑之前,我先解答三个你大概率会感兴趣的问题:

这些东西做了多久?花了多少钱?用到了什么工具/模型?

答案是:

1 、把零零散散的制作时间累计在一起的话,大概做了一两个星期;

2 、主要的成本是算力成本和订阅工具,花了大概四千块钱左右;

3 、工具用到了 Gemini、Midjourney、Tapnow、MiniMax、Veo3.1、海螺 AI、即梦 AI、可灵 AI、Runway、VIDU、switchlight、infiniteTalk、WAN animate、Davinci 、Topaz 等。

图片[17]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

懵逼了吧,这么多工具... ...

不过别怕,其实并不复杂,后面你会知道它们都是干啥用的。

我们先从最简单的说起:

那些银河列车的 AI 镜头,到底是怎么做的。

图片[18]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

首先你需要知道的是:当前市面上有几种不同的视频生成逻辑

比如文生视频,就是说两句话描述一下你想生成的视频效果,纯靠文字描述,来直接生成视频。

再比如图生视频,像大家可能比较熟悉的“首尾帧”,提供一个开头图片、提供一个结尾图片,然后让 AI 帮你生成中间的视频内容。

再比如视频转绘,就是你直接扔一个现成的视频,然后告诉 AI 你想怎么改,它来帮你改成一条新的视频。

大多数情况下,我们需要根据不同的需求和模型的优缺点,来决定到底用哪种制作逻辑、以及哪种工具。

因此很多人问我:大羽你觉得哪个模型效果最好?

我的答案会是:没有最好,只有最适合,就跟找男女朋友的道理是一样的。

图片[19]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

而这次片子的列车镜头的部分,由于这艘酷酷车车是飓风他们CG建模出来的,所以我得尽可能确保:AI 镜头中的列车也得长成那个样子。

这被称之为“一致性”

此外,因为要对比两年前和两年后的,不同 AI 的生成效果,我还得精准控制画面的质感。

因此,最适合的制作逻辑就显而易见了:图生视频

也就是说,得先有足够精确的图片,再把图片转为视频。

图片[20]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

第一步是生图,而生图的第一步,就又要我们的老朋友 Midjourney 出场了,这是当下审美最好的生图模型。

我以下面这颗镜头为例,来向你展示从 0 到 1 的整个制作过程:

首先,我们要在 Midjourney 中,做出一张基础图,比如我写了这么一段提示词:

图片[21]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

你别看这么长一大串英文感觉很唬人,其实吧,我也看不懂。

因为这是我结合翻译软件和大语言模型,不断迭代出来的提示词。

反正大概意思就是:一辆白色的列车在城市中呈现一种怎样的形态,以及画面的视觉风格和摄影机参数等。

总之把提示词给到 Midjourney 之后,它帮我生成了这么几张图片:

图片[22]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

感觉还不错对吧,我个人比较喜欢右上角的那一张,让我们放大来看看细节:

图片[23]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

嗯,蛮有氛围感的,但是这张图有几个大问题

1 、列车的样子不对,现在看起来像磁悬浮高铁,不像我们的列车。

2 、我们的列车是会飞的车,但现在这车的屁股底下多了个轨道。

3 、城市的建筑风格不对,现在整的跟在哥谭似的。

4 、落日感蛮好的,但天上的云有点阴暗,我想要一个相对晴朗的天气。

图片[24]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

理论上,上面这些问题都可以通过优化提示词、或用 Midjourney 的参考图功能来优化,但请注意,那只是优化,而不是彻底解决这些问题

因此相比于去磨提示词,我通常会选择更精准更高效的方案:P 图

当然了,作为 AI 玩家,咱肯定不能用 PS,那是违背祖宗的选择,所以我们选择地表最强 P 图 AI 模型:Google 的 NanoBanana 🍌

你或许还记得前段时间,全网很火的把人做成手办的那波热点 ⬇️ 罪恶之源就是 banana 这个模型。

图片[25]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

(你怎么知道我钓到鱼了)

具体怎么用呢?

首先,我把刚才的那张全是问题的基础图片,丢进 Tapnow 里(后面你会知道这是什么工具)

图片[26]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

最需要解决的问题是,列车的一致性问题

而我要把图里的高铁换成外观正确的列车,就一定需要正确列车的三视图作为参考,于是我先从影视飓风他们给我的素材中,截图截出了几张列车不同视角的样子:

图片[27]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

接着把它们全部喂给 banana🍌,再写一句提示词:根据列车的不同视角,帮我生成一张列车全貌的白底图。

经过 banana 的一波“思考”,我就得到了这么两张,类似概念设计图的图片:

图片[28]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这样我们就有后面“换车”的参考图了。

然后我们把那张全是问题的基础图片,和现在的白底列车图一块儿喂给 banana,再写一句提示词:

“把白底图中的列车换到主图里,并去掉主图中的铁轨;呈现一种列车在空中飞的感觉;合成效果要真实自然。”

经过 banana 的又一波“思考”,我们就得到了一张列车外观正确、且已经去掉铁轨的新图:

图片[29]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

按照同样的逻辑,接下来我们通过喂参考图、或提示词描述,完成换建筑、换云彩、以及修复其他 BUG 的工作。

比如你看这个制作过程好像挺复杂,其实就是一步一步的修改图片,一次只修改一个小点:

图片[30]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

最终,我们就得到了一张合格的、可以直接拿去生视频的图片了🎉:

图片[23]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

(P 图前 by Midjourney)

图片[32]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

(P 图后 by Banana)

至于其他的列车镜头,基本逻辑也都一样,不再赘述。

总之经过一波简单操作后,你就获得了各种各样的“成品图片”了:

图片[33]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[34]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

那么有了这些图片,接下来就要让他们动起来,也就是生成视频,核心逻辑很简单:

把图片直接丢给不同的“图生视频”模型,然后不断优化提示词来获得最好的效果。

这个过程,就是俗称的“抽卡”。

比如你看 ⬇️,像这颗镜头我就试用了 6 个不同的视频模型,让它们比赛看谁生的多、生的好:

图片[35]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

当然,你不能指望一次性就能生出比较好的效果,如果第一波提示词不太靠谱,那就得根据生成结果继续优化和迭代提示词。

所以这一步其实还蛮花钱的,因为 AI 模型像个黑盒,你如果不去真正的点击生成,就永远没法预料它会生出来个什么玩意儿,比如你看看这颗废弃素材颠成什么样了:

图片[36]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

你是个鳄鱼吗... ...

按照这个逻辑一波简单的操作后,我们就获得了若干颗被精选出来的、合格的AI列车视频素材 ⬇️

图片[37]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

你也看到了,之所以用 Tapnow 这种聚合平台,而不是在各大模型的官网去生成视频,最大的好处就是,你可以在一个界面中随意选择你想引用的模型,新建一个节点就能生成,效率非常高。

最后,我把混剪再贴一次,感兴趣可以再感受一波:


那么接下来就是我们的重头戏,这次项目最麻烦的、呈现 Tim 72变的部分。

图片[38]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

说实话,我一开始非常犹豫,到底要不要写这一 part,因为要实现这个相对丝滑的效果,整个制作逻辑非常繁杂,细节极多,除了 AI 工具的相互配合,还涉及到很多合成、剪辑的处理:

图片[39]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

从流量的角度来说,这么长、甚至有点枯燥的内容会非常影响我的完播率。

但我仔细想了想,其实市面上还是非常缺少这种实战类 AI 项目的“经验拆解”,像这一 Part 就有很多我自己摸索出来的“大力出奇迹”的解决方案。

而影视飓风他们都可以花两年时间,只为了帮 57 他们做一条满意的 MV,那我多花点精力写点大家真正用得上的东西,又算得了什么。

图片[40]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

所以接下来的内容虽然很多,我会写的尽可能清晰易懂和有趣,让小白能理解原理、学到东西,从业者也能获得不一样的启发

那么我们开始!

01

制作前

首先,面对这种相对复杂的需求时,我们可不能闷头就是干,否则很可能做到一半发现技术上行不通,那就得推翻重来了(别问我为什么知道)

所以需要先完整的评估需求,最好能设计一个可落地的技术方案。

比如,这里是 Tim 当时已经录好的 talking 稿:

图片[41]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

同时我拿到的原素材,就是 Tim 坐在影棚里录制这段 Talking 的一条视频:

图片[42]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

所以我首先需要将这一整段 talking,按照最终要呈现的视觉效果,拆解成不同的段落,以便后面对症下药:

图片[43]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

如上所示,我一共拆成了 8 段效果,如果单看每一段效果,感觉都蛮好实现的。

比如第 4 段的 “talking 场景丝滑的变化为一座大峡谷,然后 Tim 再次入画”

逻辑上,我只需要一张 talking 景的图片作为首帧、以及一张大峡谷的图片作为尾帧,然后用“首尾帧功能”生成视频就好了:

图片[44]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

但仔细想一想,事情可远远没这么简单,比如:

1 、这一段的首帧跟上一段的结尾帧,必须能丝滑的衔接起来,但上一段结尾的效果是“Tim 也是假的”,所以如何用视觉来呈现“Tim 是假的”?

2 、这段的效果需要从 Talking 景丝滑过渡到峡谷景,那么到底如何过渡?是运镜?还是直接渐变淡化?

3 、这段的后半部分,需要Tim 在峡谷中重新入画,那怎样让这件事的逻辑显得合理、不那么刻意?

4 、 以及 Tim 入画的视觉呈现,是靠摄影机运动还是人物走进画面?或者最简单的用固定镜头,直接让 Tim 淡化出现?

5 、 如果让 Tim 在峡谷中自然的入画以及讲话,就得生成一个 AI 版 Tim,但 AI Tim 该如何完美融入场景?融入后又该如何对口型?

6 、这段结束后,Tim 就需要变身成蜘蛛侠等人物,所以如何丝滑的衔接?

7 、... ...

图片[45]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这个道理,其实跟你小时候应付老师是一样一样的。

老师问你怎么作业没带,你说:“早晨走太急了,需要的话我现在回家拿”

单看这一句话,就像单做那一颗镜头,天衣无缝、完美无缺。

但实际上,你作业压根就没写,如果老师作罢,那最好不过;如果老师让你回家拿,你到家了火速补完作业再回学校,多完美的计划。

但如果老师说:“给你妈打电话,让她给你送过来。”

那你就完犊子了。

这可能是你一辈子脑子转的最快的时候,正当你终于想到一个你妈不在家的完美理由的时候,老师掏出自己的手机亲自打去了电话... ...

图片[46]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

总之你看,做一整段效果和只做一颗镜头的难度是不一样的,做一整段效果,就跟撒一个天衣无缝的谎似的,要逻辑自洽、丝滑、自然,就已经有难度了,而这还只是技术上的最低要求。

再往上走,你甚至还得考虑到视听的美感、传递的情绪、节奏的变化等等。

这就是我前面为什么说,面对相对复杂的需求,在正式开干前,你最好先做一个可落地的技术方案。

图片[47]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

02

 第二段

有了大致的方案之后,接下来我们正式进入制作,让我们再来看看开头几段效果:

图片[48]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

首先第一段不需要处理,直接沿用 Tim 的 Talking 素材画面即可。

第二段的主要内容,是 Tim 说到 “你注意到了吗?这些都是假的... ...” 的时候,我们要把背景做个变化。

因此,我一开始的逻辑是:

Tim 身后的背景虽然是假的,但我要做的尽可能真,让观众看不出来是假的,然后在 Tim 指出这件事的时候,再通过背景变化来呈现。

按照这个逻辑,我就需要先把本来实拍的背景换成我用 AI 生成的假背景,  所以我还得把 Tim 全部“抠”出来:

图片[49]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

说干就干。

大家都知道,要抠视频,最好是在用绿幕来拍摄,然后后期手动抠图。

图片[50]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

但我们的素材不是绿幕,而且我作为一个 AI 玩家,怎么能手动抠 Tim 呢?(MD 怎么听起来这么怪)

所以我用了一个抠视频的AI工具——Beeble,来完成这一步:

图片[51]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这里就不展示怎么使用这个工具了,简单说就是它能把人物用 AI 自动分离出来,去掉背景,只保留人物。

所以去掉原素材的老背景之后,接下来我就要生成新背景了,这里再次用到了 Midjourney。

而且,为了确保 Tim 本身的光照和AI背景浑然一体,尽可能削弱“人是 P 上去”的感觉,我就不能纯靠提示词来生成一张全新的图,而是用到了 Midjourney 的“编辑功能” ⬇️

图片[52]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这个界面看似很复杂,其实逻辑简单得很,就是手动擦掉大部分的原背景,像上图一样,只保留人物和背景的一些局部,然后让 AI 根据保留的这些内容,重新生成画面,来填满被擦掉的空白区域。

这样的话,就既能确保“背景是假的”,又能确保融合的“真实感”。

好家伙,原来又要假又要真的需求真的存在。。。错怪甲方了

图片[53]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

比如我给你看几张生成效果:

图片[54]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[55]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[56]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

效果还行对吧。

那么接下来,我们再次使用 P 图神器 Nano banana🍌,把 Tim 给他 P 掉,就能得到干净的新背景了:

图片[57]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[58]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

最后,你还记得前面我们抠出来的 Tim 吗,把他往背景上一扔,你看看,这背景咱就轻易的换好了:

图片[59]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

解决了换背景的事儿,我们就要根据 Tim 的 Talking,让背景真正动起来了。

原素材中,Tim 的手边指着身后背景不同的位置,边说:“这是假的、这也是假的、这些都是假的。”

所以我就得配合 Tim 的节奏,分区域对背景进行处理,以呈现出“Tim 手指向着哪里,哪里就开始发生变化”的视觉效果。

图片[60]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

要实现这个效果其实很简单,主要用到的是“首尾帧”的功能。

简单来说,其实和做动画的逻辑是一样的:

Tim 讲话的节奏点就是关键帧,我们只需要设计好关键帧的位置和样子,再把两个关键帧之间的视频用首尾帧生出来就可以了。

比如你看看我的操作:

图片[61]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

我来解释下 ⬆️,最左边的图中,可以看我是先确定背景图中需要变化的区域,画了一个红色的框框,然后告诉 banana:把这个框框中的元素变成其他画面。

这样我们就得到了第一张“关键帧”。

(当然,你不画框框,直接用提示词来描述你想变化的区域也行,但画框会更精准一点。)

接着在第一张“关键帧”的基础上,把另外一个区域也画上一个框框,就像第三张图一样,再让 banana 把这个区域也变化一下,我们就得到了第二张“关键帧”:

图片[62]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

那么有了这几张关键帧,我们来到即梦,或随便什么支持首尾帧的视频模型,让 AI 帮我们把中间的变化过程生成为视频就好了。

这里我随便截一个版本的提示词,感兴趣的可以放大感受下:

图片[63]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

总之,最终做出来的效果是这样的:

图片[64]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

看起来有点糙,但至少证明这个方向是可行的,后面继续优化细节就好了。

但,,,不出意外的话,意外就来了。

就在我准备继续往后做的时候,我突然想通了一件事,以至于我决定把前面已经做好的内容全部推翻。

图片[65]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

我的逻辑是这样的:

虽然 Tim 说:后面的背景、以及这一切其实都是假的。

但我不一定非得拿一个假背景来伪装成真背景,因为这样的话,观众只会觉得:“哦!原来你把假东西做的这么真!”

而如果我把逻辑反过来,直接让真背景本身就会变化!观众就会觉得:“卧槽,这全片的背景都是假的?不对,应该是只有这一段处理了,等等,似乎也不对... ...”

这就是我的目的:让你搞不懂到底什么是真、什么是假。

其实这也是飓风这期节目想探讨的,AI 与现实的关系。

图片[66]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

如果你还是不明白,可以继续往后看。

首先我新建了一个工程,这次我保留了实拍的真实背景,用 Banana🍌做出了两个新的关键帧:

图片[67]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

生视频也是跟上面同样的逻辑,用“首尾帧功能”,打磨提示词来生成视频就好了。

这次,由于全片都是这个“实拍背景”,它的样子已经印在观众潜意识里了,而这时候它再突然发生变化,所能带给观众的“震撼感”就会更加深刻:

图片[68]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

    是吧,不信你看看这段刚开始的弹幕:

图片[69]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

至此我们算是成功完成了第二段效果,这起了个好头🎉

03

第三段

接下来我们看看第三段:

图片[70]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

Tim 说:“甚至连我,也是假的。”

这可把导演和我搞头秃了,该怎样呈现这个效果最好呢?

把 Tim 变成另外一个人?不行,后面的段落还有变身的效果,不能提前用。

把 Tim 直接消失掉?不行,那是传统“抠图”或“特效”就能做到的效果,体现不出 AI 的特质。

把 Tim 变成一堆数据组成的人形?一开始我是这个想法,毕竟 AI 本质上就是一堆数据,但仔细一琢磨,我又觉得这效果太老套了。

图片[71]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

总之经过效果、寓意、成本等多方面考虑,最终我决定让 Tim 变成一个全透明的 Tim,他还在说着同样的话、做着同样的动作,但他是透明的。

这不像“突然消失”的效果一样,用特效随随便便就能做出来;

也不像“数据人体”一样,一看就是传统科幻电影常见的表现方式。

我最终做出了两个感觉的效果,考虑后选择了效果 B ,给你看看:

图片[72]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

不知道你觉得哪种感觉比较好?

制作原理其实很简单,主要用到的工具是 Runway 的 Aleph 功能,可以简单理解为一个很强的 AI 编辑视频的功能。

我们只需要把 Tim 这段原视频素材丢进Runway,然后输入提示词:

图片[73]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

提示词大意是:“将画面中的男人变成一种透明的状态,以及一些变化效果的细节描述”

等待一会儿后,Runway 就帮我生成了想要的效果了,背景不变、 Tim 的形象和动作都不变,但他是透明的:

图片[74]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

接着,把这个透明 Tim 素材丢进剪辑时间线上,逻辑如下 ⬇️

图片[75]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这里有个小细节可以跟大家分享一下,就是 Runway 生成的视频是带背景的,它没法真正生成带透明通道的 Tim ,而它生成的这个背景呢,跟原素材的背景又有一些像素级的差异,所以直接剪切会出现“跳帧”的感觉。

因此我们在达芬奇里,手动将透明 Tim 给它真正变透明,就像下图这样,我用蒙版把 Tim 圈出来,加了一个透明通道。

你可以简单理解为这里又手动“抠”了一下 Tim:

图片[76]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这样,咱们第三段的效果就总算做好了🎉,来瞅瞅感觉:

图片[77]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

04

 第四段

接下来第四段,开始上难度了,整个场景变成大峡谷:

图片[78]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

Tim 的原话是:“Hey,帮我把背景变成大峡谷怎么样?”

那么最简单粗暴的呈现方式,就是直接变化背景,比如你看,这是我一开始做的效果:

图片[79]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

或许你跟我的想法一样:这样不够酷

因为在上面一段中,观众已经知道了“背景可以变”这件事,那么如果在这里还是固定机位,就算背景变出花儿来也不会再“触动”观众了。

考虑到这点,我最终想到了一个相对好的逻辑:镜头拉出,观众才发现之前的背景其实是在一个影棚里,而这个影棚,坐落在一座峡谷中。

就像这样:

图片[80]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

其实这个逻辑和呈现效果也还行,对吧,但综合来看,这个效果却不可行:

因为下一段是 Tim 要变成猪猪侠等各种人物形象,也就是说,镜头拉出来之后,Tim 还需要再次入画,并且要站在一个合适的位置和构图,以便让 AI 去做接下来“人物变化”的效果,这是从“技术”的角度考虑的。

此外,从“感受”的角度来考虑,我们还得让“ Tim 重新入画”这件事变得合理且自然。

像这些考虑,其实就是所谓的“调度”,包括摄影机调度和演员调度。

而导演的核心职责之一就是设计这个调度,让技术可落地、让感受舒服,甚至你要是再往上翻一番,还得考虑如何让情绪到位、让节奏舒适。

图片[81]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

所以与节目导演 Aki 探讨之后,我们决定:

让演员(Tim)不要走动,摄影机也不要做范围过大的运动,而是轻轻一甩,摇到已经站在旁边的 Tim。

直观来看,呈现效果如下:

图片[82]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

但这样还远远不够。

因为这时候,我遇到了全片最最最最难解决的一个问题。

逻辑复杂到我光讲清楚都会影响阅读体验,所以我放个图,感兴趣的自己琢磨,不感兴趣的直接跳过:

图片[83]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[84]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

总之,虽然问题存在,但该测试还是得测试,这是最终效果比较好的一条:

乍一看似乎还行,但仔细一看,尤其是说话的时候,Tim 就变得很怪,大概就是这么个意思。

所以在节目上线的前几天,我们导演本着对作品精益求精的态度,做出了一个惨绝人寰的决定:

放弃 AI,这段的 Tim ,用实拍来合成进去。

图片[85]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

总之,重新组装好被我砸散架的电脑,我单独生成了一段不含 Tim 的空背景素材,以便于给他们来合成:

图片[86]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这是他们的实拍合成效果,有一说一,确实比 AI 好得多:

图片[87]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

其实,从这里也能看得出来,仅从技术的角度而言,当前阶段还是有很多 AI 无法做到的事情的

如果非要让我向各位打个比喻来形容的话,我会觉得当下 AI 的状态很像是在“捡石头”。

以往如果我们想要一块长得像五角星的石头,我们可以去河边捡一块差不多的石头,回来把它雕刻成你想要的五角星,虽然费力,但你想要多大的、什么材质的五角星,都可以

而现在,有这么一台自动售卖机,它里面藏着各种形状的、已经被精心挑选过的石头,你不需要再去河边找石头、也不需要再花时间雕琢,按一个按钮,它就可以给你吐出一块精美的五角星

但注意,那只是一颗看似精美的、五角星形状的石头而已,而不是那个宽度 2 厘米 、厚度 2 毫米、重量 10 克的,刚刚好可以镶嵌进项链的那颗石头。

所以你不能说这个售卖机不好,毕竟它以很便宜的价格和很快的速度,给了你一块漂亮得可以拿得出手的石头,甚至比很多手工雕琢还要漂亮的多,这么漂亮的石头甚至值得向全世界展示。

但你也不能说这个售卖机颠覆了一切,毕竟很多时候,我们需要的是一根浑然一体的、独一无二的、一切都刚刚好的宝石项链

图片[88]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

对了,“精品石头售卖机” 只是我的一个比喻。

现实中,这个机器吐出来的是个石头、还是个粑粑,我也拿不准,不信你看看这个:

扯远了,言归正传,经过实拍“救场”后,上面那段就 OK 了🎉。

05

 第五段

我们继续第 5 段,让 Tim 开始变身:

图片[89]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这段其实好做,因为上一段的结尾,我们已经特意设计成是一个偏固定机位的中近景的构图了,那么这段只需要在同样的构图下,把 Tim 变掉就好了。

那么如何让变化出来的新形象,既完美的融合进这个峡谷里,又方便我们精准操控 Tim 的变化速度呢?

很简单:保持固定机位,使每张图的背景完全一致的情况下,单独生成每个形象,然后把这些素材直接在时间线上摆到一块儿,播放起来就是“72 变”的效果了。

图片[90]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

这里我用的依然是 Runway 的 Aleph 功能,把 Tim 站在峡谷中的这几秒上传给 Runway,然后告诉它:“把画面中的男人换成 xxx ”,它就能给你吐出来一条换了人物的新视频了⬇️

图片[91]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

接着我们在剪辑时间线上,将各种人物摆在一起进行一个“快剪”,必要的剪切点再加上“淡化过渡”之类的转场就可以了:

图片[92]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[93]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

至于再往后,变成猪猪侠和蝙蝠侠的部分,技术上其实没什么可说的,只需要将上面最后一个人物的结尾帧,当做这段的起始帧,用“首尾帧功能”,加上“先变成蜘蛛侠再变成蝙蝠侠”的提示词就可以了:

图片[94]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

技术的底层逻辑确实不难,但由于镜头运动、和变化效果还是比较复杂的,所以要控制的比较精确的话,还得下点功夫。

核心工作在于抽卡、优化提示词、抽卡、优化提示词、继续抽卡... ...,你看我抽的卡 ⬇️

图片[95]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

反正一波操作后,我们终于把最难的几个部分,都搞定了🎉:

图片[96]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

 

胜利在即!

 

06

 第六段

 

接下来第 6 段,我们就需要想个办法,从当前的“蝙蝠侠”顺利过渡到结尾的“银河列车”:

图片[97]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

按照 Tim 的台词,他说:“不需要任何人花心思工作,你只要说就好了”,所以导演想要一个 Tim 在敲电脑的镜头,其实就是让 Tim 扮演那个“随口一句话就能生成银河列车”的演员。

这个镜头设计本身很合理,但从前后衔接的角度来看,如何从蝙蝠侠的尾帧,合理的转场到 Tim 敲电脑的首帧呢?

最简单的方式是再做一次变身,直接从蝙蝠侠变身为 Tim。

但你知道的,影视飓风的企业文化是“讲究”,而前面我们变过好多次身了,这里再变的话就有点无聊了。

还有种方式是:镜头从蝙蝠侠往后拉,接着从电脑屏幕里无缝拉出来,呈现出一种“蝙蝠侠其实是电脑屏幕上的画面”的效果。

这似乎是一个好办法,但这段的结尾是电脑屏幕上出现银河列车的画面,镜头往电脑屏幕里推。

所以你刚从屏幕拉出来,又往屏幕里面推进去,就有点傻,而且很难大范围展示 Tim 所处的环境,想象一下,摄影机从屏幕里拉出来之后,绕着 Tim 转一圈,再钻进屏幕里,想想就有点鬼畜。

图片[98]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

那最后我的转场方案各位也看到了,就是从 Tim 的瞳孔中拉出来,再转个 180 度反打电脑屏幕

图片[99]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

实话讲,这个处理手法有点老套,像很多片子都是动不动就穿梭一下眼球,把眼球搞得跟冬天的棉裤似的,谁都想穿一下。

但仔细一想,其实也合理,因为在当前的设定下, Tim 一直坐在这个电脑前操作 AI,前面的所有镜头都是他用 AI 生成的,包括那个蝙蝠侠,所以屏幕上的内容倒映在了他的眼球上,然后我们很自然的从眼球中过渡出来。

是不是我这么一说,你就觉得没那么老套了?

你以为这是我独具匠心的的设计?

不是,我就是没招儿了。

图片[100]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

最后看看这颗镜头到底是怎么实现的吧,先说结论

首尾帧做不到这个穿梭眼球的效果,虽然理论上能做到,但经过无数次实验,反正我没能呈现出很好的效果。

要么眼球穿梭不丝滑,要么 Tim 完全不像本人。

仔细想想这个道理,这段的首帧如果是眼球,那么就没有 Tim 的形象作为参考了;首帧如果是 Tim,那么就没有穿梭眼球的效果了;用“多帧生成”的功能效果也不好。

所以在这种情况下,你猜最后是我上面提到的哪个功能救了场?

VEO3 的参考生视频。

官方叫法是这个:“素材转视频”

图片[101]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

简单说,就是不以你的上传的图片为基准直接生视频,而是只“参考”你的图片,比如其中的氛围、人物的长相等,除了参考内容外的其他部分,就由提示词来操控。

像下图这样,我上传了一张中景的 Tim、以及一张 Tim 脸部的特写,让 AI 能够精准参考 Tim 的长相,至于运镜、场景内的元素、人物的动作等,全部靠写提示词来指挥操控:

图片[102]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[99]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

如你所见,效果还不错,但深究的话,你或许会发现两个问题:

1 、你又没上传蝙蝠侠的图片,那开头的眼球穿梭,是怎么能无缝跟蝙蝠侠连接在一起的?

2 、结尾你也没上传银河列车的图片,结尾的电脑屏幕又怎么跟银河列车连在一起的?

图片[104]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

我给你看看这条素材本来的样子,你就懂了:

没错,其实我用 AI 生了一个绿幕版的电脑屏幕,然后人工把屏幕里显示的内容给他合成进去

这样做的目的是,我们可以精准的操控电脑屏幕中显示的界面、中文、以及动效。

因为如果你要纯靠提示词,来控制 “电脑屏幕显示的内容” 这么细的细节的话,那可有的玩了,估计头都能给你干秃,而且众所周知,大多数 AI 模型对中文的支持并不好。

这里再次印证了我上面“捡石头”的那个例子,在某些情况下,AI 还是没法独当一面的。

这是结尾,那开头蝙蝠侠到眼球转场的效果呢?

其实也是人工做的,有点繁杂,我就不文字描述了,如果你对细节感兴趣,可以点击下图仔细研究一波:

图片[105]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

看起来有点麻烦,实际上确实有点麻烦。

如果你了解 AIGC 比较多的话,或许有见过,像 higgsfield 这种平台,其实是有专门的“眼球穿梭”的预设效果的,就跟 AE 插件似的,你直接上传一张图片,它就能自动帮你实现从眼球里穿出来的效果,而且效果还不错。

那为什么我还要吭吭哧哧的手动来做呢?

还是那个原因:单做一个效果,很好实现,但要衔接上下文、控制节奏、运镜丝滑,很多技术方案就不可行了。

反正相信我,我的最终方案大概率是当下情况的最优解。

图片[106]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

至此,我们来看看已经完成的内容:

图片[107]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

哇 🎉!

就剩最后一段了,还好,导演告诉我一个振奋人心的消息:

最后一段 AI 与 CG 摆在一起对比展示的效果,他们用实拍来呈现:

拍的真的很不错对吧,我一下子都没分辨出来,还问导演这到底是实拍的还是 CG 做的。

图片[3]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

总之,最后让我们再来看一遍这一整段的效果,对了,这次我们来看弹幕版的,满屏的问号和卧槽,让我觉得前面所有的工作和“完美主义”的坚持,都变得无比有意义了😭!

图片[109]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[110]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

图片[111]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News


感谢你能看到这里,也再次感谢 Tim 和飓风团队、导演、文君,给予我的信任❤️。

能参与进这样有意义的节目,真的很开心。

这两天我还在加班加点的制作本幕后的视频版本⬇️

图片[112]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

到时候会上线到各个视频平台,各位想看视频的可以去支持一波(一万四千多个字,,,写到这里的我还不知道视频得有多长。。。)

感谢你的点赞、转发、和关注。

我是大羽,下期见!

(剧透一波,最近我又入围了海南岛国际电影节,其中中的 AIGC 创作黑客松了,看样子,又要有好玩的片子可以跟大家分享了!!!)

图片[113]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News
图片[114]-影视飓风的AI高能片段,是怎么做的?【万字复盘!AIGC制作幕后】-AI Express News

<

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享
dywAI的头像-AI Express News
评论 抢沙发

请登录后发表评论

    暂无评论内容