前两天世超不是刚写了 Runway 涂一涂就能动的功能么,没想到这热乎劲还没过去,就又有新产品来炸场了。
这次的主角,是一个名叫Pika 的视频生成模型。
这家公司今年四月才成立,别看它初出茅庐,它已经融资到5500 万美元,连 OpenAI 的科学家都出来开启了夸夸模式。
甚至其中一个创始人爸爸的上市公司,还在 Pika 的爆火下涨停了,真就父凭女贵。。。
世超也闻着味儿,直接去了他们的官网,想一探究竟。
结果,他们的宣传视频,上来就把我给唬住了。
它除了丢一张图片进去就能生成一段视频之外。
还能靠一两句提示词就生成一个视频。
比如让它生成一个在太空里讲话的 3D 动漫的老马。
这脸型、这神态,估计是连马斯克本人看到都会直呼牛 X 的程度。
丢段视频进去, Pika 也能根据提示生成新的内容。
像演示里,丢个骑马小伙的剪影视频进去,根据提示词就能生成对应的风格。
并且把现实风、 3D 卡通风、像素风各种风格拼接在一起后,之间的切换无比丝滑,整个过程里骑马的动作丝毫没有变形。
甚至这个 Pika 已经能直接对视频进行局部修改了,指哪打哪。。。
只要鼠标轻轻拖拽一下,框出视频里要修改的元素,分分钟就能给小姐姐来个换装,顺便给黑猩猩带个墨镜。
有一说一,就上面那些演示的功能和效果,几乎可以把一大部分视频生成 AI 吊起来打了。
但,上面这些官方给出的演示视频,大家 dddd 。
实际和演示的有哪些差距?老样子,世超先替你们测评一波。
现在正式网页版的还得排队,我们只能先在 Discord 社区里体验一下 “ 阉割版 ” 的,只有文字生成视频和图片生成视频两大功能。
打开 Discord 里面的 Pika 社区后,整个界面的主体就是入门介绍了,左边有个 “ CREATIONS” 的下拉入口,里面的 10 个生成入口,随便进一个都可以体验。
用的时候也很简单,打个“ / ” ,会自动弹出后缀, Pika 的主要两大功能就是 /animate ( 图片生成视频 )和 /create ( 文字生成视频 )。
选择模式之后,就跟用 ChatGPT 一样,打字或者输入图片讲需求就行了。
虽然这个 Pika 不像 Runway 有专门的参数调节栏,但想要调节参数它也是可以的,直接加后缀就行。
并且这个 Pika 能调节的参数也不少,这次新发布的功能就有个调节镜头的选项。
像什么放大画面、缩小画面、上下左右移动、各种方向旋转……都能调,就跟当导演一样。
其他的参数还有帧数、画面变化的幅度、视频比例等等,也都是在提示词后面加个 “ - ” 说要求。
了解完参数,就能直接开玩了,世超先试了试图片生成视频的功能,丢给了它一张正在下雪的图,大概等个一分钟左右就好了。
效果看起来也还不错,不过 Pika 这个体验版一次最多就只有 3 秒,有点意犹未尽的感觉。
接下来再丢个整个上次用 Runway 试过的经典梗图,虽说 Pika 的画面是糊了点,但就动作连贯性来说,它还是略胜一筹了,起码没当街表演换装,而且走路的节奏也很正常。。。
Pika ( 上 )和 Runway ( 下 )效果对比
不过也有翻车的时候,还是上次试过的一个案例,让下面这位长发美女的头发飘逸起来, Runway 效果还算不错。
但 Pika 这边就不太对劲了,她头发不飘起来我都还不知道里面竟然还能藏个人头,好好的一张图立马变鬼片。。。
Pika ( 上 )和 Runway ( 下 )效果对比
世超还在提示词后面加了个 “ -camera rotate clockwise ” ,试了试 Pika 这次新出的 “ 镜头控制 ” 参数,让画面顺时针旋转起来。
乍一看还算不错,但遗憾的是这些蝴蝶没在镜头旋转的时候扑腾两下,而且方向还转错了。
试完了图片生成视频的功能,咱们又试了下文字生成视频。
世超发现,对于一些小幅度动作或者简单动作的要求, Pika 生成的效果还不错。
比如让 Pika 生成个 1 :1 画面的猫猫睡觉视频,算是中规中矩。
但只要涉及到要四肢协调运动,或者手部细节时,那可是槽点满满了。
让一个 3D 版的马里奥跑个步,这手脚频率不同步就算了,但腿怎么还换来换去,而且一个手四指,另一个手五指。。。
还有让迈克 · 杰克逊跳个舞,前一秒还觉得这次有戏能成,结果后一秒突然长了两个小胳膊。
有趣的是,我还去扒了扒官方演示里的提示词去试,结果只能说太抽象了。
马斯克那个完全没有演示视频里的效果,大家直接看效果吧,很难评。。。
还有机器人走路的提示词,演示图是这样的:
而咱们试出来却是这个样子,虽说效果还行,但完全没演示中那味。
试了太多次没啥比较好的案例,世超又去翻了翻社区里大家生成的视频,还跑到了官方给出的优秀案例库看了看,结果发现,没啥好效果还真不是我个人的原因。
大家用 Pika 生成效果好的,大部分都是画面部分元素闪烁、或者没啥动作幅度的视频,只要动作幅度大一点,缺点就全都暴露出来了。
下面这个还是收在优秀案例库里的,小腿那边看着也都有点奇怪。。。
总的来说,就单在 Discord 上的体验来看, Pika 的效果一般,和上次在 Runway 的效果差不多,有好有坏。
不过,之后正式版 Pika 的功能还会更多,说不定到时候演示图里的上传视频,修改视频局部的功能也都能用上了。
现在回过头来看最近几个月, AI 生成视频的模型几乎都扎堆出来更新了,像是 Runway 、 Stability AI 还有 Meta 等等,都发了新的生成视频的模型。
虽然目前市面上的这些 AI ,效果看起来还达不到标准视频的水准,但只要稍微了解下 AI 生成视频的发展,就会发现,最近的这波更新进步已经是非常大了。
像前几个月用 AI 生成的视频时,连带着背景都还在不断变化,而现在,背景已经稳定多了。
这还只是短短几个月的成果,或许再过几个月,这波模型再来一次大更新,到时候的效果又会是另一番景象。