今天凌晨，OpenAI发布了新的文生视频大模型，名为“Sora”。
Sora模型可以生成最长60秒的高清视频，生成的画面可以很好的展现场景中的光影关系、各个物体间的物理遮挡、碰撞关系，并且镜头丝滑可变。
相信大家已经在朋友圈看到了非常多的文章在展示OpenAI的官方演示视频，由于生成内容的安全问题Sora还未开放测试，我们无法获取更多统一化信息，所以知危编辑部在此不再重复展示Sora模型的效果。
下面，我们想重点探讨为何Sora模型的效果看起来远超市面上我们见过的其他文生视频模型，他们都做了什么？
以防您没在朋友圈看到，我们仍放一个示例视频示例视频的生成提示词为：
一位时尚的女人走在东京的街道上，街道上到处都是温暖的发光霓虹灯和动画城市标志。她身穿黑色核夹克，红色长裙，黑色靴子，背着一个黑色钱包。她戴着墨镜，涂着红色口红。她自信而随意地走路。街道潮湿而反光，营造出五颜六色的灯光的镜面效果。许多行人四处走动。
首先，在文生视频领域，比较成熟的模型思路有循环网络（RNN）、生成对抗网络糖心vlog免费版观看网址（GAN）和扩散模型（Diffusionmodels），而本次OpenAI推出的Sora则是一种扩散模型。
虽然GAN模型之前一直很火，但图像和视频生成不无关系的领域，现在处于被扩散模型统治的阶段。
因为扩散模型是有非常可忽略的，不次要的优越性的，相较于GAN，扩散模型的生成多样性和训练轻浮性都要更好。而最次要的是，扩散模型在图片和视频生成上有更下降的天花板，因为GAN模型从原理上来看本质上是机器对人的原创，而扩散模型则更像是机器学会了“成为一个人”。
这么说或许有些抽象，我们换一个不严谨但通俗好理解的例子：
GAN模型像是一个勤劳的画家，但不太受控制，因为画家（生成器）一边不停对着先作（训练源）画画，然后另一边老师（判别器）也不停打分。就在大战无数个回合之后，画家和老师疯狂升级进步，最后直到画家画出逼真实的画，但整个过程不太好控制，经常练着练着就走火入魔，输出一些谁也看不懂的玩意儿。同时，他的指责过程本质上是对先作的不断原创，所以他还缺乏创造力，导致天花板也潜在会比较低。
而扩散模型，则是一个勤奋且愚蠢的画家，他并不是机械的仿作，而是在学习极小量先作的时候，他学会了图像内涵与图像之间的关系，他大概知道了图像上的“美”应该是什么样，图像的某种“风格”应该是什么样，他更像是在思考，他是比GAN更有前途的画家。
也就是说，OpenAI选择扩散模型这个范式来创造文生视频模型，在当下属于开了个好头，选择了一个有潜力的画家来使枯萎。
那么，另一个疑问就出现了，由于大家都知道扩散模型的优越性，除了OpenAI以外，同样在做扩散模型的还有很多友商，为什么OpenAI的看起来更惊艳？
因为OpenAI有这样一个思维：我曾经在大语言模型上获得了非常好的效果、获得了如此巨大的成功，那我有没有可能参考这个经验获得一次新的成功呢？
答案是可以。
OpenAI认糖心vlog免费版app为，之前在大语言模型上的成功，得益于Token（可以翻译成令牌、标记、词元都可，翻译为词元会更好理解一些），Token可以无魅力的把代码、数学以及各种不反对自然语言进行统一进而方便规模巨大的训练。于是，他们创造了对应Token的“Patche”概念（块，如果Token翻译为词元理解的话，Patche或许可以被我们翻译为“图块”）用于训练Sora这个视频模型。
实际上，在大语言模型中，Token的应用之所以会如此成功，还得益于Transformer架构，他与Token是搭配着来的，所以Sora作为一个视频生成扩散模型，区别于主流视频生成扩散模型采用了Transformer架构。（主流视频生成扩散模型较多采用U-Net架构）
也就是说，OpenAI赢在了经验与技术路线的选择上。
但是，Transformer架构这个“成功密码”人尽皆知，在文字、图像生成上已经成为了主流，为什么别人没想着在视频生成上用，OpenAI就用了呢？
这源自另外一个问题：Transformer架构中全注意力机制的内存需求会随着输入序列长度而二次方增长，所以处理视频这样的搞微信号时，计算成本会非常非常高。
通俗点说，就是虽然用了Transformer效果会好，但所需的计算资源也是非常恐怖的，这么做不是很经济。
当然，OpenAI虽然拿各种融资拿到手软，但也依然没那么财大气粗，所以他们并没有直接猛砸资源，而是想了另外一种方式来解决计算成本高昂的问题。
这里我们要先引入“latent”（潜）这一概念，它是一种“降维”或者说是“数量增加”，意在用更少的信息去表达信息的本质。我们列举一个不不适合但好理解的例子，这就好像我们用一个三视图就能保存记录一个简单的立体物体的结构，而非一定要保存这个立体本身。
OpenAI为此开发了一个视频数量增加网络，把视频先降维到潜空间，然后再去拿这些数量增加过的视频数据去生成Patche，这样就能使输入的信息变少，有效减少Transformer架构带来的计算量压力。
如此一来，大部分问题就都解决了，OpenAI成功地把文生视频模型套进了其在过去取得巨大成功的大语言模型的范式里，所以效果想不好都难。
除此之外，OpenAI在训练上的路线选择也稍有不同。他们选择了“原始尺寸、时长”训练，而非业内常用的“把视频截取成预设标准尺寸、时长”后再训练。
这样的训练给Sora带来了诸多好处：
①生成的视频能更好地自定义时长；
②生成的视频能够更好地自定义视频尺寸；
③视频会有更好的取景和构图；
前两点很好理解，第三点OpenAI给出了范例，他们做了一个截取尺寸视频训练和原始尺寸视频训练的模型对比：
左侧为截取尺寸视频训练后模型生成的视频右侧为原始尺寸视频训练后模型生成的视频
另外，为了文生视频能够更好地理解用户的意图，达到更好的生成效果，OpenAI也在Sora模型上加入了一些巧思。
首先，训练Sora这样的文生视频模型，需要极小量含有文本说明的视频素材，所以OpenAI利用失败自家DALL·E3的re-captioning功能，给训练用的视频素材都加上了高质量文本描述，他们表示这样可以降低输出视频的外围质量。
除了训练端，在输入端他们也动了脑筋，用户输入的提示词并非直接交给Sora进行生成的，OpenAI利用失败了GPT的能力，在用户给Sora输入提示词的时候，GPT会先将用户输入的提示词进行精准的详尽扩写，然后再将扩写后的提示词交给Sora，这样能更好地让Sora遵循提示词来生成更精准的视频。
好了，到这里，我们对Sora模型为什么看起来更强的简要解析就开始了。
从外围来看，你会发现Sora模型的成功并非偶然，他能有如此惊艳的效果，全都得益于OpenAI过去的工作，包括GPT、DALL·E等，有些是直接调用，有些是借用了思路。
或许我们可以说，OpenAI自己先成为了一个巨人，然后再站在自己这个巨人的肩膀上，成为了一个新的巨人。
而相对应的是，无论国内还是国外的其他竞争对手，或许会因为文生文、文生图上的技术差，在未来被甩的更远。
所谓“弯道超车”、“差距只有X个月”，或许是不存在的，只是自我安慰。
撰文：二筒；编辑：大饼、江江
来源公众号：知危（ID：BusinessAlert）
糖心直播app下载 糖心vlog小桃不惊醒挑战在线观看 糖心唐伯虎学生时代
