Sora问世，视频创作领域迎来“iPhone时刻”。2023年2月15日，OpenAI发布视频生成大模型Sora，通过文本指令，Sora可以直接输出长达60秒的高清视频，包含高度写实的背景、复杂的多角度镜头以及富有情感的多角色叙事，更为可贵的是，Sora生成的视频表现出对于真实世界物理常识的深刻理解。部分媒体报道惊叹——“Sora之后，现实将不再存在”。从本轮AI应用端发展实践来看，以文本创作（小说、剧本）、图像创作（绘画、平面设计、摄影）、视频创意（广告、短视频、传统影视、游戏）为代表的创意创作领域因其高容错率、高投入度，在AI浪潮之初就被市场广泛认为将会成为最先被AI深刻赋能的产业之一；从本轮AI模型发展演绎来看，以ChatGPT为代表的文本创作以Midjourney、StableDiffusion为代表的图像创作以Runway、Sora为代表的视频创作的发展速度无疑是极为惊人的。我们认为，从文字到图像到视频，AI内容创作的信息升维越来越考验模型的创作效率与生成结果的稳定性（早期版本的Midjourney存在生成时间长、生成结果违背物理常识或者“AI感”明显的问题；RunwayGen-1/2也存在生成视频时长较短且生成视频逻辑连贯性较弱等缺陷），但正如MidjourneyV5/6已逐步广泛实现多行业的商业化落地，我们认为Sora的问世有望推动着视频创作领域的“iPhone时刻”到来。Sora取法Tokens文本特征标记，是基于Patches视觉特征标记的DiffusionTransformer模型。OpenAI研究团队从LLM中汲取灵感，认为LLM范式的成功在一定程度上得益于Tokens的使用，故而通过将视频信息分解为带有时空特征的Patches训练了DiffusionTransformer模型。从训练角度而言，基于...
发表评论取消回复