行[T业abl动e_H态ea报der告]●计算机行业2024年3月31日[Table_Title][Table_IndustryName]Sora对算力需求影响几何?计算机行业[Table_InvestRank]推荐维持评级核心观点:分析师[吴Ta砚b靖le_Authors][TablSe_orSau算mm力ar需y]求将呈指数级增长,带动算力基础设施需求。北京时间2月16:(8610)66568589日凌晨,OpenAI发布了首个文生视频模型Sora,可以用文字指令生成长达60:wuyanjing@chinastock.com.cn秒的高清流畅视频,在生成视频长度、连贯性、多镜头切换方面具备显著优分析师证书编码:S0130519070001势。本文基于大语言模型推导算力需求方法,对Sora单次训练算力需求进行推演,据相关研究推测,Sora参数规模估算在30B(待确认),如果按此参数研究助理测算,我们推演出Sora训练单次算力需求或可达到2.6×10^24Flops,相当于胡天昊GPT-3175B的8.2倍。我们认为,目前Sora还在初级阶段,仍然存在如能以:(8610)80927637准确模拟物理运动规律及场景、混淆左右方向、混淆空间细节等,但伴随Sora:hutianhao_yj@chinastock.com.cn不断迭代调优,训练数据集规模增大,未来算力需求将呈现指数级爆发式增长,持续看好上游算力基础设施投资机会。相对沪深300表现图计算机(申万)2024-3-31Sora基于DiT架构,采用Transformer替换U-Net。Sora实际上是一种基于[Table_Chart]沪深300DiT(DiffusionTransformer,扩散变换器)的模型搭建,同时采用了Diffusion与Transformer,是一种用于扩散模型的新架构。Sora受到大语言模型的启发,50%用Transformer替换扩散模型中的U-Net,通过将Transformer与Diffusion结合成为一种基于扩...
发表评论取消回复