投资逻辑：目前大模型能力仍处于EmergingAGI水平，就模型成熟度而言，语言大模型>多模态大模型>具身智能大模型。根据DeepMind的定义，AGI应能够广泛学习、执行复杂多步骤的任务。模型的AGI水平可分为Level-0至Level-5共6个等级，现阶段大模型在处理任务的广泛性上还有很大提升空间，即使是国际顶尖的大模型也仍处于Level-1EmergingAGI阶段。不同类型大模型成熟度差异较大，目前大语言模型能力相对完善，落地应用场景丰富，底层技术路线较为成熟；多模态大模型已经能够面向B\C端推出商业化产品，但细节优化空间较大；具身智能类大模型还在探索阶段，技术路线尚不清晰。现阶段讨论AGI能力提升仍需聚焦于多模态大模型的训练和应用。目前学界和业界重点关注ScalingLaw的有效性，以及模型算法的可能改进方向。ScalingLaw仍有深入空间。根据OpenAI研究，随模型参数量、数据集规模、训练使用的计算量增加，模型性能能够稳步提高，即ScalingLaw。从训练样本效率、训练时长、各类资源对模型的贡献维度来看，目前ScalingLaw仍是提高模型性能的最优方法。OpenAI测算在模型参数量扩展到88万亿及之前，ScalingLaw依旧有效，则中短期仍可延续此路线进行训练。模型骨干网络架构尚未演变至终局，微调及稀疏结构成为提升模型性能的重要方法。目前主流大模型均采用Transformer作为底层骨干网络，但针对编码器\解码器选择、多模态融合、自注意力机制等方面的探索仍在持续推进。微调使用更小的数据量、更短的训练时间，让模型能够适应下游任务，以降低边际落地成本。以MoE为代表的稀疏结构通过分割输入任务并匹配专家模型，能够提高模型的整体性能...
发表评论取消回复