大型语言模型行业图谱-52页

研究报告（2024年第3期总第35期）2024年01月26日大型语言模型行业图谱1科创金融研究中心朱雅姝刘碧波【摘要】行业图谱研究是本中心科技成果转化研究的一项子课题，目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度，从而助力科技成果转化效率的提升。行业图谱研究将以系列形式展开，选取国家战略重点科技领域的商业应用场景逐一进行，时效性较强。本报告为行业图谱研究之计算机科学系列中的课题：大型语言模型（含ChatGPT）行业图谱。ChatGPT的成功引发了全球对大型人工智能模型的浓厚兴趣，加速了学术界和商业界的发展。自2017年起，美国在战略层面高度重视人工智能，将其应用于经济、文化和社会福1感谢资本市场与公司金融研究中心的实习生许喜远同学对本报告的助研工作。许喜远同学是清华大学医学院2022级博士。祉等众多领域。到2023年，中国也迅速跟进，采用自主研发的技术平台取得领先地位，显示出ChatGPT及相关技术已成为未来国家战略支持的重点。ChatGPT的发展可分为五个研究阶段，从初期的专家系统演变为基于深度学习和大数据的方法。核心变革之一是GPT-3模型，它凭借大规模参数和创新的“提示语”概念，显著提升了理解和生成自然语言的能力，并在情感分析、机器翻译等多个领域得到应用。技术上，ChatGPT利用基于GPT-3.5的人类反馈强化学习，实现了语言生成能力的显著提升，增强了模型对新指令的适应性，超越了仅依赖于参数量增加的限制。成功的关键因素包括OpenAI的战略转型、技术突破、巨额资金投入、强大算力支持以及顶尖团队，共同构成了ChatGPT的成功基础。ChatGPT以其基于GPT-...