大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024-76页

大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024-76页_第1页
大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024-76页_第2页
大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024-76页_第3页
01231.1大语言模型技术发展概述语言建模(LanguageModel)可分为四个发展阶段,分别为统计语言模型、神经语言模型、预训练语言模型、大模型语言模型。其中最早的统计语言模型基于统计学习来预测单词,而后演进成为神经语言模型基于神经网络方法预测单词。在神经网络语言模型中,通过使用神经网络,将单词映射为向量作为网络模型的输入来估计单词序列的概率。随着注意力机制被引入,注意力层(AttentionLayers)在文本中建立了词之间的相关性,使得模型在生成下一个单词时,考虑到整体语句的意思,从而建立了Transformer架构,提升了模型理解和生成语言的能力。但随着参数的增加,需要大量人力来标注数据,因此OpenAI提出了预训练语言模型(GenerativePre-TrainedTransformer),通过无监督学习在大规模无标签语料库上进行预训练任务,在预训练中模型学会了基于前一个单词预测后一个单词。除此之外,模型还可以针对特定的任务基于更小的数据集进行微调,提升在特定领域的性能。基于此,通过不断叠加数据增加模型参数规模以及优化模型的提示工程,不仅可以解决更复杂的任务,同时也拥有了更强大的文本涌现能力1,从而演进成为大模型语言模型(以下简称“大模型”)。大模型浪潮爆发后,国内各企业纷纷推出自研大模型,大模型应用迎来了蓬勃发展的阶段。据测算,我国2030年基于大模型的生成式人工智能市场规模有望突破千亿元人民币。与此同时,国内垂直行业领域的大模型也成为各个行业头部企业未来的发展趋势之一,其中前沿的垂类大模型涉及领域包括媒体影视、电商、广告营销、游戏、医疗、教育1Zhaoetal,《ASurveyofLargeLanguageMod...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

发表评论取消回复

参与评论可获取积分奖励  
悟空文库+ 关注
实名认证
内容提供者

悟空文库-海量文档资源下载,专业/极致/认真

确认删除?
回到顶部