利用LLM一站式优化投研工作：从数据、文本到观点-240820-海通证券-64页(1)

利用LLM一站式优化投研工作——从数据、文本到观点证券研究报告郑雅斌（金融工程首席分析师）SAC号码：S0850511040004马毓婕（联系人）2024年8月20日内容要点：请务必阅读正文之后的信息披露和法律声明2•大语言模型（LLM）简介•LLM模型优化日常工作效率•LLM模型赋能金融投研•风险提示请务必阅读正文之后的信息披露和法律声明3大语言模型大语言模型大语言模型(Lar(Lar(LargegegeLanguLanguLanguageageageModModModel,el,el,LLM)LLM)LLM)资料来源：海通证券研究所表：语言模型的发展历程简介语言模型模型简介与特点统计语言模型•基于统计方法——单词序列的概率分布，如N-gram模型。•模型简单但受限于固定上下文长度。神经网络语言模型（2003）•通过输入前面的n−1个词来预测当前词。•词的独热编码被映射为一个低维稠密的实数向量。Word2Vec（2013）•模型结构和NNLM基本一致，通过无监督方式学习语义知识。•训练目标为获得WordEmbedding。ELMO（2018）•使用LSTM作为编码器，自动地根据词语的上下文信息去动态调整词语的词向量。•开启了语言模型预训练的大门。BERT和GPT-1（2018）•基于Transformer结构的模型，相比其它深度神经网络的参数量有数量级上提升。•通常采用预训练微调范式，开启了预训练语言模型时代。2018年Google和OpenAI分别提出了BERT和GPT-1模型，开启预训练大语言模型时代。请务必阅读正文之后的信息披露和法律声明4大语言模型大语言模型大语言模型(Lar(Lar(LargegegeLanguLanguLanguageageageModModModel,el,el,LLM)LLM)LLM)2018年Google和OpenAI分别提出了BERT和GPT-1模型，开启预训练大语言模型时代...