ChatGPT-真格基金分享

ChatGPT林惠⽂@真格基⾦daimajia.com体验ChatGPT与GPT-3的对⽐与GPT-3的对⽐与GPT-3的对⽐强烈建议体验https://mirror.xyz/0x6E12A28086548B11dfcc20c75440E0B3c10721f5/9O9CSqyKDj4BKUIil7NC1Sa1LJM-3hsPqaeW_QjfFBcChatGPT提升的核⼼点•敢于质疑不正确的前提提升⼈类意图的⼀致性•主动承认错误和⽆法回答的问题•⼤幅提升了对⽤户意图的理解连续多轮对话能⼒•⼤幅提升了结果的准确性提升的原因加⼊了基于⼈类的反馈系统ReinforcementLearningfromHumanFeedback丛问题库⾥抽取问题什么是⾹蕉？采样问题，并列出所有什么是⾹蕉？写个⽔獭的故事模型和标记者的回答⾹蕉是⼀种⽔果，⾹蕉是芭蕉科、芭从⾹蕉树….蕉属植物...标记者（Labeler）书⾹蕉，从属性来⾹蕉为芭蕉科植物写期待的回复说，与草莓、葡⽢蕉的果实。原产萄、猕猴桃是亲…亚洲东南部…通过模型⽣持成初步回答⾹蕉是⼀种⽔果，从⾹蕉很久很久以前...续树….输⼊奖励模型得到标记者（Labeler）排分数和优化参数优序所有标记着答案化参数迭被标记的数据⽤来调优代GPT-3.5⽤排序答案训练奖励模型往前捋捋GPT-1GPT-2GPT-3chatGPTInstructGPT2018201920201.17亿参数15亿参数1500w美⾦20221750亿参数再往前捋捋DecoderGPT-2GPT-3chatGPTInstructGPTGPT-1BigBirdTransformerT5BARTM2m-100ALBERTELECTRA2017BERTRoBERTaXLM《AttentionisAllYouNeed》Encoder继续再往前捋捋CNNTransformerGPT-1GPT卷积神经⽹络T5B2017开始RNNBERTRoB循环神经⽹络1990开始-2006突破-2015繁荣继续再往前捋捋基于规则机器学习CNNTransformerGPT-卷积神经⽹络T52017开始RNNBER循环神经⽹络1950开...