华泰证券:计算机行业专题研究-GPT系列经典深度学习算法拆解-韭研公社

登录注册

华泰证券:计算机行业专题研究-GPT系列经典深度学习算法拆解

侃侃同学

全梭哈的散户

2023-03-13 08:08:29

深度学习是基于神经网络的机器学习。深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分，主要原因是神经网络模型可以使用误差反向传播算法，较好地解决了深度学习中的贡献度分配问题。从历史发展看，神经网络诞生于1943年提出的MP模型，深度学习概念由Hinto于2006年正式提出。经过多年的发展，问世了如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、生成对抗网络（GAN）等经典的深度学习算法。2017年，Transformer架构的出现，再次开启了大语言模型快速发展时期。本报告聚焦2017年之前出现的经典深度学习算法，并进行深度拆解和剖析。