电子行业AI+系列专题报告：边缘AI，大语言模型的终端部署，
涨老师
2023-06-01 08:20:31
作者：胡剑，胡慧，周靖翔大模型参数量级飞涨，相应训练集需同比提升。李开复定义AI 2.0时代的特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前大语言模型参数均在十亿量级以上。同时，Deepmind研究表明，模型参数的上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此，大模型参数在十亿级以上发展并受限于优质数据集的增速是AI发展的必然趋势。大模型增长挑战芯片算力和内存，无法实现完整端侧部署。大模型训练和推理的三大瓶颈是算力、显存和通信，根据我们的测算，算力方面GPT-3训练所需算力为121528 TFLOPS，若30天内完成，需要1558颗A100。内存角度，GPT-3训练至少需要3.2T内存，至少44张A100，推理任务则主要受显存限制，需要4至8张A100，因此完整的模型无法在终端上离线运行。优化后大模型可在旗舰机型芯片上运行，AI落地有望推动新一轮换机潮。AI部署本地化具有必要性，优势包括更低的延迟、更小的带宽、提高数据安全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张80G的GPU，但是通过量化、知识蒸馏、剪枝等优化，大模型可以在手机本地实现推理。高通团队使用骁龙8 Gen2部署Stable Diffusion，实现本地运营15秒出图，证明了大模型本地化运行的可能，也体现出目前手机芯片的局限性。根据IDC数据，1Q23全球手机销量中主处理器频率超过2.8GHz的占比36%，价格在1000美金以上的占比13%，即旗舰机型占比较低，随着AI大模型在边缘端落地，有望推动新一轮换机潮。以大语言模型为核心，以语言为接口，控制多AI模型系统，构建“贾维斯”式智能管家。我们认为大语言模型不仅可以实现对话、创意，未来也有望作为众多复杂AI模型的控制中心，同时也是接受用户指令的交互窗口，实现《钢铁侠》电影中“贾维斯”式综合智能管家。23年5月，Google推出PaLM2轻量版Gecko，其可在最新的旗舰机型上离线运行。同月，OpenAI首次推出ChatGPT移动端应用，各家大厂正式进入AI模型移动端创新、竞争时期。智能音箱、全屋智能中控屏、手机、MR等均有望成为这一时代的交互入口。产业链相关公司：半导体：晶晨股份、瑞芯微、全志科技、北京君正、兆易创新；消费电子：传音控股、歌尔股份、福立旺、闻泰科技、创维数字。风险提示：AI技术发展不及预期；边缘端芯片发展不及预期。
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
全志科技
S
兆易创新
工分
1.37
转发
收藏
投诉
复制链接
分享到微信
有用 0
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
评论（1）
只看楼主
热度排序
最新发布
最新互动
- 1