ChatGPT的挑战者，大模型的“安卓时刻”
择时择势
2023-03-31 19:59:03
一、开源“大语言模型”龙头：Meta-LLaMA。1）开源大语言模型龙头：LLaMA模型发布，可能会加速大型语言模型的开放；2 ） LLaMA开发团队：Meta AI首席AI科学家为Yann LeCun；3 ） Meta大模型演变：Meta迄今为止开源过三个大模型（OPT、OPT-IML、LLaMA）；4 ） LLaMA的项目地址&预训练数据集：在发布时，Meta表示LLaMA可以在非商业许可下提供给政府、社匙和学术界的研究人员和实体工作者；5 ）开源模型比较：开源模型中LLaMA的使用量位居前列，且有大量基于LLaMA的项目出现；6 ）微调版LLaMA—Alpaca：指令遵循语言模型Alpaca羊驼，是Meta开源的LLaMA 7B模型上进行微调得到，产生了以低得多的成本（不到500美元）获得的52K指令。
二、ChatGPT vs LLaMA：参数&效果。1 ）模型参数：LLaMA-13B的性能优于GPT-3，体积却小了10倍以上；2 ）算力成本：LLaMA模型在同等规模下训练算力需求更大,开源后有更多的开发者可以在更小的显卡上更快地运行使用LLaMA。3 ）效果比较：“常识推理”略优于GPT-3，语言理解能力高于GPT-3弱于PaLM，社会偏见评测上，LLaMA模型与另外两个模型相比略胜一筹，编程能力和和ChatGPT还有一些差距。
三、安卓&SD经验:开源如何提高大模型水平。1）大语音模型开源后的开发方向：一般有两种开发方向，模型结构调整和在模型基础上微调；2）模型基础上微调分为两种情况：微调和领域数据微调；3 ）复盘iOS和安卓的竞争：安卓系统凭借开源，被诸多手机厂商所采用；4 ）Stable Diffusion开源效果：StableDiffusion的开源属性使得用户自发丰富模型生态，使得大量用户进入。
四、投资建议：
1、大模型：
1.1大模型，随着开源的成熟，大厂均有望通过迭代做成自己的大模型（通过开源模型进行调整或者数据包）；百度、腾讯、360、昆仑万维（之前就参与到开源模型领域）
1.2大模型需要的训练要素
1.2.1算力需求，大模型门槛降低后，涌入大模型赛道的公司有望迎来井喷：芯原股份（ GPU设计）、寒武纪和景嘉微
1.2.2数据需求：中国科传（高质量科学数据，参股万方）、海天瑞声
2、大模型入口：
2.1 AI入口型应用：
2.1.1海外有硬件产品，能接ChatGPT，类似于Siri接入ChatGPTAPI接口。智能音箱标的有百度、小米、国光申器、漫步者；目前是白牌最好的时间，海外巨头的产品不会接入ChatGPT。
2.1.2软件产品：有声诺物。中文在线、掌阅科技
3、应用：
3.1 AI娱乐游戏应用：海外有软件产品能接ChatGPT，类似汤姆猫接入ChatGPT。游戏出海公司标的有三七互娱、宝通科技、巨人网络、汤姆猫、盛天网络、神州泰岳、姚记科技、吉比特、恺英网络和完美世界；数字人标的：蓝色光标、三人行、捷成股份。
3.2 AI办公类应用：万兴科技、彩讯股份（邮箱）、福昕软件（ PDF）、金山办公（WPS）
五、风险提示：
技术发展不及预期，版权风险，法律及道德风险
二、ChatGPT vs LLaMA：参数&效果。1 ）模型参数：LLaMA-13B的性能优于GPT-3，体积却小了10倍以上；2 ）算力成本：LLaMA模型在同等规模下训练算力需求更大,开源后有更多的开发者可以在更小的显卡上更快地运行使用LLaMA。3 ）效果比较：“常识推理”略优于GPT-3，语言理解能力高于GPT-3弱于PaLM，社会偏见评测上，LLaMA模型与另外两个模型相比略胜一筹，编程能力和和ChatGPT还有一些差距。
三、安卓&SD经验:开源如何提高大模型水平。1）大语音模型开源后的开发方向：一般有两种开发方向，模型结构调整和在模型基础上微调；2）模型基础上微调分为两种情况：微调和领域数据微调；3 ）复盘iOS和安卓的竞争：安卓系统凭借开源，被诸多手机厂商所采用；4 ）Stable Diffusion开源效果：StableDiffusion的开源属性使得用户自发丰富模型生态，使得大量用户进入。
四、投资建议：
1、大模型：
1.1大模型，随着开源的成熟，大厂均有望通过迭代做成自己的大模型（通过开源模型进行调整或者数据包）；百度、腾讯、360、昆仑万维（之前就参与到开源模型领域）
1.2大模型需要的训练要素
1.2.1算力需求，大模型门槛降低后，涌入大模型赛道的公司有望迎来井喷：芯原股份（ GPU设计）、寒武纪和景嘉微
1.2.2数据需求：中国科传（高质量科学数据，参股万方）、海天瑞声
2、大模型入口：
2.1 AI入口型应用：
2.1.1海外有硬件产品，能接ChatGPT，类似于Siri接入ChatGPTAPI接口。智能音箱标的有百度、小米、国光申器、漫步者；目前是白牌最好的时间，海外巨头的产品不会接入ChatGPT。
2.1.2软件产品：有声诺物。中文在线、掌阅科技
3、应用：
3.1 AI娱乐游戏应用：海外有软件产品能接ChatGPT，类似汤姆猫接入ChatGPT。游戏出海公司标的有三七互娱、宝通科技、巨人网络、汤姆猫、盛天网络、神州泰岳、姚记科技、吉比特、恺英网络和完美世界；数字人标的：蓝色光标、三人行、捷成股份。
3.2 AI办公类应用：万兴科技、彩讯股份（邮箱）、福昕软件（ PDF）、金山办公（WPS）
五、风险提示：
技术发展不及预期，版权风险，法律及道德风险
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。
S
金山办公
S
寒武纪
S
中文在线
工分
1.27
转发
收藏
投诉
复制链接
分享到微信
有用 1
打赏作者
无用
真知无价，用钱说话
0个人打赏
同时转发
暂无数据