混合AI才是人工智能的未来！—边缘计算的预期差

 

一．巨头动向

1.高通转型边缘计算公司！

高通前段时间宣布正在由通信公司过渡到边缘计算公司（edge company）并发布白皮书《混合AI是AI的未来》，详细阐述了云端和终端分布式处理的混合AI才是AI的未来，其核心在于进一步增强边缘计算能力，使得100亿或更高参数的模型在终端上运行成为现实，最终实现AI大模型在终端的落地，助力AI大模型实现低成本、低能耗、高安全和个性化。

未来，物联网模组将承载高通的边缘算力，为全世界开发者带来易用，高性价比的终端计算能力，赋能万物AI互联，真正成就AIOT时代。硬件龙头已经在构建“混合AI”的蓝图！

2.Meta发布开源Llama 2模型，边缘AI落地加速！

Meta近期发布新一代开源大模型Llama 2模型，随后高通和Me­ta发布合作公告：将在2024年推出 “手机版Ll­a­ma 2”！

相较Llama 1模型，Llama 2模型训练token数提升至2万亿，上下文长度限制翻倍，包含70亿、130亿、700亿参数模型版本。Llama 2在推理、编码、精通性和知识测试等测试中表现优异，优于其他开源语言模型。

 

由此可见混合AI已成大厂布局重点，未来有望加速落地！

二．混合AI的应用前景

1.离线支持

手机：首先我们并不是一直都能上网。当我们离线飞行时，如果能有一些功能较弱但仍然智能的AI助手来帮助我们是不是好很多呢？

机器人：其实目前很多机器人的运作环境许多都是水底，矿山等无法联网的环境，而且需要对当前环境执行目标检测，并做出实时反映，必须得用边缘端AI芯片进行推理！

元宇宙：大家熟悉的MR, VR设备，用户在交互操作时，相关硬件需要完成语义分割，目标检测，虹膜识别，姿态估计等深度学习任务，而且需要实时性，不然严重影响用户体验，这时候还得是边缘端AI芯片发挥作用！

2.客户端-服务器混合使用

让不同的人工智能组件协同工作。在本地卸载部分计算，与云上运行的模型协作。或根据我们所处的环境，在两者之间无缝地移动计算！

不仅可以减轻云端的计算压力也能更充分提高用户体验！

举两个例：

1.虽然目前手机可以使用云端运行的chatgpt等服务，但使用过的同学应该可言发现，不仅有时延，而且也不能调动手机里应用的功能及插件。

未来手机端的AI助手还得是终端独立推理或者与云端大模型协通计算。这样不仅能保护个人资料的隐私也能充分调动手机里的各种APP！

2.近期爆火的AI应用，妙鸭相机生成图片的等待时长需等待十几个小时才能出片。这款大模型其实并不复杂，美格智能基于高通骁龙800平台的自研算力模组上已经能成功运行文生图大模型Stable Diffusion。

此时若能把终端的算力利用上，减少用户等待时间。用户体验是不是好很多呢？

边缘芯片：芯原股份、乐鑫科技、恒玄科技、中科蓝讯、炬芯科技、晶晨股份、瑞芯微、全志科技

边缘模组：广和通、移远通信、映翰通、美格智能、移为通信