AI算力的下一站—边缘推理-韭研公社

登录注册

AI算力的下一站—边缘推理

tony2001

中线波段

2023-03-03 14:39:41

高通发布在 Android 手机上部署 AI 模型的解决方案。3 月 2 日，高通中国公众号发布了全球首个运行在 Android 手机上的 Stable Diffusion 终端侧演示。高通 AI 部门演示了如何利用高通 AI 软件栈，首次在 Android 智能手机部署 Stable Diffusion 模型。该模型是一个用文字生产图片的 AI 模型，参数超过 10 亿，过去只能在云端计算集群内运行。

边缘算力有望成为推理主体。在本次实验中，高通 AI 团队从 Hugging Face的 FP32 1-5 版本开源模型入手，通过量化、编译和硬件加速进行优化，使其能在搭载第二代骁龙 8 移动平台的手机上运行。我们认为，未来 AI 的推理过程，通过一定的针对性优化后，完全有能力通过边缘算力实施。同时，边缘算力具有低时延、安全、隐私等优势，符合未来 AIGC 时代，对于 AI创作所有权和隐私权的要求。同时，手机，智能模组等算力相对于云端访问，对于普通用户来说更加便捷和易于学习，对于 AIGC 应用的推广也更加有利。

边缘算力是未来算力体系的重要一环。当前，无论是需要超强硬件支撑的AI 迭代与训练，还是运行要求相对较低，需求相对分散的 AI 推理，都放在超算中心内进行。我们认为，在 AI 大爆发周期内，迭代和训练需要的整体算力将会呈指数级增长，增速将会超过单芯片算力增长速度。

同时，单个AI 超算规模将会受到功耗、土地、散热等因素制约。因此，未来的 AI 运算将呈现出训练与迭代在云端，推理与内容生产梯度分布（云侧+雾侧+边缘侧）的格局变化。此外，随着 AIGC 内容愈发丰富，从简单的文字发展到视频、虚拟场景，如果采用云生成然后发送到端的形式，将会产生较多的网络带宽成本和一定程度的时延，进而影响模型的商业化进程与用户使用体验，边缘算力有助于作为补充手段改善这一情形。

智能模组是承载边缘算力的优秀形式。智能模组指的是融入了算力或通用处理芯片的通讯模组。当前已经应用于车机、消费等多个领域。当前主流的智能模组主要采用高通平台。因此此次高通在终端部署并推理 AI 模型的成功尝试，对于模组走向 AIGC 时代具有重大意义。

单个模组算力可能较小，但智能模组具备灵活性与定制化的产品特性，结合高通 AI 增效工具包与专用硬件，未来智能模组有望走向依据模型定制算力平台，与使用场景深度绑定的模式，彻底打开行业应用场景与想象空间。

作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。

声明：文章观点来自网友，仅为作者个人研究意见，不代表韭研公社观点及立场，站内所有文章均不构成投资建议，请投资者注意风险，独立审慎决策。

神州数码

城地香江

工分