走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型-韭研公社

登录注册

走向边缘智能，美格智能携手阿加犀成功在高算力AI模组上运行一系列大语言模型

投降亏一半

春风吹又生的剁手专业户

2023-11-14 14:15:44

近日，美格智能发挥软硬件一体协同开发能力，融合阿加犀卓越的AI优化部署技术，在搭载高通QCS8550平台的高算力AI模组上，成功运行了一系列大语言模型，包括LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna，展现出卓越的边缘端大模型部署能力。

▌构建智算底座，加速大模型端侧部署

大模型和生成式AI的浪潮席卷全球，带来人工智能新纪元。大模型诞生之初主要是与云端绑定，而随着应用场景的拓展，AI开始赋能千行百业，大模型也需要在越来越多的终端设备上运行。如果说生成式AI是正在高速向前行驶的列车，那算力就是燃料。终端侧AI的落地应用，离不开硬件和设备算力的升级。

今年，高通推出了AI算力芯片QCS8550，整合了强大的NPU算力和边缘侧AI处理技术、Wi-Fi 7连接技术以及增强型图形和视频处理能力，提供高速、低功耗的AI计算平台，为终端侧AI赋能。

基于高通QCS8550芯片平台，美格智能推出了高算力AI模组SNM970，综合AI算力高达48Tops，并支持混合精度计算，为IoT设备打造全新的智算底座。高算力AI模组是承载端侧AI无限创造空间的最佳形式，为海量碎片化场景提供稳定的通信能力和强大的边缘算力，让终端开发者能够基于标准化的模组完成低成本、短流程的产品设计和制造，降低大模型的开发和使用成本。

另一方面，AI从芯片到应用还需要解决跨平台迁移、异构芯片效率丢失、碎片化的场景需求等挑战。阿加犀具备成熟的AidLux平台和行业领先的开箱即用AI工具链，能够全面提升边缘设备的AI性能和模型执行效率，为AI项目在丰富场景中快速落地提供专业支持，进一步推动AI应用的终端部署。

此次，美格智能高算力AI模组产品团队携手阿加犀，在基于高通骁龙800系列平台的自研高算力AI模组上成功运行一系列大语言模型，成功验证了算力模组作为未来大模型边缘AI算力底座的通用性，对边缘端生成式AI的支持进一步成熟，有望将生成式AI拓展至更多领域。