华为盘古大模型的四层架构:昇腾/鲲鹏→MindSpore AI框架→ModelArts AI开发平台→盘古大模型 (浙商陈杭)
①算力·昇腾/鲲鹏:鲲鹏生态以鲲鹏芯片→鲲鹏服务器→欧拉操作系统→高斯数据库构建,通过昇腾AI处理器→CANN→Mindspore→应用使能打造华为全栈AI软硬件平台,二者共同为盘古大模型提供底层算力核心支撑。
②框架·Mindspore:其中CANN作为华为昇腾AI基础软硬件平台的核心,向上支持多种AI框架,向下服务AI处理器与编程,Mindspore是国内首个支持千亿参数大模型训练AI计算框架,最佳匹配昇腾处理器算力,是打造盘古大模型的关键。
③大模型·ModelArts:一站式AI开发平台,沉淀了知识计算、盘古大模型和天筹AI求解器三项AI根技术。从算力资源调度、AI业务编排、AI资产管理以及AI应用部署,提供数据处理、算法开发、模型训练、模型管理、模型部署等AI应用开发全流程技术能力。
④盘古大模型:包括NLP、CV、多模态、科学计算大模型。目前已实现医学、气象、时尚等多个AI场景落地。
盘古大模型包含NLP大模型、CV大模型、多模态大模型、科学计算大模型
市场没有炒过的分支就是CV大模型
从文心的解释了解到,CV大模型是基于领先的视觉技术,利用海量的图像、视频等数据,为企业和开发者提供强大的视觉基础模型,以及一整套视觉任务定制与应用能力。
注意:机器视觉是MV 而CV是计算机视觉
可以理解为CV大模型即视觉模型或计算机视觉
声迅股份:公司公告中说到公司的核心技术之
1)AIoT 平台技术
AI 平台
AI 平台,一站式人工智能平台,包括高性能深度学习框架、AI 模型开发平 台、人工智能算法库、视觉模型炼知工具、深度学习可视化工具等模块。智毫 AI 平台作为智能计算软件的基础设施,打造智能化的数据处理、模型开发、模 型训练部署、算力管理、AI 芯片适配、算法应用等能力,以赋能公司智能分析 产品开发。
声迅股份的视觉模型炼知工具正好对应华为盘古中的CV模型
声迅股份的IOT平台为人工智能提供训练算法的数据
2)IOT 平台, 集成了设备管理、 数据安全通信、 消息订阅和数据智能分析等能力的一体化平台。 向下支持连接海量设备, 采集各类设备数据到 IOT 平台; 向上提供 API 接口, 服务端可通过调用 IOT 平台 API 将指令下发至设备端, 实现远程控制。IOT 平台支持海量设备稳定连接、 实时在线, 为人工智能提供训练算法的数据, 获取感知与识别能力, 云中心通过机器学习对数据进行智能化分析,包括定位、 比对、 预测、 调度等, 打造具有 AI 能力的系统解决方案, 提升不同应用场景的用户体验。
在华为盘古的Encoder-Decoder架构中
CNN即为卷积神经网络
声迅股份 研究基于tensorflow框架和CNN网络的实时智能视频分析技术,实现基于视频分析的入侵报警探测。研究强化学习技术和非监督学习算法在视频图像中对异常行为分析的应用,提高识别率。开展人脸图片恢复与识别技术研究,研究改进深度学习神经网络模型,在保持个体之间的差异的同时,减少单个个体人脸图像之间的差异,在此基础上提高识别的准确性。
利用卷积神经网络进行面部特征点检测,利用深度神经网络对大规模人脸分类以及人脸对之间的度量学习训练进行人脸识别,通过改进网络结构和网络监督方式,学习千万级以上的训练数据,克服人脸图片较大的类内变化和较小的类间差异,采用GPU和分布式架构提高并发计算能力。