幻方发布全球最强MoE模型DeepSeek-V2:超低成本,性能媲美GPT4
媲美GPT-4,价格为其百分之一
先看性能。
和当前主流大模型相比,DeepSeek-V2毫不逊色。
据悉,DeepSeek-V2拥有2360亿参数,其中每个token210亿个活跃参数,相对较少,但仍然达到了开源模型中顶级的性能,称得上是最强的开源MoE语言模型。
研究团队构建了由8.1T token组成的高质量、多源预训练语料库。与DeepSeek 67B使用的语料库相比,该语料库的数据量特别是中文数据量更大,数据质量更高。
据官网介绍,DeepSeek-V2的中文综合能力(AlignBench)在众多开源模型中最强,超过GPT-4,与GPT-4-Turbo,文心 4.0等闭源模型在评测中处于同一梯队。
其次,DeepSeek-V2英文综合能力(MT-Bench)与最强的开源模型LLaMA3-70B处于同一梯队,超过最强MoE开源模型Mixtral8x22B。