浪潮发布了中文巨量模型“源1.0”，参数量达2457亿，超越美国OpenAI组织研发的GPT-3。“源1.0”在语言智能方面表现优异，获得中文语言理解评测基准CLUE榜单的零样本学习（zero-shot）和小样本学习（few-shot）两类总榜冠军。在零样本学习榜单中，“源1.0”超越业界最佳成绩18.3%，在6项任务中获得冠军；在小样本学习的4项任务获得冠军。在成语阅读理解填空项目中，源1.0的表现已超越人类得分。

为了提高“源1.0”在不同下游任务的泛化性和精度，我们采用了多种小样本学习优化策略。本文介绍了标签扩充和校正相结合的小样本学习优化方法。该方法不仅能消除预训练语料中标签出现频率不同而带来偏置，而且通过空文本或数据集校正标签词和输入样本带来的偏置，可使巨量模型避免再训练，降低了内存需求和系统复杂性，而且大大提高了下游任务的准确率和稳定性。

根据在下游任务推理时提供的样本数目，我们进一步将表述专门化为“零样本”和“小样本”。
自己可以搜公众号看，比题材出现的早