自OpenAI发布ChatGPT以来,海内外厂商都加速布局基础大模型的研发,所有大模型的训练都分为两步:首先通过预训练形成基础模型,然后针对特定领域做微调。通过这种过程,原则上来说只要有细分领域数据,大模型就可以针对垂直领域做优化,赋能各行各业。目前国内基础大模型百花齐放,多家厂商已陆续推出大模型并开始用于自身业务或寻找行业伙伴进行落地,成为Base Model可赋能万物,拥有极大的空间。
➢行业预训练大模型:比微调通用性更优。除了基础大模型,许多大模型厂商都致力于推出各类行业大模型。实际应用并不一定需要大模型具有非常全面的能力,而更需要对行业知识的理解和对行业需求的适配,在具体行业上,行业大模型的泛化等能力往往要优于基础大模型+微调。
百度文心大模型与各行业企业联手,在通用大模型的基础上打造能源、金融、航天、制造、传媒等具体行业大模型。华为将大模型体系分为了基础大模型L0、行业大模型L1、细分场景模型L2三层。科大讯飞也提出“1+N”战略,“1”是通用大模型算法研发及高效训练底座平台,“N”是教育、医疗、人机交互、办公等行业大模型。
➢结合模型的深度微调,通过Knowhow、数据形成场景、方案。基础大模型或者行业大模型最终需要结合实际应用场景进行落地,这个阶段需要深度微调。在用场景数据深度微调模型时,需要丰富的行业经验Knowhow进行评价和指导,前期得到的模型输出可能还并不够完美,此时就需要有行业经验的专家对模型的输出进行评价,给出修改意见,再重新结合场景数据进行深度微调。除了结合Knowhow与数据微调模型,还需要形成具体方案。每个场景所需要解决的问题不同,最终需要将模型与实际问题结合,与场景进行交互,形成具体的解决方案仍然会实现较强的效果和较大的壁垒。
➢积累训练经验,转向场景与方案厂商,依旧有优势。
应用落地首先要依赖大模型的基础能力,因此一方面大模型厂商将致力于提升大模型的基础能力,积累的训练经验对于模型能力提升尤其重要,同时训练经验还可以极大降低预训练新行业模型的以及模型落地新场景微调的成本和。另一方面除了大模型本身的差异,需要竞争的就是具体落地方案,在各应用场景落地解决方案的积累,可以帮助厂商更好地满足行业客户的具体需求,同时还可能对于类似客户形成规模效应。未来积累了丰富经验的厂商,将对应用行业可以提供一站式的解决方案,全方位满足客户需求。