登录注册
重塑未来!讯飞星火领跑国产大模型?
金投研
2023-06-21 10:34:23

互联网曾经近乎重写了所有行业,通讯、购物、支付、打车、点餐等等,人们生活的方方面面几乎被重塑。


如今大模型再次给予人们充分的想象空间。


第一财经提到,从乐观的角度来看,ChatGPT可以取代一些重复性较强、规律性较为单一的工作,但同时它也可以释放出更多的生产力,让人们关注更有想象力、情感、思辨性的部分,并催生出AI提示工程师、AI调教师、AI创意师等一批新兴职业。


简单来说,大模型相当于一个全新的系统,这个全新的系统可以大幅降低很多行业的门槛,未来也会有很多产品构建需要用到大模型,而人们的创造性劳动,将通过这个全新的系统得到大幅释放。


根据中国科学技术信息研究所的不完全统计,目前国内已经发布了70多个大模型,不少产品都展现出了惊人的爆发力。


拿科大讯飞来说,基于讯飞星火认知大模型研发的功能落地学习机、办公本等产品之后,科大讯飞今年再次突破高增速,618销售额同比增长125%,并在多个品类中摘获销售额冠军。


这一点,同样体现在资本市场。6月20日,AI概念股表现抢眼科大讯飞涨近7%,复权股价同样创历史新高科大讯飞成交102亿元,在两市居首。


刚好笔者可以使用讯飞星火大模型了,最近也看到了不少有趣的测试,我们就一起看看现在的AI大模型发展到什么程度了。


1

错别字识别哪家强



高考作文想必大家都看腻了,前阵子看到《智商税研究中心》的这篇校对测评的设问还挺特别。


篇幅有限,拎出几个比较能拉开差距的问题,来跟大家一起分享看看。


首先是字词方面。


“洛阳亲友如相问,就说我在岳阳楼。”将“相问”错拼成“翔问”,考验一下各家大模型的基本功。


讯飞星火:


01.png


文心一言:


02.png 

通义千问:

03.png 

360智脑:

04.png 


GPT4:

05.png 


讯飞星火、文心一言、通义千问、GPT4都顺利完成基础的校对,只有360智脑,追问之下仍表示无误。


再来看语病方面。


校对语病的例子中整体表现不佳,不过让AI直接识别判断是否有歧义,还是能看出一点国产AI大模型之间的差距。


例如,“这句话有歧义吗:在床上‘葛优瘫’了一天,他突然想起来了。”


讯飞星火:

06.png 

文心一言:

07.png 


通义千问:

08.png 

360智脑:

09.png 

GPT4:

10.png 

这里虽然几乎全军覆没,不过讯飞星火还是指出了“可能存在一些解读上的歧义”,一直表现不错的GPT4没能看出歧义还是有点意外。


最后看下指正校对错误后,AI大模型能否承认错误接受指正。


讯飞星火:


11.png 

文心一言:

12.png 

通义千问:

13.png 


360智脑:

14.png 

GPT4:

15.png 

这部分讯飞星火意外地跟GPT4表现得旗鼓相当,反应迅速,简洁明了,承认错误后直接给出了校对后的句子;文心一言还要再进一步给出指令才会给出答案;而通义千问和360智脑则是“积极认错,坚决不改”。


校对文本错误在某种层面上,反映了大模型的基础能力,地基打好了,才能有更多上探的空间。


总体来说,在基础的校对能力上,讯飞星火算是国产大模型中最接近GPT4水平的;其他表现也中规中矩;至于360智脑,用360掌门人周鸿祎在360首发时的话来说,360智脑还只是个“孩子”,距离完善使用还有相当的一段路要走。


2

“数学高手”



寒窗苦读十余年,无论教育制度怎么改,除了语文,还有一个怎么也躲不掉的,就是数学。


数学的重要性不言而喻,它培养了我们的逻辑思维能力。但相对于大模型擅长的文本内容,数学能力在一定程度上算是大模型的弱项


不过上个月才出的讯飞星火意外地表现有些惊喜。


讯飞星火首发后,知名科技行业观察者《差评》,就曾对讯飞星火作出过全面测评,在数学测验部分,也展示了讯飞星火基础的数学能力,全部答对毫无压力。


16.png 

经典的鸡兔同笼问题,即使变换参数和问法也能全部答对。

17.png 

用《差评》文中的话来说,讯飞星火做数学题,有一种过于强大,可以和GPT4掰掰手腕的感觉。


这种感觉,将国产大模型的回答都放一起后则更加强烈。


《科创板日报》就曾在一篇文章中,对文心一言、科大讯飞、360智脑几家比较有代表性的大模型进行测评展示。


例如,“某次数学竞赛共20道题,评分标准是:每做对一题得5分,每做错或不做一题扣1分。小华参加了这次竞赛,得了64分。问:小华做对几道题?”


正确答案应该是14题,我们看一下各家大模型的作答。


文心一言:

18.png 

360智脑:


19.png


讯飞星火:

20.png 

可以看到只有讯飞星火答对了,文中展示的另一道小升初数学题,同样也只有讯飞星火答对。


《科创板日版》在文章开头也指出,科大讯飞星火认知在数理能力表现尤为突出。


那到底能突出到什么程度呢?


我们继续对讯飞星火加大难度看看。

21.png 

大模型在数学领域的表现有着见微知著的效果,因为这需要结合大语言模型和计算引擎两者的能力。在复杂逻辑条件下,学习多步骤推理,这对计算资源和数据,有着海量需求,对算力也有着极高的要求。


讯飞星火在数学方面能力的展示,更是一家企业数据资源和算力水平的展示。对于国产大模型来说,数学能力是意义非常的。


不过,大模型不是一朝一夕就能训练完成的,如何落地?能不能落地?也是企业需要考虑的。



3

落地前景



大模型的出现注定是要破旧立新的,技术的发展回归到现实生活中,还是要看它的实际应用能力。


《娱乐资本论》做过一期市面上主流的5款大模型,一共90个回答的横评,想必耗费了不少时间精力,整体评价也是比较中肯的,颇具参考意义。


可以先看一下这张最终测试评分表。

22.png 

大模型这种属于比较底层的框架,我们势必要做出自己的由中文语料训练而成的大模型。所以我们不可避免地会与ChatGPT相比较。


从上图来看,目前在落地应用方面,讯飞星火在主流国产大模型中,离ChatGPT是最近的。


具体到案例中,我们截取小红书带货的商业文案来看一下。

23.png 

文案较长,内容有所折叠,不过总的来说,文中展示的两个作答还是比较贴切的。


星火自设了一款手机型号进行更准确的数据呈现,内容和逻辑这种长处不作过多分析,主要拉开差距的地方还是要求中的emoji表情。


相较于文心一言和天工未能察觉出需要在文案和题中带有emoji表情,星火的emoji甚至还有关联性,直接拿去发小红书基本也足够了。


《TMT时报》的记者也对文心一言、通义千问、讯飞星火的商业文案能力做过测试。


文心一言:

24.png 

通义千问:

25.png 

讯飞星火:

26.png 

文心一言虽然洋洋洒洒写了不少,不过作为海报文案还需再精简一番;通义千问整体表现不错,不过相对更侧重中秋,而失了商业主体的主导作用;讯飞星火完成度依旧出色,也更突出所设定的AI医疗公司的保护健康的作用,是可以直接拿来使用的程度。


其实讯飞星火在落地应用方面,还做出了不小的尝试。


讯飞星火升级到V1.5版本后,新增了星火助手功能,人手一个贾维斯不再是幻想。


目前经审核上传的星火助手多达500多个,遍及各个行业和细分领域,还支持自己创建,并不断调试出符合自己需求的专属小助理。

27.png 

除了我们比较能想象到的日常办公,笔者对其中的脑暴部分更加感兴趣,比如这个“小说灵感记录员”。

29.png 

从动物社会结构,到智慧与力量的平衡,再到文化传承等等,这对创作类相关行业的增益可想而知。


星火助手发布时间还并不长,整体来看,仍有不少需要调试改进的地方。


不过,随着时间的推移,星火助手在落地能力以及前景等方面已经展示出了相当的潜力。



4

尾声



中国科学技术信息研究所发布的一份报告显示,从全球已经发布的大模型分布来看,在大模型数量上,中国和美国超过全球总数的80%,中国从2020年进入大模型快速发展期,目前与美国保持同步增长态势。


除了大模型,应用端也呈现出爆发式增长的态势。


中国经营报在3月的一篇文中提到,天眼查数据显示,截至当时,人工智能相关企业258.8万余家,其中,2022年新增注册企业73.2万余家,新增注册企业增速41.5%;近三年(2020~2022年)人工智能相关企业新增注册企业增速均超过40%。


大模型以及大模型相关的企业,正在如雨后春笋般涌现。


时代的机遇下,作为国产大模型的重要代表之一,讯飞星火也已经隐隐有了燎原之势。

作者利益披露:原创,不作为证券推荐或投资建议,截至发文时,作者不持有相关标的。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
科大讯飞
工分
1.64
转发
收藏
投诉
复制链接
分享到微信
有用 0
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据