模型“日日新”!中文语言大模型“商量2.0”多个评测基准综合表现超ChatGPT 当前速递

来源:新民晚报时间:2023-06-22 09:40:06

来源/东方IC

近日,商汤科技公布了自研中文语言大模型“商量 2.0”在MMLU、AGIEval、C-Eval三个权威大语言模型评测基准的成绩。根据评测结果,“商量2.0”在三个测试集中表现均领先ChatGPT,实现了我国语言大模型研究的重要突破。

截至目前,已有近千家企业客户通过申请,应用和体验“商量2.0”的长文本理解、逻辑推理、多轮对话、情感分析、内容创作、代码生成等综合能力,并且“商量2.0”还在服务客户过程中,持续实现着快速迭代和提升,以及知识的实时更新。


(资料图)

图说:各语言大模型在三个评测基准中的得分情况 采访对象供图(下同)

“商量2.0”综合能力超ChatGPT

商汤科技公布的评测结果,选取了全球三大权威语言模型测评基准MMLU、AGIEval、C-Eval,结果显示“商量2.0”在三个测试集中表现均领先ChatGPT,部分已十分接近GPT-4的水平。

图说:图中粗体表示结果最佳,下划线表示结果第二

MMLU是由美国加州大学伯克利分校、哥伦比亚大学、芝加哥大学及伊利诺伊大学厄巴纳-香槟分校联合打造的大规模多任务语言理解的评测基准,涵盖了科学、技术、工程、数据,人文、社会科学等领域的57个科目,难度从初级水平到高级专业水平,考验世界知识和解决问题的能力。在该评测中,“商量2.0”综合得分为68.6,超过了ChatGPT(67.3分),落后GPT-4(86.4分)。

图说:图中粗体表示结果最佳,下划线表示结果第二

AGIEval是由微软研究院发布的,专门用于评估基础模型在人类认知和问题解决相关任务中表现出的一般能力,从而实现模型智能和人类智能的对比。该基准选取20种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国SAT考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。在该评测中,“商量2.0”测出49.91的分数,再次超越ChatGPT(42.9分),仅次于GPT-4的56.4分。在其中一项评测子集中,“商量2.0”以58.5分仅微弱差距落后GPT-4(58.8分)。

C-Eval是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集,包含了13948个多项选择题,涵盖了52个不同的学科和四个难度级别。面对C-Eval评测基准,“商量2.0”拿到了66.1的分数,在参评的18个大模型中,仅次于GPT-4(68.7分),全面领先ChatGPT、Claude、Bloom等一众海内外大模型。

技术创新+应用落地 推动能力持续提升

今年4月,商汤正式发布“商汤日日新”大模型体系,以及自研中文语言大模型“商量”。截至6月,全球范围内正式发布的大语言模型已超过40款,其中由中国厂商、高校、科研院所等发布的大语言模型近20款。

在“百花齐放”的市场格局中,通过对比成绩与表现,可以了解各大预言模型的特点与差异,并且直观地了解每个大语言模型当前的智能水平。目前“商量2.0”实现了对GPT-3.5超越,并且随着商业化落地的推进,在众多行业、场景中发挥令人满意的作用。

例如在需要大量文案工作的场景中,“商量2.0”可以协助处理各类文章、报告、信函、产品信息、IT信息等,进行编辑、重写、总结、分类、提取信息、制作Q&A等,有效提高企业员工的生产效率。在客户服务场景中,“商量 2.0”还可以扮演许多不同的企业角色,如银行客服、给孩子讲故事的绘本老师等等,并进行顺畅的交流和互动,提升客户体验。

此外,“商量2.0”还拥有广泛的知识储备,能够结合企业自身所在行业的专有数据,非常高效地打造满足企业需要的高阶知识库,帮助实现更智能化的知识库管理。“商量2.0”还是高水平的AI代码助手,能够极大帮助提高开发效率,实现新的“二八定律”——80%的代码由AI生成,20%则由人工生成。

据悉,商汤大语言模型能力的提升源于更多高质量中文数据的训练学习,得益于团队在底层大模型技术上的不断创新。商汤团队在训练阶段采用自研的一系列增强复杂推理能力的方法,以及更加有效的反馈学习机制,让大模型增强推理能力的同时,减轻了传统大模型的幻觉问题。

新民晚报记者 郜阳

【延伸阅读】商汤大模型体系“日日新”带来什么惊喜?和ChatGPT之类比“会有一点差距,但可以很快追上。”

标签:

相关阅读

推荐阅读

模型“日日新”!中文语言大模型“商量2.0”多个评测基准综合表现超ChatGPT 当前速递

模型“日日新”!中文语言大模型“商量2.0”多个

根据评测结果,“商量2 0”在三个测试集中表现均领先ChatGPT,实现了我更多

2023-06-22 09:40:06
好消息!渝昆高铁华福特大桥建设进度条更新了

好消息!渝昆高铁华福特大桥建设进度条更新了

6月21日,重庆至昆明高速铁路(简称“渝昆高铁”)川渝段取得重大进展更多

2023-06-22 09:11:31
环球今亮点!台湾省籍青年方浩旭:盼祖国早日实现统一

环球今亮点!台湾省籍青年方浩旭:盼祖国早日实现

团十九大台湾省代表团代表方浩旭接受中青报·中青网记者采访,他表示将更多

2023-06-22 09:10:25
诗意中国 | 五色新丝缠角粽

诗意中国 | 五色新丝缠角粽

五月榴花妖艳烘,绿杨带雨垂垂重。更多

2023-06-22 08:59:28
南方地区有大范围持续性强降水 华北黄淮将现持续性高温

南方地区有大范围持续性强降水 华北黄淮将现持续

22日至25日,江南大部、华南西部等地将出现大范围持续性强降雨过程,其更多

2023-06-22 08:45:31
天天最新:高温日历出炉!北方多地将现今年来最长连续高温

天天最新:高温日历出炉!北方多地将现今年来最长

6月21日至28日,华北、黄淮等地新一轮高温天气卷土重来,多地将现今年更多

2023-06-22 07:49:21
今年端午假期,呈现哪些新趋势? 世界新资讯

今年端午假期,呈现哪些新趋势? 世界新资讯

今年端午假期,文化味道渐浓,更与避暑游相连。更多

2023-06-22 08:01:42
震撼!中国人的赛龙舟有多燃

震撼!中国人的赛龙舟有多燃

“古老东方,龙腾气象。风雨同舟,山河无恙。端阳祈福,岁岁安康。”20更多

2023-06-22 08:04:51
+ 点击查看更多精彩

精彩放送

太原12个楼盘发放18张预售证 仅有3个项目为纯新盘
    今年9月,太原市房产管理局给省城12个楼盘正式发放了18张预售证。...
截至9月底 杭州共完成不动产登记988.72万件
    房产证、土地证,两证合一了!2016年6月1日,在市民之家举行的全市...
各地继续密集发布楼市宽松政策 多地支持农民进城购房
    近期以来,各地继续密集发布楼市宽松政策,其中包括长春、遵义多...
宁波:关于“带押过户”新模式的7个典型问题权威解答来了
    日前,宁波市不动产登记中心试点二手房带押过户新模式。新模式下...
多地政府大手笔回购商品房 苏州拟对10个板块回购约1万套新房
    越来越多的地方政府出手回购当地商品房。近日,一份苏州市政府部...
市场降温豪宅不冷 媒体:北上广深掀起“豪宅热”
    尽管整体市场低迷,但豪宅板块比较稳定。争取成交,忙完这一次,...
    最新见闻