当前位置:首页 > 新闻资讯 > IT业界 > 新闻
AI挑战2023高考试卷!文心一言与通义千问爆冷
  • 2023/6/16 9:44:13
  • 类型:原创
  • 来源:电脑报
  • 报纸编辑:吴新
  • 作者:
【电脑报在线】大语言模型持续迭代,具有较强的考试能力。2023年3月14日,OpenAI 推出GPT-4,在各种专业和学术基准的考试能力超市场预期。

在诸如美国律师资格考试 Uniform Bar Exam、法学院入学考试 LSAT、“美国高考” SAT 数学部分和证据性阅读与写作部分的考试中,GPT-4 得分高于88%的应试者。而随着2023年全国高考落下帷幕,AI又能取得怎样的成绩呢?     

01

扎堆赶考的AI

从聊天八卦到AIGC内容生产,以ChatGPT为代表的新一代AI处处让人感到好奇与新鲜。继ChatGPT在大洋彼岸通过一系列专业考试测试后,面对2023年全国高考试卷,众AI老老实实地充当了一次“考生”。

除各地网友纷纷赛出自己让AI写的高考作文外,《电脑报》也第一时间撰写“四款AI大模型挑战2023年高考作文:ChatGPT不算最优,阿里云通义千问发挥超稳”的专题,横向对比当下主流AI对于高考语文作文题目的理解和内容的创作能力。

注:由于篇幅有限,对于AI高考作文甲卷答题及专家点评感兴趣的读者,可以扫码观看编辑部公众号《壹零社》6月8日的原文。 

随着2023年全国高考各科目试卷题目的陆续亮相,AI也迎来新一轮“考试”。本轮测试特选取2023 新高考英语/数学I 卷两份试卷,综合测试AI“应试能力”,其中英语选择两篇完形填空,合计20道选择题,测试AI对英文阅读的理解。而数学则选择5道单选题、2道多选题、1道填空题和2道解答题,全方位测试AI逻辑思维能力。

02

引导学生全面发展的2023年全国高考

“2023年高考命题坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻党的教育方针,落实立德树人根本任务,按照‘方向是核心,平稳是关键’的原则,引导学生德智体美劳全面发展,助力人才自主培养质量提升,服务拔尖创新人才培养选拔。”教育部教育考试院命题专家介绍。

据教育部教育考试院命题专家解读,今年高考各学科命题体现基础性、综合性、应用性、创新性,着力激发学生崇尚科学、探索未知的兴趣,归结起来为“四个注重”: 

1.注重增强铸魂育人功能。语文、思想政治、历史等科目强化政治引领和价值引导,数学、物理、化学等科目注重培育科学精神和科学兴趣,各学科形成合力,服务全面育人,引导全面发展,助力培养担当民族复兴大任的时代新人。 

2.注重契合学情教情实际。今年,教育部教育考试院在先期深入调研的基础上,充分考虑学情、教情、考情中的变量,科学设计试题试卷难度,努力让学生都能顺利进入状态,正常发挥水平。

3.注重选育拔尖创新人才。首先是增强基础性、综合性,突出对基础知识、基本技能、基本方法的考查。其次是增强应用性,强调学以致用。再其次是增强创新性,丰富题型考查功能,培育学生的探索性、创新性思维品质。

4.注重衔接高中课程标准。2023年新老高考并行、部分省份新旧课标交替,教育部教育考试院命制了供旧课标省份使用的全国甲卷、全国乙卷,供新课标省份使用的新课标(Ⅰ、Ⅱ)卷。在考察理念上,凸显新课标提出的核心素养,促进教、学、考的有机衔接。

注:每道题计做1分,主要对比得分率,题目与答案主要源于网络收集,需要题库可后台留言“AI挑战2023高考试卷”

03

AI挑战2023新高考英语

ChatGPT一骑绝尘 

2023年高考英语试卷通过选择特定主题的语篇,落实核心素养考查,引导学生养成喜爱读书、善于求知的学习习惯,培育自尊自爱、自信自强的思维品质,倡导爱护自然、热衷环保的生态理念。

2023年高考英语试卷围绕人与自然、人与社会、人与自我三大主题选材,合理设计考查内容、考查要求和考查情境,体现高考对体育、美育和劳动教育的引导,其中新课标Ⅰ卷阅读部分第二节选取的语篇讲述要学会适度自我原谅,通过罗列个人优点和做过的好事来增强自信。如此广泛地阅读题材,需要考生从政治、历史、经济、法律等人文及社科领域多维度去深度阅读,培养国际视野,巩固英文思维才能以不变应万变,而对于坐拥庞大语料库的AI而言,阅读积累显然不是难点,但对字词句的理解和选择却成为AI的“拦路虎”。

编辑点评:2023高考英文卷依旧沿袭了选材大多选自各大外网期刊,更加重视英文基础底子和英文思维的考察,但对可以全网投喂/获取“语料”的AI而言,这样的内容“广度”本身是它们擅长的,但在语义理解上,五款AI明显具有较大差异,ChatGPT 3.5在实力足以傲视群雄。当然,毕竟英文考试有点类似ChatGPT的主战场,上一轮测试语文的时候,通义千问在作文创作上同样表现出色。

04

AI挑战2023新高考数学

文心一言、通义千问让人眼前一亮 

高考数学全国卷充分发挥基础学科的作用,突出素养和能力考查,甄别思维品质、展现思维过程,给考生搭建展示的舞台和发挥的空间,致力于服务人才自主培养质量提升和现代化建设人才选拔。如新课标Ⅰ卷第7题,以等差数列为材料考查充要条件的推证,要求考生判别充分性和必要性,然后分别进行证明,解决问题的关键是利用等差数列的概念和特点进行推理论证。同时深入考查直观想象素养和扎实考查数学运算素养,如新课标Ⅰ卷第17题,以正弦定理、同角三角函数基本关系式、解三角形等数学内容,考查数学运算素养。

高考数学全国卷在命制情境化试题过程中,在剪裁素材方面,注意控制文字数量和阅读理解难度;在抽象数学问题方面,设置合理的思维强度和抽象程度;在解决问题方面,通过设置合适的运算过程和运算量,力求使情境化试题达到试题要求层次与考生认知水平的契合与贴切,可对于AI而言,对题目的理解还是运算素养的实践都是很难迈过去的坎。

编辑点评:高考数学全国卷在反套路、反机械刷题上下功夫,突出强调对基础知识和基本概念的深入理解和灵活掌握,注重考查学科知识的综合应用能力,而逻辑理解和知识点串联运用本就是AI的弱项,五款AI在2023高考数学卷上的得分率均不高,但文心一言和通义千问在数学卷上的表现非常出彩,尤其是前者,除选择题争取率不错外,更成功解答出了解答题部分答案,国内AI大模型在中文应用上的表现的确给人留下了极深印象。

05

功夫在试卷之外,看AI赋能教育

AI挑战2023高考试卷更多是满足人们的好奇心,从五款主流AI大模型的表现来看,ChatGPT 3.5综合实力无疑是最稳定的存在,除在英语测试环节表现出极强的语言理解能力外,其数学正确率在五款AI中也属于中流水平。而四款国内AI语言大模型中,文心一言和通义千问在数学试卷上的表现却让笔者感到非常兴奋,尤其是解答题投篮的解答题。

甲乙两人投篮, 每次由其中一人投篮, 规则如下:若命中则此人继续投篮, 若未命中则换为  对方投篮 . 无论之前投篮情况如何, 甲每次投篮的命中率均为 0 .6, 乙每次投篮的命中率均为 0 .8, 由 抽签确定第 1 次投篮的人选, 第一次投篮的人是甲, 乙的概率各为 0 .5 .

(1) . 求第 2 次投篮的人是乙的概率 .

(2) . 求第 i 次投篮的人是甲的概率 .

(3) 设随机事件 Y 为甲投球次数, Y = 0, 1, ⋯ , n, 求 E(Y).  

本题是最近高考模拟题非常流行的概率和数列结合的问题,对于高三学生而言前面两问或许不会太难,但AI想要顺利完成解答还是相当困难的,而第(3)问其实本质上就是“期望的线性性”,也算是超过了当下AI能够理解的范围。    

而相对题目的解答,AI挑战高考题目最大的意义还是在于让人们意识到AI+对教育的赋能。I+教育的本质在于实现优质教育资源的规模化、公平化、个性化:传统教学模式存在个性化教育与普惠教育之间的矛盾。

AI拓展人力的边界、使得优质教育资源规模化成为现实,且随着 AI 所替代人脑活动的复杂度提升,其对于教育的降本增效作用也更为明显。因此 AI 与教育结合、改造教育的本质在于:依靠低成本科技替代、拓展高成本人力(22 年我国教师学生比为 1:16,21 年教师平均工资为 11 万/年),实现优质教育资源规模化、发掘普惠教育与个性化教育的平衡点,从而实现教育公平化、个性化(低成本因材施教)。AIGC 进一步深化教育的本质在于数字化教育内容的智能生成+推送,而在高考后的志愿填报,AI就发挥出巨大的价值。

编辑|张毅
审核|吴新
本文出自2023-06-12出版的《电脑报》2023年第23期 A.新闻周刊
(网站编辑:ChengJY)