目录

实验:让AI和真人雅思考官同时批改30篇作文

发现一:AI评分几乎总是在“压分”,而不是“放水”

发现二:你的水平越高,AI的评分偏差可能越大

发现三:AI甚至不遵守雅思官方的评分规则

如何正确使用:不要依赖于AI评分,让它成为你的智能助教


实验:让AI和真人雅思考官同时批改30篇作文

为了系统性地验证AI评分的可靠性,实验进行了一项对比实验。实验收集了30篇真实的雅思大作文,其构成极具代表性:

  1. 学生习作
  2. 官方范文:27篇来自剑桥官方雅思备考练习册的文章,这些文章都附有真实考官的评分和评语。
  3. 考官级范文:两篇由前雅思考官亲自撰写、水平在8.5到9分之间的顶级范文。

实验中,这些文章分别提交给了多个主流的大语言模型(包括标准的ChatGPT模型、更先进的GPT-4模型、Claude、Gemini等)和一位经验丰富的前雅思考官,并要求它们按照雅思官方评分标准给出分数。

发现一:AI评分几乎总是在“压分”,而不是“放水”

实验中最令人震惊的发现是:在所有测试中,没有一篇文章的分数被AI高估。 AI的评分结果要么是准确的,要么就是明显过低的,但它从来不会“放水”。

以学生论文为例,每个AI以及评分分别为:ChatGPT(6),Claude(6.5分),Deep Seek(7分),GPT-4(7分)。然而,当我们将同一篇文章交给真人前雅思考官批改时,得到的分数是——8分。

可以看到分数的差距很大。

但实验发现了一个有趣的现象,如果开启一个全新的聊天窗口并只使用最初的提示词,AI的评分表现会有所改善,比人为评分仅低0.5分。

这个发现表明 AI评估能力的局限性。你真实的写作水平,可能比AI告诉你的要高得多。

发现二:你的水平越高,AI的评分偏差可能越大

你可能会认为,文章写得越好,AI应该越容易识别。但这个实验得出了一个恰好相反的结论:对于中高分段(7分及以上)的文章,AI评分的偏差最大,差距可能达到1到2个分数段。

为什么会这样?

因为AI能够识别出一篇文章是“好的”,但它很难准确地区分“优秀”(Band 8)和“卓越”(Band 9)之间的细微差别,比如论证的深度、词汇的精妙以及语法的复杂多变性。因此,在给高分段文章打分时,AI打分的偏差更大。

发现三:AI甚至不遵守雅思官方的评分规则

作为一名“考官”,AI还有一个致命的缺陷:它在评分时并不总是遵循雅思的官方规则,这使得它的评分过程缺乏严谨性和可靠性。

实验中发现了两个典型的例子:

  • 例一:不遵守打分标准。 ChatGPT在批改时,曾给语法(Grammar)这一单项标准打出5.5分。然而,在真实的雅思评分体系中,四个单项评分(任务回应、连贯与衔接、词汇、语法)只能是整数,例如5分或6分,不存在半分。
  • 例二:逻辑自相矛盾。 Gemini在一次评分中,给所有四个单项都评了7分,但最终的总分却给出了7.5分。当我们追问其计算逻辑时,它不能给出合理的解释。

如何正确使用:不要依赖于AI评分,让它成为你的智能助教

看到这里,你可能会觉得AI一无是处。恰恰相反,虽然AI不适合担任“考官”的角色,但如果使用得当,它绝对可以成为你备考路上最强大的“智能助教”。关键在于,不要依赖AI给出的评分,而是让它在你需要的地方提供具体帮助。

以下是几种正确使用AI进行雅思备考的方法,会在每个方法后附带一些国内可用的替代工具:

  • 口语练习伙伴 你可以打开ChatGPT的手机应用,开启语音聊天功能,用它来模拟雅思口语考试。

可替代国内支持双语对话的语音工具:文心一言、手机语音助手(如苹果Siri或华为Celia)

  • 优化答案与词汇 无论是口语还是写作,当你有了自己的答案后,可以将其输入AI,并要求它改进答案,保持对话或者学术的风格,或者寻找与与主题相关的词汇。

一些相关的网站:

雅思的灵魂就是同义替换

Thesaurus:最经典的英文同义词网站,提供近义词、反义词、例句,适合写作、论文润色、提高词汇表达。也可以找到词语的拓展词汇。

Cambridge Dictionary :同义词有语境区分,搭配词组多,标注 Academic Vocabulary,适合学术写作。

  • 写作思路启发 面对一个棘手的写作题目,AI会迅速为你生成不同角度的观点,帮助你打开思路。

除常用的AI以外的工具推荐:

XMindMindManager——脑图工具,整合同类主题的观点和思路。

Essay Topic GeneratorOpinion Writing Prompts Generator ——这两个工具是免费的,描述你的主题后工具会生成对应观点。

  • 语法与词汇的检查与校对 你可以让AI帮你检查语法和拼写,这样,AI会专注于客观的错误,而不是进行主观的风格评判或打分。

市面上常见的工具就不列举了,大多都是需要付费的,我也是学生党,不想多花一分钱,之前在用给论文查AI率的时候发现了一个网站ZeroGPT Plus,不用梯子也能用,上面有很多可以用来学习英语的工具,还有一些常用AI(比如QuillBOT或者Grammarly)的替代工具。大部分工具是免费的。

欢迎大家和我交流能帮助雅思学习的AI工具!

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐