Humanity's Last Exam - Benchmark Review
Epoch AI 对公开征集题目的知识型基准 Humanity's Last Exam 进行审计，按 8 个类别随机抽样 48 题，发现 22 题（46%）存在会实质改变准确率的错误，将该基准判定为 Flawed。其中 12 题按题面本就无法正确作答，10 题可能产生误判正确答案为错或错误答案为对的情况；其余 26 题答案正确，审计方法与错误明细已在原文公开。
Epoch AI 对公开征集题目的知识型基准 Humanity's Last Exam 进行审计，按 8 个类别随机抽样 48 题，发现 22 题（46%）存在会实质改变准确率的错误，将该基准判定为 Flawed。其中 12 题按题面本就无法正确作答，10 题可能产生误判正确答案为错或错误答案为对的情况；其余 26 题答案正确，审计方法与错误明细已在原文公开。