METR时间跨度图更新:AI在判断力任务上仍逊于人类
METR更新其“时间跨度图”报告,称前沿AI模型能力仍约每四个月翻一番,但在需要判断力的开放式任务上表现逊于人类。新任务中,模型设计的AI评估方法无一被METR员工认为可用于其研究,哲学论证评分任务也未达人类水平。报告指出,强化学习依赖可自动验证的任务,而研发自动化所需的研究品味等能力难以量化评估。专家对易验证任务进展能否迁移至开放式任务存在分歧,OpenAI亦报告其模型在现实任务上表现不及简单可验证任务。由于此类任务评分困难、完成时间多为估计值,METR承认难以建立清晰趋势,自动化AI研发的前景仍无确定答案。