新基准MedChemBench评估AI药物化学推理能力
OpenAI 推出基准测试 MedChemBench,用于评估 AI 模型在药物化学研究中的推理能力,包括读取分子结构、解读实验证据、比较化合物及预测性质。该基准取自 117 篇论文和专利,包含 761 个分子结构,共 99 道题,覆盖分子结构重建、科学推理、排序与选择、性质预测四部分。在 xhigh 推理设置下,GPT‑6.2 Astra 获可用分数的 84.5%,GPT‑6 Astra 为 83.3%,GPT‑6.1 Sol 为 82.0%,GPT‑5.6 Sol 为 58.2%。Astra 在结构重建上表现最强(95.4%),但在选择化合物和预测数值性质上仅获约一半分数。作者指出,结果不能确定模型能否发现新药,且无法排除模型接触过已发表来源的可能。