卡内基梅隆大学PRAGMA研究：让AI读懂人类言外之意

卡内基梅隆大学团队在ACL 2024发布PRAGMA评测框架，针对性解决当前大模型无法理解语言潜台词、讽刺、语境意图的行业难题，填补了AI语用能力标准化测评空白。

现有AI仅靠字词统计规律生成文本，只能理解字面语义，难以识别反问、夸张、委婉表达，无法结合场景判断真实意图。研究团队整合语言学理论，搭建五大评测维度：预设前提、隐含语义、言语行为、指代消解、语境依赖，全面量化AI的真实语言理解水平。

研究采用纯人工标注数据集，剔除字面即可作答的无效考题，建立人类评分基准，并对GPT-4、Claude、LLaMA等主流模型实测。结果显示，所有AI语用理解能力均显著弱于人类，尤其在讽刺推理、复杂语境识别、意图判别上短板明显。

研究证实，模型参数量与语用能力并非正相关，单纯堆规模无法突破理解瓶颈，核心短板在于AI缺乏真实社会交互与语境推理能力。该框架为AI训练优化指明新方向，推动AI从“会说话”迈向“真懂话”，是自然语言理解领域的重要基础突破。