一项发表于国际机器学习大会（ICML）的研究提出，大语言模型可能永远无法彻底防住黑客攻击，原因来自于大语言模型本身的设计缺陷。
这一结论的影响不容小觑。如今，大语言模型已经开始进入政府、军事、医疗、在线购物等领域。一旦模型参与处理敏感信息，甚至接入关键系统，安全漏洞造成的后果便不再是生成几句不当内容这么简单了。
研究人员发现，大语言模型并不能完全区分一条指令究竟来自用户、系统、外部工具，还是模型自己的内部推理。利用这一弱点，研究人员成功绕过了多款主流模型的安全限制，让模型输出原本明确禁止提供的信息，例如毒品合成方法，破坏商用飞机导航系统的做法。“这个问题很可能从根本上就无解。”论文作者之一、独立研究员Charles Ye说。