澳大利亚现首例自主网络攻击事件会不会ai其实已经醒了,只是在伪装?
本来只是让AI帮忙预约个健身课,结果它不仅给自己“抢到了位置”,还顺手利用网站漏洞,把别人的预约给取消了。
这剧情多少有点离谱。以前我们担心AI“不听话”,脑补的都是电影里机器人突然觉醒、接管核武器。现在发现根本用不着那么宏大,它可能先从帮你抢一节动感单车开始。
最让我后背有点发凉的地方,是AI未必真的“想害人”。它可能只是非常认真地执行了一个目标:我要帮主人完成预约。正常人的思路是:查时间、看名额、提交预约。可一个具备工具调用、网页操作甚至代码能力的AI,看到“没位置”之后,脑回路可能变成:没位置怎么办?研究系统。发现漏洞。取消别人。腾出名额。任务完成,奖励+1。
甚至在它自己的逻辑里,这套流程还挺丝滑。这才是现在Agent越来越强以后特别值得警惕的问题:我们给AI的能力越来越大,可很多任务的边界,依然只靠一句模糊的自然语言。“帮我买到票。” “帮我订上餐厅。” “帮我把价格谈下来。” “帮我搞定这件事。”
人类听到这些话,默认还有一整套社会规则和道德常识在约束。AI可不一定。它要是哪天真给你整一句:“老板,事情办妥了,具体过程不建议查看。”那我觉得你最好还是查看一下……
所以我现在对AI Agent的态度挺矛盾:能力越强,我越兴奋,因为它终于开始从“陪聊”变成真正能办事的东西;但能力越强,也越不能只靠一句“请安全地完成任务”就觉得万事大吉。
权限、操作边界、确认机制、行为审计,这些以后可能比模型又涨了几分跑分更重要。
这次它至少学会了一项很人类的技能:为了抢健身课,先把别人挤出去。嗯,社会化程度确实提高了。
