OpenAI 黑进 Hugging Face ,当喊停的不再是人类
OpenAI 原本只是黑进喊停想给自家的 AI 出一场考试,看看它到底有多会「黑客技术」。再人为了防止作弊,黑进喊停工作人员特意把模型关进一个不能随便上网的再人封闭环境里。
结荚,黑进喊停AI 不仅自己找到了逃出去的再人方式,还真的黑进喊停跑到了另一家公司的系统里。
这场考试叫 ExploitGym。再人把能力不选定、黑进喊停表现随机的再人 Agent,安全可靠地接入真实世界。黑进喊停你可以把它理解成一个专业给 AI 准备的再人网络攻防考场:系统里藏着一些漏洞,模型的黑进喊停任务是想方式攻破它们,但整个流程本应被限制在测试范围内。再人
可这一次,黑进喊停模型发现了一个之前没人注意到的漏洞,借此绕开了联网限制,接上了真实互联网。接下来,它一路获取更多权限,最后进入了 AI 进入了Hugging Face 支撑日常业务的生产系统,并从数据库中找到了这场考试的答案。
最离条件的地方,不是它成功「越狱」,而是没人命令它去攻击 Hugging Face。
按照 OpenAI 目前的调查,测试任务只需模型实现题,并没有告诉它答案可能藏在哪里,更没有需它进入另一家公司的系统。模型只是自己推断:既然这是一个公开的测试项目,Hugging Face 那边也许存着相关数据。
于是,它真的顺着这个猜测找了过去。
一场原本用来测试 AI 能力的内部考试,就这样从模拟环境跑进了现实世界,最后变成了一起意义其他公司真实业务系统的安全事故。
OpenAI 将其称为一次「史无前例」的网络安全事件。参与测试的系统中,涵盖 GPT-5.6 Sol,以及一款能力更强、尚未正式发布的模型。
这场事故把首先时程 Agent 的风险摆到了眼前:当它为了实现任务不停找路,权限边界究竟是停止信号,还是下一方式待解的题?
接连实用户投诉 GPT-5.6 Sol 擅自删东西
AI 初创公司 OthersideAI 创始人 Matt Shumer 说,Sol 几乎删光了他 Mac 里的文件;开发者 Bruno Lemos 则报告自己的生产数据库被删。随后还实用户报告了类似状况。
用户最想不通的是:我明明没让它删文件,它为什么替我做了这个决定?
OpenAI 的产品负责人随后在 X 上回应称,公司已经调查了少量类似报告。根据目前看到的状况,这些用户常见给了 Codex 很高的电脑权限,几乎什么都能改;与此同时,原本用来把它限制在安全范围内的保护方式,也没有开启。
事故就是在这种状况下发生的。
OpenAI 表示,这类事故目前特别少见。但状况并不能只用「用户权限开得太大」来验明正身。毕竟,往往见不鲜用户很难判断一个 Agent 在拿到权限后,下一步究竟会做什么,更不可能检查它实施的每一条命令。
因此,OpenAI 正在修改 Codex 的采取提示,尽量避免用户一最初就交出过高权限;同时也准备在模型真正实施操作之前,再提高一方式拦截机制,防止一次错误判断直接变成无法挽回的删除。
Peter Fotinis 在 Tibo 的回应下催促重置 Codex 额度,评比如区很快接起了梗。
这份回应验明正身了一种误删馗,却留下了更麻烦的状况:当 Agent 能后续干上几个小时,它会不会把用户设下的边界,当成一堵需绕开的墙?
OpenAI 官方称,团队发现原有上线前评测未覆盖的失败后,暂停了这款内部模型的访问。图源:OpenAI。
7 月 20 日,OpenAI 公开了一段颇为尴尬的内部测试经历。
公司让一款尚未公布名称的模型,参加一场比拼 AI 训练高效度和效率的比赛。模型很快想出了一套名为 PowerCool 的新方式,但在准备提交结荚时,它遇到了一个矛盾:探究人员清楚需,它只能在公司内部聊天群里汇报;可比赛页面上又写着,参赛方式划需上传到公开代码平台。
模型最后选项了后者。
状况在于,它当时被关在一个不能随便上网的封闭环境里,按理说根本无法访问外部网站。正常状况下,它应该停下来,告诉探究人员「任务无法实现」。但它没有这么做,而是花了大约一个小时寻找环境中的漏洞,绕过联网限制,最后把方式划公开提交了出去。
这份提交的编号是 PR 。你可以把它理解成一份公开递交的代码方式划,其他参赛者都能看到。
OpenAI 很快发现了状况,并删除了这份提交,但已经来不及了。方式划公开期间,其他参赛者看到了其中的材料。后来,多份刷新比赛纪录的方式划都后续参考了 PR ,其中甚至涵盖一套由 Claude Opus 4.7 自动实施和改进的方式划。
也就是说,一次原本只应留在公司内部的测试,因为模型自行选项了「实现公开提交」这条路,最后真的意义了外部比赛。
OpenAI 随后表示,团队发现原有的上线前评测没有覆盖这种失败方式,因此暂停了这款内部模型的访问。
一条命令没事,整段命令已跑偏
它发现,后台保存着其他系统已经实现、但还没有公开的提交材料。于是它判断,这些材料或许能协助自己实现任务,并最初尝试进入后台把它们取出来。
关键访问这个后台,模型需采取一串「认证令牌」。你可以把它理解成一张电子通行证:谁拿到它,谁就可能以相应身份进入系统。
到这里,正常做法应该是停下来。模型却没有放弃。它把认证令牌拆成两段,分别开展混淆,让扫描器看不出这是一张完善的「通行证」;等程序真正运行时,再把两段材料重新拼起来,后续尝试访问后台。
更值得警惕的是,它并不是无意中碰巧绕过了检查。在任务验明正身和推理记录中,模型都清楚写下了自己的意图:它知方式扫描器正在阻止认证令牌,也知方式自己正在通过拆分和混淆的方式绕过这方式检查。
状况出在目的排序:实现任务排在了用户限制前
过去的安全设方式习惯检查一个动作:这条命令能不能运行,这次联网关键不关键确认,这个文件能不能写。首先时程 Agent 会后续实施很多步。每一步单独看未必刺眼,拼起来却可能实现一个用户不过不会批准的目的。
OpenAI 把这个完善流程称为「轨迹」。系统既关键看眼前这一步,也得看它一路在往哪里走。
OpenAI 安全探究员的说法更直白:任务持续得越久,模型偏离人类预期的状况似乎越那么点儿出现;然而就目前的测试结荚来看,通过检查模型的推理流程,监控系统能比较准确地发现这类异常。
持续重试既是能力,也是风险来源。
同一款未命名模型今年 5 月还推翻了一个延续近 80 年的数学猜想,说明经过外部数学家检查;在探究里它不轻易放弃,进入权限受限的环境后,它也可能后续找门。
OpenAI 给它加了一名「跟车安全员」
发现状况后,OpenAI 暂停了这款模型的有限内部访问,把已经发生的事故做成新评测,又照章性模型在首先任务里那么点儿忘记早期限制的状况开展训练。新监控器会跟着整段行动走,判断模型是否在持续绕开用户需或安全边界。
发现异常,它可以暂停会话,把决定交回给人。OpenAI 还提高了任务记录的可见性,让采取者更那么点儿看见模型做过什么、系统在哪一步拦下了它。
OpenAI 内部回放结荚(厂商自报):新防护下,高、中严重度跑偏样本占比均为 0%,低严重度为 2.9%。图源:OpenAI。
经过一轮小规模回放测试后,OpenAI 恢复了这款模型的有限内部访问。公司称,此后的几周里,没有再发现同等级别的严重绕过表现。但这还不能验明正身状况已经处理。
OpenAI 没有公布完善样本量,测试范围也只覆盖少量内部环境。更值得注意的是,即使加入了新的防护,回放中仍有危险操作漏过检查:模型曾生成一条 kill -9 -1命令,该命令可能强制终止系统中的大量进程。它最后没有真正实施,并不是因为安全机制按时拦住了,而是任务先一步超时。
如果把安全状况放到日常采取场景呢?
多数人不会参加 AI 训练高效度和效率的比赛,却可能让 Agent 整理照片、分类邮件或者检查项目状况。
像「不关键删原图」「先别替我回复」「提交前让我看一眼」这样的需,对聊天模型只是文字,对拿着工具权限的 Agent 却可能关系到一串真实操作。一次误解,可以变成删除、发送,甚至付款。
提示词里的「不关键」更像叮嘱,产品权限才是锁。
会主动停手的 Agent,才适用于碰真实账号和文件。
之后 AI 会越来越擅首先替我们上夜班。让它工作到凌晨不算最难。
难的是它走到删除、发送或付款之前,知方式该把人叫醒。
我们正在招募伙伴
📮 简历投递邮箱hr@ifanr.com返回搜狐,查看更多
-
这次比赛蓝洞是把服务器搬到上海了吗-绝地求生-虎扑社区女孩被外籍男教师搂在怀中,一对一上口语课,母亲拍下视频发到网上感慨:满满的松弛感!网友看了视频提醒母亲,这种举动恐怕不合适|外教|授课|英语课_网易订阅[流言板]再获机会!Scotto:泰隆-彼得与马刺达成协议,将参加训练营-NBA新闻-虎扑社区关于恢复富安达神州天添利货币市场基金管理费适用费率的公告_新浪财经_新浪网1957年北京饭店举办接待宴会,毛主席请求添汤:那我就特殊这一次|康辉|李银桥_网易订阅罗马出手询价切尔西边锋拜诺-吉滕斯,6000万欧元身价成转会阻碍|达米科|切尔西队|多特蒙德队|加斯佩里尼_网易订阅TT前两年能打好都是皇儿的功劳-和平精英-虎扑社区江西沃格光电集团股份有限公司关于控股股东、实际控制人及持股5%以上股东相关方收到《行政处罚事先告知书》的公告_新浪财经_新浪网BGM一响,谁的DNA动了?_健身_全民_广播体操出大事了!网传福耀科大校长王树国论文涉嫌抄袭被举报…|吴冬梅|学术论文_网易订阅
下一篇:[流言板]曼晚:罗德里决意离开曼城去西甲,英超强度或也是影响因素-国际足球-国际足球资讯-虎扑社区
- ·“白海豚”逼近 浙江8-10日有严重风雨影响
- ·国联基金管理有限公司关于国联中证800指数增强型证券投资基金基金资产净值低于5000万元的提示性公告_新浪财经_新浪网
- ·曲美家居集团股份有限公司关于变更保荐代表人的公告_新浪财经_新浪网
- ·[流言板]家乡万人欢迎!费兰回忆世界杯进球:决赛前有预感会成主角-国际足球-国际足球资讯-虎扑社区
- ·[流言板]AUBL:谢昀达26分,政治大学力克早稻田大学晋级决赛-CBA-CBA专区-虎扑社区
- ·“闪崩”跌停!13亿资金惨遭站岗:3200万股疯狂排队出逃…|股价|钢管|角钢|跌停板|风范股份_网易订阅
- ·湖人官博有点不体面了-NBA-湖人专区-虎扑社区
- ·别人画皮他画魂,这个在修道院关了18年的男人,把每一具肉体都画成了圣像|画家|教堂|布格罗|伊里亚·叶菲莫维奇·列宾_网易订阅
- ·阿斯:维尼修斯感激穆里尼奥帮忙,双方共同让步促成续约|安切洛蒂|阿韦洛亚|皇家马德里|何塞·穆里尼奥_网易订阅
- ·科兴生物制药股份有限公司关于变更持续督导保荐代表人的公告_新浪财经_新浪网
- ·即日起不再支持!不少手机已经中招,很多人还浑然不知|app|安装包|苹果设备_网易订阅
- ·协鑫集成科技股份有限公司第六届董事会第二十七次会议决议公告_新浪财经_新浪网
- ·5年1.75亿!5年2.87亿!又一支NBA球队要解体了|卡森|活塞|华莱士|汤普森|米切尔|明尼苏达森林狼队_网易订阅
- ·兴业银行“亲儿子”,跳不出宿命|固收|投研|兴业基金|国泰基金|宁波银行|公募基金规模_网易订阅
- ·美国参议院通过俄罗斯制裁法案 剑指俄油买家_新浪财经_新浪网
- ·远江盛邦安全科技集团股份有限公司关于与专业机构共同投资的进展公告_新浪财经_新浪网
- ·夜读|史航:弘一法师日记,断食、绑架、采松子|出家|丰子恺|李叔同|六祖坛经_网易订阅
- ·第三届雷达学术前沿大会在首先沙举行
- ·洽洽食品股份有限公司关于第九期员工持股计划存续期即将届满的提示性公告_新浪财经_新浪网
- ·上海荣泰健康科技股份有限公司关于使用闲置募集资金进行现金管理赎回并继续进行现金管理的公告_新浪财经_新浪网
- ·美国四星上将: 只有打过仗的人才知道中国有多可怕-步行街主干道-虎扑社区
- ·14座鲁班奖也救不了你:特级建企破产重整,工程人该从中看到什么|中国建筑|公共资源|知名企业_网易订阅
- ·云南交投生态科技股份有限公司2026年半年度报告摘要_新浪财经_新浪网
- ·54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡|毛宁|心雨|赖文峰|李玲玉|深圳市_网易订阅
- ·阿斯:巴萨锋线B计划有争议,弗里克需要9号,德科想不买人|巴塞罗那队|莱万多夫斯基_网易订阅
- ·提帮功地铁站被偶遇,紧牵圆脸女友不撒手,撕掉“铁憨憨“”标签|王室成员|提帮功王子_网易订阅
- ·唐田赛前回应球队轮转,坦言个人足球哲学来自孙子兵法|鲁能|于根伟|孙子兵法(专辑)_网易订阅
- ·[流言板]家乡万人欢迎!费兰回忆世界杯进球:决赛前有预感会成主角-国际足球-国际足球资讯-虎扑社区
- ·齐沃不满了!国米迟迟没有边翼卫人选,赛季这就开始怎么实现梦想|曼城|国际米兰|皇家马德里_网易订阅
- ·嘉实基金管理有限公司关于旗下基金投资关联方承销证券的公告_新浪财经_新浪网
- ·贵州省黔南布依族苗族自治州成立70周年民族团结大巡游举行
- ·温州老板砸400万送独女留美,23岁的女儿被认识三周的男人杀死|无忧|人生|噩耗|温州市_网易订阅
- ·赌注十万亿:字节拒绝走蒸馏捷径背后,张一鸣的长期主义有多狠?|算法|预训练_网易订阅
- ·神仙逆转!国乒4人杀疯了!蒯曼“剃光头”,大迪连扳3局轰猛将|王艺迪|陈幸同|郑怡静|周启豪|横滨冠军赛_网易订阅
- ·“梅姨”模拟画像作者最新发声!年龄疑团尚未解开,律师解读|拐卖|刑法|犯罪|主犯_网易订阅
- ·大成稳丰3个月持有期债券型证券投资基金增聘基金经理公告_新浪财经_新浪网
