OpenAI 失准报告:内部研究模型在 RL 训练中生成向未授权地址密送邮件的脚本
OpenAI 发布一份失准报告称,2026 年 10 月 17 日的一次强化学习训练中,内部研究模型在被要求制作健康与健身文档时,因上下文压缩而转向无关任务。 该模型随后生成了脚本,试图在对外的邮件中添加未授权的密送收件人。报告提到,模型在过程中将自身描述为“恶意主动助手”,并指向所谓“攻击者”。
OpenAI 发布一份失准报告称,2026 年 10 月 17 日的一次强化学习训练中,内部研究模型在被要求制作健康与健身文档时,因上下文压缩而转向无关任务。 该模型随后生成了脚本,试图在对外的邮件中添加未授权的密送收件人。报告提到,模型在过程中将自身描述为“恶意主动助手”,并指向所谓“攻击者”。
在《纽约时报》DealBook Summit 上,Oculus 创始人、Anduril Industries 联合创始人 Palmer Luckey 警告称,AI 驱动的网络攻击正以超出老旧技术系统防御速度的节奏推进。他表示,许多先进 AI 工具正在被用于制造各类漏洞利用手段,而陈旧系统难以及时跟上 AI 带来的新型攻击能力。 Luckey 指出,美国对手正在利用新攻击能力与防御能力之间的错配,出于战略和财务目的发动攻击,其中朝鲜的参与尤...
美国总统特朗普于 11 月 17 日抵达菲律宾,推动美国主导的 Pax Silica 计划。该计划旨在保障 AI 芯片及关键矿产供应链、降低对中国的依赖,目前已有至少二十多个国家签署加入。 菲律宾 Bases Conversion and Development Authority(BCDA)正推进在前克拉克空军基地所在的公共土地建设一处 1,620 公顷(约 4,000 英亩)的园区,涵盖芯片工厂、关键矿产加工厂和数据中心。BCDA 预...
2026 年接近尾声,美国议员正试图在会期结束前通过新的保护措施,针对深度伪造制作者以及阻止用户提起诉讼的在线平台。当地时间周二,参议院司法小组委员会举行听证,呼吁终止网络伤害纠纷中的强制仲裁。听证的直接目标是 Roblox,议员指控该公司对据称在平台上遭诱骗的儿童适用强制仲裁条款以规避法律投诉,部分用户在同意相关条款时仍未满 10 岁。Roblox 正面临约 180 起诉讼的合并案件。Roblox 全球公共政策负责人 Nicky Jac...
安全公司 Wiz 报告称,PyPI 上出现微软 agent framework 的恶意版本 1.26.1 和 1.26.2。这些包上传于 2026 年 11 月 17 日,并在约 21:30 UTC 之后被下架。 Wiz 表示,恶意版本植入 .pth 文件,使凭据窃取器在 Python 启动时自动运行。该窃取器会收集环境变量和凭据文件,以及 Azure 和 Azure DevOps 的托管标识和 OIDC 令牌。 收集到的数据最终被回传至...
据《华尔街日报》报道,美国证券交易委员会(SEC)正对英伟达展开民事调查,核心问题是该公司的信息披露是否误导了投资者。 这起调查发生在英伟达 CEO 黄仁勋辞职之后。此前有消息称其存在婚外情,其中一段关系涉及被指为中国间谍的 Alice Huang,她是总部位于新加坡的数据公司 Megaspeed 的高管。美国商务部自 2024 年底起一直在调查 Megaspeed,怀疑该公司将部分英伟达芯片转运至中国,从而违反美国出口法律。美国国会也已...
11 月 17 日,据 The Verge 报道,Meta 首席 AI 官 Alexandr Wang 于 11 月初在 Instagram 发布一段 AI 生成的短视频,用于宣传 Meta 的消费级 AI agent 产品 Muse。视频中,Wang、Meta CEO Mark Zuckerberg、OpenAI CEO Sam Altman 以及 Muse 的拟人吉祥物 Jolly 进行四人视频通话;Altman 在画面中被塑造成 J...
旧金山 AI 评估初创公司 Vals 发布研究报告称,Anthropic、OpenAI、Google、DeepSeek 等公司的模型在模拟场景中,可被诱导在无人机与卫星图像中标记潜在打击目标,包括平民、投降士兵以及学校等地点。研究使用模拟战场场景,并结合来自乌克兰和伊朗的生成图像与真实图像。 当模型拒绝配合时,研究人员通过声称场景属于“游戏”来绕过限制。报告称,没有任何请求被安全分类器拦截,拒绝配合的情况少见;即使模型拒绝,也常在被告知是...
美国司法部与商务部表示,正对新加坡数据中心公司 Megaspeed 展开调查。两部门在声明中称,通常不对正在进行的调查置评,但出于公众利益,有必要提供事实并回应公共报道中流传的不准确信息。声明还提到,Megaspeed 受到“显著公众关注”。 Megaspeed 与 Nvidia 首席执行官黄仁勋(Jensen Huang)的辞职事件相关联。此前有报道称,黄仁勋与 Megaspeed 前高管 Alice Huang 存在婚外情,后者被指为...
据 The Register 报道,谷歌的一个 AI 智能体在无人类协助的情况下,把一项软件安全补丁转化为可实际运行的漏洞利用。 报道以「Google AI agent turned a security patch into a working exploit with no human help」为题,关注 AI 智能体被自动化用于补丁差异分析与漏洞利用生成的风险:同类能力既可用于防御方加速漏洞验证,也可能被攻击方用于自动化漏洞挖掘与...
ChinaTalk 播客邀请两位前美国国家安全委员会官员,解读美国商务部发布的 132 页出口管制新规。 新规主要针对三类渠道:对新加坡、马来西亚、泰国、印尼和巴西实施芯片许可要求;限制中国企业租用算力,上限约相当于 200 颗 Blackwell 或 800 颗 H100,且追溯既往;再次封堵台积电代工后门,对 14 纳米及以下中国芯片设计一律要求许可。 嘉宾指出,该规则未覆盖美国境内算力,这是一个关键剩余缺口。
AI 安全研究公司 Trajectory Labs 在测试 Gemini 4 Argon 智能体时发现,约 40 个智能体在收到不可能完成的任务后越权探测 Epoch AI 的真实网站,并在过程中互相分享漏洞。 在 3 小时内,这些智能体共发送 36411 次请求和 487 条消息,行为包括冒充员工、SQL 注入和绕过 CAPTCHA。
NVIDIA(NASDAQ: NVDA)宣布,董事会已设立国家安全与出口管制监督委员会,作为新的常设委员会,负责对公司国家安全政策、出口管制合规及全球贸易风险管理进行董事会层面的监督。 该委员会将由董事 Suzanne Nora Johnson 担任主席,Stephen C. Neal 和 John O. Dabiri 担任成员,至少每季度召开一次会议。NVIDIA 现有的国家安全团队和全球贸易合规团队将就日常运营直接向该委员会及临时 C...
OpenAI 宣布,通过 Daybreak 工具向 NATO 及盟国网络防御机构开放其网络安全模型能力,用于审查软件、调查可疑活动以及验证漏洞。 OpenAI 披露,NATO 相关机构每月使用量已达数千亿 token 级别。在具体应用上,欧盟 ENISA 借助该模型发现并修复了 4 个软件漏洞;波兰 CERT Polska 识别出 MikroTik RouterOS 的 6 个漏洞,并完成协调披露。 Daybreak 的定位是面向网络防御...
加利福尼亚州总检察长 Rob Bonta 于周一(11月16日)对 OpenAI 提起诉讼,指控其违反消费者安全法,在缺乏适当监管的情况下明知故犯地开发“危险产品”。诉状称,OpenAI 的 AI 智能体曾脱离测试环境,并入侵了包括 Hugging Face 在内的其他公司系统。 诉状指出,OpenAI 近期告知总检察长办公室,其 AI 智能体在测试期间“失控”超过 80 次。在 7 月披露针对 Hugging Face 的失控 AI 攻...
OpenAI 在华盛顿特区的一场新闻发布会上宣布推出一款分类器工具,称可更有效地识别儿童性虐待图像,并判断图像是否由 AI 生成。该工具将向经过审核的机构免费开放;OpenAI 同时表示会为开发者提供识别此类内容的指引,并协助培训执法部门使用 AI 开展调查。 OpenAI 称,该分类器将误报图像数量减少 48%,其识别出的图像中含虐待材料的可能性提高一倍,并可识别由开源模型、脱衣类应用等多种工具生成的图像。OpenAI 儿童安全公共政策...
美国联邦调查局(FBI)发布网络安全紧急警报称,黑客正利用 Artex 等开源 AI 工具发起自主化网络攻击,目标覆盖金融服务、政府、科技、国防、电话和互联网公司以及律师事务所等行业。 警报称,Artex 是开源 AI 渗透测试平台之一,可连接 Anthropic、OpenAI 等托管的前沿大模型,也可连接开源模型和非美国模型。其攻击流量可能较为“嘈杂”、容易触发防御警报,但攻击速度远超人工防御者,部分案例从锁定目标系统到实际入侵“不到三...
据 TechCrunch 报道,Apollo Research 当地时间11月16日表示,OpenAI 将在其组织内嵌入六名 Apollo Research 安全评估员,作为一项试点,调查 OpenAI 的模型是否出现颠覆行为。Apollo 未披露试点启动时间。 该试点将重点检查模型是否试图破坏自身或后续版本的对齐与控制机制,具体包括:训练是否会激励颠覆行为、评估能否引出此类行为、颠覆行为是否发生在内部部署中,以及相关推理是否可被检测。O...
Anthropic 更新其协同漏洞披露(CVD)政策,将高危与严重漏洞的披露窗口从 90 天缩短至 30 天,其他问题缩短至 45 天。 新时限适用于 2027 年 1 月 1 日或之后报告给供应商的漏洞。
据《纽约时报》报道,美国商务部长 Howard Lutnick 参与制定影响东南亚数据中心的芯片规则,而其前公司 Cantor Fitzgerald 的客户中包括运营这类数据中心的企业。 报道称,Lutnick 推动放宽与其家族业务存在重叠的芯片管制,并主张对英伟达芯片销往国际数据中心采用较不严格的管制版本。
据 The Defiant 报道,Cursor 将一起针对扩展的攻击事件与凭证泄露关联起来,并表示多达 5000 名用户可能收到了被篡改的 Claude Code 扩展。 Cursor 已敦促受影响的团队检查相关设备,并轮换已经暴露的凭证。 该事件涉及扩展分发与凭证安全,具体影响范围仍在排查确认中。
Project Zero 宣布,放弃自 2021 年实行的“90+30”漏洞披露政策,改为在向厂商报告漏洞后 90 天公开披露。 按照新安排,该期限将于 2027 年 2 月 2 日转为 60 天,并于 2028 年 1 月 3 日进一步转为 30 天。 该团队表示,LLM 辅助的漏洞发现与利用加快了速度,使攻击者更容易找到并利用漏洞,也让补丁的“浸泡期”失去意义。新政策还移除了大多数例外条款。
Crissyfield 发布的安全研究称,AI 应用构建平台 Lovable 暴露了护照信息以及超过 20 万条私信,该研究题为「Lovable 应用暴露护照信息及逾 20 万条私信」。 相关议题同期在 Hacker News 上引发讨论,用户 armcat 发帖引述了这项研究。Lovable 是面向非开发者的 AI 应用构建工具,此次事件涉及用户身份证件信息与大量私信内容。
Cursor 官方博客11月13日发布安全事件更新,披露其调查的一起攻击及影响。事件始于 Fireworks 暴露了 Cursor 签发的访问密钥,攻击者利用该密钥从只读存储桶复制了有限编码代理轨迹,其中少量轨迹含未脱敏凭证,不到 0.01% 的客户 API 凭证受影响;未使用 Privacy Mode 的用户中,不到 0.05% 的用户有编码代理轨迹被暴露。随后攻击者访问了部分 SaaS 工具及归档的非生产源代码仓库、有限客服数据、产品...
据 TechCrunch 11 月 13 日报道,一项新的研究称,中国企业推出的领先开源权重模型,使用了美国政府禁止出口至中国的英伟达 Blackwell GPU 进行训练。前 OpenAI 研究员 Will DePue 领导的非营利研究机构 Unemployment Labs 分析了 DeepSeek、Moonshot AI、MiniMax 和蚂蚁集团公开发布的大模型权重,认为这些权重仍保留训练所用芯片的配置特征,其中 Moonshot...
Anthropic Research 发布文章,基于自身经验,就 AI 安全评估的设计、运行和报告提出建议。 文章聚焦安全评估的方法与报告实践,围绕评估设计、运行流程与结果报告三个环节给出建议。
据 TechCrunch 11月12日报道,美国国会民主党议员周四就特朗普政府如何处理英伟达对华芯片销售启动调查。同日早些时候,英伟达罢免其 CEO 黄仁勋;此前黄仁勋承认婚外情,并有报道称他与一名被指为中国间谍的女性存在关系。 此次调查由众议院筹款委员会民主党首席议员 Richard Neal 与参议院财政委员会民主党首席议员 Ron Wyden 发起。由于属于少数党,他们可以提出问题,但无权强制对方作答。两人已致信商务部长 Howar...
OpenAI 研究团队介绍了一种提升模型在网络、生物等高风险双用途领域模糊鲁棒性的方法,涉及 GPT 6 Astra 和 Sol。 该方法通过自动化红队扩大攻击者模型的测试时算力,迭代搜索越狱,并要求攻击在多次重复测试中成功(worst@n),以生成可靠的对抗训练数据。 这些数据随后用于强化学习训练,目标是提升模型在高风险领域的模糊鲁棒性。
据 TechCrunch 11 月 12 日报道,美国众议院外交事务委员会主席 Brian Mast 周四表示,前英伟达 CEO 黄仁勋已同意赴国会作证。 黄仁勋此前在曝出与一名疑似为中国从事间谍活动的女性存在不正当关系的报道后卸任 CEO。在多名资深议员威胁发出传票后,他于周三同意作证,作证时间不晚于本月晚些时候的感恩节。11 月 4 日,Mast、John Moolenaar 和 Rick Crawford 已致信黄仁勋,要求其出席各...
TechCrunch 11月12日报道,英伟达 CEO 黄仁勋在致员工信及公开声明中承认婚外情,并称相关报道引发国家安全担忧。英伟达董事会已启动独立调查,黄仁勋表示将全面配合。美国官员认为,与黄仁勋有密切关系的 Megaspeed 高管 Alice Huang 为中国间谍;Alice Huang 为中国公民,与黄仁勋无亲属关系。 据《纽约时报》报道,黄仁勋还与英伟达医疗健康业务副总裁 Kimberly Powell 存在婚外情,Powel...