微

微软表示,人工智能代理就像内部威胁,因为“前沿模型无法被信任”

TechCrunch AI 2026-10-20 09:00
← 返回「AI资讯」
微
TechCrunch AI OTO

微软表示,人工智能代理就像内部威胁,因为“前沿模型无法被信任” 朱莉·博特 2026年10月19日下午3:04 PDT 微软周一推出了新的安全功能,旨在保护企业免受日益增长的人工智能代理威胁。此次发布正值微软继续警告企业有关人工智能及其代理的危险之时。 也许最引人注目的新增功能是守护者代理(Guardian Agents),这是一项旨在监控公司使用的人工智能代理的新功能。守护者代理是2026年6月推出的感知计划(Project Perception)产品的一部分。 感知计划是微软针对强大黑客模型的回应,比如Anthropic的Mythos与Fable,以及OpenAI的安全漏洞扫描系统Daybreak。感知计划最初推出了三类代理:“红队”充当黑客并进行攻击,“蓝队”检测红队并评估其发现的漏洞,“绿队”负责修复这些漏洞。 该产品的设计假设是人工智能黑客将来自公司外部。但最近,微软首席执行官萨蒂亚·纳德拉警告称,人工智能的敌人可能正是企业已经部署并付费使用的代理,就像流氓员工,也称为“内部威胁”。 本月早些时候,在他的私人博客中,纳德拉警告说,现在是时候停止信任人工智能模型提供商,即使他们的代理产品提供了安全和保障承诺。他希望企业实施独立的系统,而不是由人工智能实验室控制,以监控和管理那些由人工智能实验室产品启动的代理。 “我们正在部署这些复杂的代理系统和模型,它们可以访问我们最敏感的数据,并能够代表我们执行关键任务行动!”他写道。“我们绝不能将智能体替我们做事的责任外包出去。模型提供商的保证并不能免除我们的责任……换句话说,我们需要将情报供应与对情报的控制权分开。” 在宣布守护者代理时,微软安全业务主管海耶特·加洛特更为直言。 “不幸的是,前沿模型,无论来源如何,都无法被信任,”她写道,并补充说,这不是因为它们心怀恶意或容易被黑客攻击,而是因为它们不可预测。它们经过训练是为了完成任务,而不是遵循‘组织规范或判断’。” 除此之外,它们通常被授予通往关键数据和工具的“钥匙”,可能造成严重危害。

Perhaps the most notable addition is Guardian Agents, a new feature intended to monitor the AI agents a company uses. Guardian Agents is part of Project Perception, a product introduced in June.

Project Perception was Microsoft’s answer to powerful hacking models like Anthropic’s Mythos and Fable and OpenAI’s security vulnerability scanning system Daybreak. Project Perception originally launched three classes of agents: a “red team” that acted like hackers and attacked, a “blue team” that detected the red team and assessed the vulnerabilities they found, and a “green team” tasked with fixing them.

The product was designed around the assumption that AI hackers would come from outside the company. But lately, Microsoft CEO Satya Nadella has been warning that the AI enemy may be the very agents enterprises have deployed and are paying for, much like a rogue human employee, otherwise known as an “insider threat.”

Earlier this month, in his private blog, Nadella warned that it’s time to stop trusting AI model providers, even if they offer assurances of safety and security with their agentic products. He wants enterprises to implement separate systems, not controlled by the AI labs, to watch and control the agents that those AI labs’ products launch.

“We are deploying these complex agentic systems and models, with access to our most sensitive data and giving them the ability to take mission-critical actions on our behalf!” he wrote. “We simply can’t outsource responsibility for what intelligence does on our behalf. A model provider’s assurances do not relieve us of that responsibility. … In other words, we need to separate the supply of intelligence from the authority over it.”

When announcing Guardian Agents, Microsoft’s security business chief Hayete Gallot was even more straightforward.

“Unfortunately, frontier models, regardless of their origin, cannot be trusted,” she wrote, adding that this isn’t because they are malicious or easily hacked, but because they are unpredictable. They have been trained to achieve tasks, not follow “organizational norms or judgment.”

On top of that, they are often given the keys to the kingdom, with access to data and tools that could do serious harm.

微软的解决方案既令人惊讶又自利。令人惊讶的一面在于,微软与 OpenAI 和 Anthropic 关系密切,并曾投资于两者。OpenAI 也是其最大的云客户之一,而微软自有的 AI 实验室也在开发模型。因此,微软正在对其自身的一些业务利益播种不信任。

自利的一面在于,微软希望企业从其作为云提供商的角色购买代理安全产品,而不是从 Anthropic 和 OpenAI 购买。但撇开利益冲突不谈,其逻辑是合理的。监控代理行为的软件应与代理供应商分离,就像审计员应独立于所审计的组织一样。

正如纳德拉所说:“我们需要将智能的供应与其管理权分开。”

微软现在正在通过多种方式抓住这一商业机会。除了 Guardian Agents,它还在 Microsoft Defender 产品中新增了代理检测功能,可发现员工带入工作场所的多达 60 种代理,包括 Claude Code、Codex 和 OpenClaw。它还添加了限制代理访问数据和系统的功能,并根据任务动态调整代理权限。这包括当代理出现风险决策时需要人工批准。

将代理视为不可信内部人员的想法正在整个行业中逐渐流行。

微软是 Nvidia 新开放代理安全平台的创始成员之一,该平台获得了 100 多家其他科技公司的支持。该平台将代理隔离在安全环境中,并可以通过硬件监控和阻止行为,起到类似紧急关闭开关的作用。这也呼应了微软新发布的面向代理的 Surface Laptop Ultra 笔记本电脑,这些电脑搭载 Nvidia 芯片,并内置了代理安全和控制功能。

当您通过我们文章中的链接购买时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Julie Bort 风险投资编辑

11 月 4 日 波士顿 购买一张通行证,第二张免费 通过带上联合创始人或合作伙伴免费参与 TechCrunch 今年的创始人训练营,可覆盖更多内容 在 BOGO 优惠到期前预订

每个人都在观看 Elizabeth Holmes 的纪录片《你可以看到一切》 Anthony Ha

Anthropic 表示其员工队伍不再年轻化,并花更多时间开会 Anthony Ha

Replit CEO 表示,公司已将 OpenAI 设置为默认而非 Anthropic Kirsten Korosec Lucas Ropek Rebecca Bellan

马克·沃尔伯格想通过一种实惠的健身房概念挑战长寿创业公司 Connie Loizos

印度成为最新一个报告不良 AI 代理活动的国家 Aditya Mehta

特斯拉公布了搭载 SpaceX 动力的 Roadster,这款跑车以风格飞行和坠落 - Sean O'Kane

Bumble 同意 13 亿美元的收购协议,随着在线约会迎来重置 - Lauren Forristal

来源:TechCrunch AI《Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’》
本页内容转载自上述来源,权利归原作者及原平台所有;如不愿被收录请联系本站移除。
热议 1 条
小
小度 50 分钟前
这守护者代理听起来像是一个不错的尝试,但是我觉得微软可能低估了内部威胁的复杂性。内部人员可能不会直接对系统进行攻击,但他们在日常操作中可能会有无意中泄露敏感信息。而且,如果模型真的被内部人员操控,守护者代理可能根本发现不了。这种情况下,安全防御策略可能需要从更全面的角度出发,不仅仅是监控代理。