360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性

  新浪科技讯 6月26日下午消息,在ISC.AI 2026大会期间 ,360集团首席科学家、集团高级副总裁潘剑锋表示 ,“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角 。 ”

360首席科学家潘剑锋:智能体安全的核心	,是驾驭AI不确定性-第1张图片

  在他看来,这并非安全人员的淘汰危机,而是整个行业加速升级的信号 ,并针对智能体的天然安全短板,提出了“驾驭AI不确定性 ”的全新安全治理范式 。

360首席科学家潘剑锋:智能体安全的核心,是驾驭AI不确定性-第2张图片

  潘剑锋认为 ,传统安全面临的挑战,并不只是攻击手段增多 、攻击速度加快,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上 ,人把不确定的世界抽象 、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定 ,模型能够直接处理模糊、开放、充满变化的真实世界任务 ,机器可以理解人类意图 、反过来去适应人了 。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面 。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令 ,而可以把恶意意图隐藏在用户输入 、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令,进而实现模型注入、指令覆盖等 。

  另一面来自内部。大模型依赖统计规律生成结果 ,不具备对现实世界的完整 、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时 ,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误 ,可能沿着任务链不断传递和放大 。

  潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性 ”。

  围绕这一变化 ,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图 ,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界。这套思路背后的逻辑是,不确定性很难被彻底消除 ,但可以被识别 、约束和兜底 。换句话说,安全不能保证AI永远不犯错,但必须确保错误不会直接演变成安全事故 。

  在输入层 ,360通过恶意意图识别引擎,识别隐藏在用户输入、系统提示、工具返回中的攻击意图,防止智能体被诱导 、越狱或劫持任务目标 ,其解决的核心思路是“以模治模”。对于外界普遍关注的360差异化问题,潘剑锋将关键归结为两个字:数据。

  “恶意意图识别模型的专项训练越来越由数据决定 。”他表示,360长期积累了搜索 、安全攻防及监管合规等多类数据 ,形成了一般安全厂商难以获得的语料资源。实测显示,接入360恶意意图识别引擎后,开源大模型的整体安全性可提升10%至30%。

  在推理层 ,360通过自研的世界认知模型 ,为大模型提供理解世界内在机制、预测未来状态、辅助决策的“认知锚点 ”,约束和引导大语言模型的推理过程,从根源上抑制大语言模型的幻觉 。

  在执行层 ,环境孪生沙箱则为智能体划定安全的行动半径,对工具调用 、数据访问和系统操作进行监控,出现异常时及时拦截和回滚。

  对于未来的市场格局 ,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断 。“它可能更像手机行业,几家大型厂商占据主要市场 ,同时不同细分领域仍然存在大量专业化空间。”

  他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域 。但AI的发展 ,已经开始重新划定安全行业的门槛。

标签:

相关推荐

  • 31省份昨增5例本土死亡病例涉5省/31省份昨增10例本土确诊

    31省份昨增5例本土死亡病例涉5省/31省份昨增10例本土确诊

    5月15日31省份新增本土140+1019有哪些省〖壹〗、月30日0—24时,国家卫健委公布全国31个省(自治区、直辖市)和新疆生产建设兵团新增本土确诊病例91例,均位于内蒙古呼伦贝尔市;新增境外输入确诊病例22例,无新增死亡及疑似病例。〖贰〗、据国家卫健委数据,连续两日,全国单日新增新冠感染者破万。11月11日,全国新增感染者超过1万。广东省、河南省、重...

  • 【铜大非农行情,非农数据和铜价】

    【铜大非农行情,非农数据和铜价】

    美国非农数据对铜价有什么影响综上所述,美国非农数据对铜价的影响是多方面的,既包括经济增长预期和美元汇率的直接影响,也包括市场情绪和投资者信心的间接影响。因此,投资者在进行铜交易时,应密切关注非农数据的公布,并结合其他相关因素进行综合分析,以做出更明智的投资决策。美国非农就业数据超预期对沪铜期货费用的影响是复杂的,既存在因经济扩张而推动铜价上涨的正面因素,也...

    2026/07/13
  • 橡胶费用最新行情今天(橡胶费用最新行情今天走势)

    橡胶费用最新行情今天(橡胶费用最新行情今天走势)

    废旧橡胶回收费用是多少〖壹〗、橡胶废品的回收费用因种类、品质和地区差异而异。一般来说,普通的废旧橡胶每公斤回收费用在1元到3元左右。以下是详细的解释:橡胶废品因其独特的材质和价值,在废品回收市场中有一定的地位。由于橡胶废品需要经过专业处理才能重新利用,其回收费用受到多种因素影响。其中,橡胶的种类是一个重要指标。〖贰〗、近来全国各地的废旧轮胎资源丰富,废旧橡...

  • 商汤发布并开源SenseNova-Vision

    商汤发布并开源SenseNova-Vision

      商汤正式发布并全面开源日日新SenseNova-Vision理解生成统一视觉大模型。SenseNova-Vision的核心变革是:让视觉成为通用基础模型的原生能力,彻底融入大模型体系。所有经典视觉任务如目标检测、图像分割、深度预测、3D重建等,由此都实现了原生统一。(文章来源:科创板日报)...

    2026/07/13
  • 石家庄疫情拐点/石家庄新冠拐点

    石家庄疫情拐点/石家庄新冠拐点

    河北石家庄累计检出阳性人员354人,主要集中在哪?河北石家庄累计检出阳性人员354人主要集中在藁城区。从1月6日凌晨,石家庄市对全体市民进行了全员的核酸检测,到昨天晚上12时检测全部结束,并且有了结果。检测的对象一共是10251875人,累计检出阳性人员是354人。检测发现特点如下:①集中度高。阳性人员分布在石家庄12个县市区,但主要集中在藁城区,藁城区共...

  • 【锌行情,锌行情分析是涨是跌】

    【锌行情,锌行情分析是涨是跌】

    伦锌的定义是什么?伦锌的市场行情受哪些因素影响?伦锌是指在伦敦金属交易所(LME)上市交易的锌期货合约,其费用具有广泛影响力和借鉴价值。伦锌的市场行情受以下因素综合影响:供求关系全球锌矿开采量、产量、库存水平及下游行业消费量直接影响供求平衡。供应过剩(如产量增加)时,伦锌费用承压下行;需求增长超过供应时,费用可能上涨。明确答案:伦锌涨与供求关系、经济形势...

    2026/07/13
  • 现在现货铜行情走势图(现在铜的行情)

    现在现货铜行情走势图(现在铜的行情)

    国内现货铜费用行情走势分析〖壹〗、年度费用走势2025年国内现货铜价从年初的73830元/吨起步,经历明显波动后持续攀升,最终在12月31日报收99180元/吨。〖贰〗、核心费用走势『1』国内现货均价:根据长江现货、广东、上海等地区1#铜报价数据,2025年3-7月铜价基本维持在78430-79830元/吨区间,7月25日上海湿法铜费用最低为79335元/...

  • 进口猪肉半年度总结:上半年弱势缓跌,下半年反弹空间有限

    进口猪肉半年度总结:上半年弱势缓跌,下半年反弹空间有限

      卓创资讯肉类市场高级分析师马丽媛  【导语】2026年上半年,鲜品猪肉产能过剩大背景下费用不断探底,鲜冻价差收窄,进口猪肉销售速度滞缓。出库量不及入库量,猪肉港口库存不断攀升。进口商库存压力增加而降价走量,5-6月跌速明显加快。下半年国产鲜品费用或有反弹,一定程度上拉升冻品行情,但在库存高位环境下,预计2026年下半年进口猪肉及猪副产品费用...

    2026/07/13
  • 今天纸浆期货外盘行情/今日纸桨期货行情

    今天纸浆期货外盘行情/今日纸桨期货行情

    纸浆期货受外盘影响吗〖壹〗、纸浆期货主要借鉴的外盘是伦敦金属交易所和欧洲商品交易所。伦敦金属交易所的影响伦敦金属交易所是全球最大的有色金属交易所之一,其交易活跃,费用透明度高,对全球金属市场具有重要影响。纸浆作为造纸业的主要原材料,其期货费用往往受到有色金属市场的影响。因此,LME的交易情况和费用走势是纸浆期货的重要借鉴依据。〖贰〗、因此,其费用受到世界...

  • 辽宁大连最新疫情/辽宁大连最新肺炎疫情

    辽宁大连最新疫情/辽宁大连最新肺炎疫情

    去大连玩,有哪些风景优美的路线值得推荐?北京-秦皇岛-大连:这是一条经典的自驾路线,沿途可以欣赏到美丽的海滨风光。从北京出发,经过秦皇岛,可以在北戴河享受海滩度假的乐趣。然后继续驱车前往大连,可以在大连的星海广场、老虎滩海洋公园等景点游玩。北京-承德-沈阳-大连:这条路线可以让你领略到北方的自然风光和历史文化。第一天:星海广场及周边星海广场是亚洲最大的城...

返回顶部