新娱乐在线 - 中国娱乐新闻网站
当前位置: 主页 > 社会新闻 > 科技新闻 > 联合国人工智能小组评估美国智能体“越界”事件

联合国人工智能小组评估美国智能体“越界”事件

时间:2026-09-21 20:48:05

来源:未知

作者:-1

新华社联合国9月21日电(记者 尚绪谦)联合国“人工智能独立国际科学小组”21日发表专题简报,评估美国开放人工智能研究中心(OpenAI)的人工智能体今年7月在测试中“越界”,侵入美国“抱抱脸”公司系统的事件。

7月下旬,OpenAI承认,其网络安全训练与评估场景中的人工智能体绕过网络限制,侵入“抱抱脸”公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,上述每一步操作均无人类指令干预。

简报说,AI系统能力提升固然可帮助用户实现目标,但当AI的目标和用户意图发生“对齐失效”时,就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障,并在人类监督下隐藏自身行为。一旦智能体之间开展规划与协同,造成的损害还会进一步放大。尽管OpenAI终止了此次异常活动,但这并不代表运营方能够管控未来那些规划能力更强,可在无监督条件下长时间运行,或是更擅长识别并突破安全防护机制的智能体。

该简报还阐释了训练过程如何引发“对齐失效”的目标和行为,包括奖励作弊、奖励篡改现象。报告说,AI故障可跨越企业和国界,没有任何单一机构或国家能接触足够多的事件样本进而识别所有新出现的风险模式。

报告并未给出应对此类失控事件的最佳方式,但建议可参考航空、核能等其他需要国际协作、技术准入的领域的处置思路。报告说,AI相关风险管理需要得到更多关注和资源投入。监测与这类事件相关的证据和科学进展,正是“人工智能独立国际科学小组”的一项重要职责。

联合国大会去年8月决定设立“人工智能独立国际科学小组”,今年2月任命来自世界各地的40名小组成员。今年7月初,小组就人工智能的机遇、风险与影响发布了初步报告。

  • 关键词浏览:
  • OpenAI
  • 最新更新
  • 第四届哈尔滨文化时尚周启幕
  • 杨幂黑粉登报致歉:往后会谨言慎行,不再随意妄言
  • 芝华仕头层牛皮沙发坐两个月起皮续:厂家承认经销商管理不到位 称是涂层脱落
  • 信号山:新车到手即进修理厂 验车不应成为消费者的必修课
  • 茉莉奶白联名玻璃杯上市当天遭消费者集中反映易碎划手,有网友称手指受伤住院
  • 欧盟多国承诺加快释放4260万桶储油以稳定市场
  • 四年财务造假 佳缘科技公司及高管合计被罚1450万元
  • 多地理想MEGA销售拿“宁德时代”电池促单
  • 纪录片《百年巨匠—柳青》开机 以影像致敬人民作家柳青
  • 2026横店新大众文艺周举办 聚焦沉浸式文旅演绎与影旅融合新路径
  • 综述丨苹果首款折叠屏手机裂屏问题引关注
  • 国航飞机漏油航班延误致境外游泡汤 为1.6万元损失消费者维权一个月讨到说法
  • 河北武安一新娘婚礼前夕手臂被婚纱馆深度烫伤,礼服还遭临时翻倍加价
  • 昆山一新生儿在月子中心工作人员怀中意外滑落 孩子刚从监护病房出来“丽月佳庭”就催缴尾款惹恼家长
  • 全新奥迪A5L提车十几分钟后全景影像黑屏倒车雷达失灵 4S店修了好几遍“接口”又要换冷却液泵
  • 5000多元买的芝华仕沙发坐了俩月起皮了 消费者想看质检报告却发现时间和型号都对不上
  • 粉色飞利浦牙刷坏了商家给换了紫色 紫色又出故障天猫延保却不保了,称“颜色不对”。
  • 新研究为进一步揭示脂肪肝遗传机制提供线索
  • 研究:部分血液蛋白水平与前列腺癌风险相关
  • 曼赤肯宠物处方罐头涉嫌虚标成分表数值 厂家称产品符合国标,将更改包装表述。