李国杰院士:基于可判定性理论的人工智能系统安全风险分类_手机...
【新智元导读】李国杰院士指出,AI安全风险应按逻辑复杂性分为三类:R1可验证、R2可发现但不可证明安全、R3不可治理。当前AI多属R2,关键不在「证明安全」,而在构建人类主导的制度性刹车机制,拒绝让渡终极控制权。 无论是软件工程、自动控制还是其他形式化方法,它们共享同一个假设:存在一组可穷尽的状态或行为集合
李国杰院士:基于可判定性理论的人工智能系统安全风险分类
【新智元导读】李国杰院士指出,AI安全风险应按逻辑复杂性分为三类:R1可验证、R2可发现但不可证明安全、R3不可治理。当前AI多属R2,关键不在「证明安全」,而在构建人类主导的制度性刹车机制,拒绝让渡终极控制权。 无论是软件工程、自动控制还是其他形式化方法,它们共享同一个假设:存在一组可穷尽的状态或行为集合,可以...
...今日实时科技热点速递|英伟达|机器人|黄仁勋|人工智能|受访者...
10、李国杰院士:基于可判定性理论的人工智能系统安全风险分类 (来源:新智元)新智元报道编辑:LRST【新智元导读】李国杰院士指出,AI安全风险应按逻辑复杂性分为三类:R1可验证、R2可发现但不可证明安全、R3不可治理。当前AI多属R2,关键不在「证明安全」,而在构建人类主导的制度性刹车机制,拒绝让渡终极控制权。无论是软件...
观点| 李国杰院士:基于可判定性理论的人工智能系统安全风险分类
其中,一元内生安全聚焦于智能算法内生缺陷导致的算法决策失信,主要对应行业视角的Ⅱ类安全风险;人机交互二元安全关注智能算法滥用误用导致的算法行为与用户权益的失配,主要对应行业视角Ⅲ类安全风险的R2-B;多元系统性安全着眼于人机共生系统中因算法博弈对抗导致复杂社会系统的演化不可控,主要对应行业视角Ⅲ类安全风险的R2-...
李国杰院士:基于可判定性理论的人工智能系统安全风险分类
【新智元导读】李国杰院士指出,AI安全风险应按逻辑复杂性分为三类:R1可验证、R2可发现但不可证明安全、R3不可治理。当前AI多属R2,关键不在「证明安全」,而在构建人类主导的制度性刹车机制,拒绝让渡终极控制权。 无论是软件工程、自动控制还是其他形式化方法,它们共享同一个假设:存在一组可穷尽的状态或行为集合,可以...
【学术科研】智能算法安全全国重点实验室召开第一届学术委员会第二次会议--中...
学术委员会主任李国杰院士在致辞中指出,破解人工智能算法的“自主性”与“可控性”的对立统一,这是智能安全的核心挑战。针对黑盒模型不可解释性、概率计算不确定性和系统涌现风险三大根源,实验室团队在中国科学院院刊发表的《智能算法安全:内涵、科学问题与关键技术》提出了三大攻关方向,即算法可信域判定、模型透明化...
人工智能将走向何方?——访中国工程院院士、计算机专家李国杰
李国杰,中国科学院计算技术研究所研究员、首席科学家,中国工程院院士,第三世界科学院院士。研究方向为计算机体系结构、并行算法、人工智能、计算机网络、信息技术发展战略等。曾任国家智能计算机研究开发中心主任、中国科学院计算技术研究所所长、中国计算机学会理事长、国家信息化专家咨询委员会信息技术与新兴产业专委会副主...
对话李国杰院士:突破麦肯锡和图灵的框框,人工智能要解决大问题
李国杰作为嘉宾参与了GAIR 2021“并行计算与系统结构40年”纪念圆桌的现场讨论。会后,李国杰与雷峰网进行了一次对话,评述了计算机科学和人工智能理论研究长期以来存在的“不以解决问题为导向”的倾向,对“顶不了天、落不了地”做了进一步解读:AI的“顶天”和“落地”指的是AI不仅要解决已有应用中的一些小问题,更要...
中国工程院院士为人工智能赋能|院士背书|邀约院士
李国杰院士的观点和建议为人工智能的发展提供了重要的方向指引。他强调人工智能技术的落地应用、人机协同的科研模式、可解释性与安全性的平衡以及复合型人才的培养，这些都为人工智能赋能各行业、推动科学研究和技术进步提供了有力支持。他的贡献不仅推动了人工智能技术的理论发展，更为其在实际应用中的广泛落地奠定了坚实...
李国杰:构建规范使用AIGC的科技伦理 | CCCF精选
这种伦理框架承认智能系统在知识创造中的正当地位,但应保证科学判断与社会责任牢牢掌握在人类手中。未来可能会建立新的学术范式,由类似开源社区的开放平台专门发表AI为主的学术成果,不仅公布结果,还要公开其诞生的过程;用“过程可追溯认证”取代“结果判定式检测”,在写作工具中嵌入“AI使用日志”与时间戳,自动记录AI...
李国杰:智能化科研(AI4R)—第五科研范式
文章将“智能化科研”(AI4R)称为第五科研范式,概括它的一系列特征包括:(1)人工智能(AI)全面融入科学、技术和工程研究,知识自动化,科研全过程的智能化;(2)人机智能融合,机器涌现的智能成为科研的组成部分;(3)有效应对计算复杂性非常高的组合爆炸问题;(4)面...
专家解读|新框架实现三个“转变”,构建我国人工智能安全治理新格局
在风险体系上,《人工智能安全治理框架》1.0版将人工智能安全风险分为“内生安全风险”和“应用安全风险”两大类,主要聚焦算法、数据、系统本身以及在应用中可能引发的现实、网络、认知与伦理问题。而《框架》2.0版则对风险分类进行了系统优化,将安全风险细化为三类:技术内生安全风险、技术应用安全风险和应用衍生安全风险...
...兼序《中国科学院院刊》“人工智能与公共安全”专题 - 今日头条
在人工智能时代,算法作为一种新的生产工具,在各种系统服务中扮演着比以往更重要的角色,在推荐系统等场景甚至已经成为人类决策的替代。由于生成式人工智能算法普遍不具有可解释性,在应用场景中会给公共安全带来未知的风险和挑战。中国科学院计算技术研究所程学旗研究员等将聚焦智能算法安全的内涵与科学问题,促进智能算法可信...
人工智能:如何握好这把“双刃剑”_重要信息转载_新闻中心_四川省...
我国已将人工智能安全纳入国家战略,并上升至总体国家安全观的重要组成部分。这是因为,人工智能技术的迅猛发展正在重构国家安全治理的格局,其中部分风险突破了传统技术伦理范畴,形成系统性、多维度的威胁。 以当下热度最高的生成式大模型为例,我们可以关注到这三类安全危机: ...
李国杰院士:10年内AI最大潜力是成为“爱迪生”而非“爱因斯坦...
在高温超导材料研究中,佛罗里达大学团队开发的BEE-NET机器学习系统,从庞大的材料数据库中筛选出741种热力学稳定的富氢化合物,并预测其中至少130种在常压或高压环境下可能具备超导性(临界温度Tc > 5 K),且已有至少两种材料通过合成验证了超导特性。这是AI在超导材料领域实现端到端、可信闭环发现的重大成果。
延续数字治理路径,AI安全风险如何分级分类?-传感器专家网
延续数字治理路径,AI安全风险如何分级分类? 人工智能技术在过去一年里突飞猛进,与期冀共行的是担忧——从国内发布《生成式人工智能服务管理办法(征求意见稿)》(下称《征求意见稿》),到欧盟争分夺秒地商议《人工智能法案》、美国推出《关于安全、可靠和可信地开发和使用人工智能的行政命令》,各国法规政策密集出台。
人工智能监管的三重维度_中共西藏自治区委员会网络安全和信息化...
其目标包括:鼓励创新,增加人才供给多样性,提高管理能力,确保人工智能应用的安全、可控、可信。2023年1月,美国国家标准与技术研究院公布《人工智能风险管理框架》,用于指导组织机构在开发和部署人工智能系统时降低安全风险,避免产生偏见和其他负面后果,提高人工智能可信度,保护公民的公平自由权利。
确保人工智能安全、可靠、可控_中共西藏自治区委员会网络安全和...
人工智能技术的复杂性和不确定性使其可能带来多种风险,如数据泄露、算法偏见、系统被攻击等,这些风险可能对个人、企业和社会产生负面影响。人工智能技术的风险评估与分类分级监管是确保人工智能技术安全、可靠和可持续发展的关键环节。通过建立健全风险评估与分类分级监管机制,既可以有效识别和量化潜在风险,保障人工智能技术...
日本把宇树机器人改成僧侣__财经头条__新浪财经
2月24日 10:11| 行业动态人工智能迭代 李国杰院士:基于可判定性理论的人工智能系统安全风险分类 今天08:21| 资讯滚动系统安全人工智能 玩家硬改ROG RTX 5090显卡刷入1000W BIOS,无视警报致接口熔毁 2月25日 11:39| 滚动消息BIOS Anthropic「蒸馏」了人类最大的知识库 2月25日 09:04| 资讯动态盗版40 “泰小...
智能算法安全:内涵、科学问题与展望 - 信息科技 - 信息科技...
进一步,基于当前实现TRC范式中的技术难点与智能算法可信、可管、可控的目标,文章提出实现智能算法安全需要重点突破的不确定性算法的可信域判定、黑箱模型的透明化监测与人机共生智能系统的风险临界点感知3个重大科学问题。最后,围绕TRC范式的“度量—评估—增强”技术体系,提出7项研究方向建议与4方面智能算法安全相关的...