以下为方院士现场演讲速记初审稿，保证现场嘉宾原意，未经删节，或存纰漏，敬请谅解。

网络安全专家、中国工程院院士  方滨兴

我们先从一个宏观的角度来看，作为一个新技术和安全有什么样的关系？

当一个新技术用于安全时，它会存在着两种情况，一种是把新技术支撑安全，当然它可以做攻击，也可以做防御，这个新技术实际上是被安全领域来利用了。第二种是出现了一个新技术，它本身就会带来一个新的安全问题，也就是说它有可能是自身还不够安全就用了。我们有时候说它可能是一个潘多拉的盒子，把魔鬼放出来了，危害了其他的领域。我们可以把它看成四种情况：

第一种情况，它用于助力防守，助力攻击，内生安全，衍生安全。我们从这个视角来看看人工智能是什么情况。首先人工智能会助力防御，人工智能供给，样本攻击，威胁人类。这是国外开发的一个系统，叫做AI2，用人工智能方法来分析你是不是有攻击的情况，它通过大量的数据学习让人给它做一个判断，是不是攻击。这种知识就能够判断是否会出现新的攻击。最后得到了很好的效果，发现攻击的情况比过去提高了3倍。

第二种情况，人工智能助力于网络攻击，我们叫做自动化的网络攻击。在美国2013年就准备推这件事，他就说我要搞机器人的自动攻击。我们两年后要搞一次比赛，来干这个事儿。2016年就做了这个比赛，进入了初选，一年时间进行决赛。这是等于通过机器人，完全在人不干预的情况下自己去搞计算机的攻击，来看人工智能能够发挥什么样的作用。

在这里面一个核心是要编一个“网络推理”系统，也就是计算机一定要能够自动的去发现程序有没有漏洞可以被利用，如果可有的话，我们就想法自动生成一个程序攻击你，同时也防止我让人家利用。

2015年的初赛提供了大概131个程序，覆盖了53种不同类型的漏洞。而且要求你的计算机运行时间只有24小时，也就是说你得算得很快，要算几天这个事就做不下去了。而且这53类里面涵盖了590个漏洞。但是结果是，所有这590个漏洞都被发现了。这里面有很多的团队，但是事实证明没有一个漏洞不被计算机发现。从这来看计算机的能力有多强，它当时有100多个队伍，其中有70多个是政府资助，其他的是自己报名的。那么报名的结果，初赛结果选了7个团队，这7个团队就进入决赛。决赛和初赛是什么呢？初赛是自动生成程序，分析生成的效果如何，包括防御、攻击、监测。最终有7个团队入围决赛。

赛就开始有人机对抗。通过计算机生成的打补丁的程序，最后是看谁强大。最后是卡内基梅隆大学的一个程序获胜了，它获胜了之后，就让它去参加人类的比赛，在人类比赛的最后决赛的过程中，前20名里面它排列了第18，换句话说它在一个顶级团队中干掉了两个团队。所以说人工智能在助力攻击的时候还是很可怕的。

第三，人工智能自身存在着脆弱性，我们有一个“对抗样本”。就是无论在一个场景下，我们做什么都是机器学习，这个场景与原来学的东西无效，它就是让你判断失误。像自动驾驶在我看来，还有很长的路要走，它还是成为辅助驾驶。大家开车从高速要下来要变道，在北京从主干道往下变非常难，自动驾驶我认为不可能下去。因为人工智能它一定要保护一个安全距离，但是人开车的时候打心理战。

对抗样本会出现什么情况？这是一个图像，这一侧是原图，是一个熊猫，我加一个噪音，大家看这个噪音很大，但是我把这个噪音加了一个千分之七的比例，所以核对的结果是这边，人一看还是熊猫，但是这个图已经是这个图+上了这个噪音图，人看是熊猫。那么计算机看到的是长臂猿。甚至能够做到修改一个像素，让你完全分类错误，或者把你的标签改变了，然后对你做欺骗。这是对抗样本的结果。这个想识别男人还是女人，对抗者就把上面这个女人加了那么一个框图，加的结果是旁边人看还是女人，但是计算机去分类说上面的是男人。同样下面的男人给他加一个对抗噪音，人一看他还是一个男人，但是计算机一看就是女人。

甚至有对抗的竞赛，这是中国清华大学有一位叫张院士带领的团队参加的竞赛，第一，给定一个输入图像，生成一个对抗图像，尽可能使一个未知分类器给出错误的分类结果。就是攻击者我拿这个对抗样本能不能让你分类错误。第二，我你给一个图像，明明是猫，你分成马，我能不能做到。第三，我防止别人来攻我，我设计的东西别人拿什么样本我都分类不错误，这三种比赛清华大学都拿了第一。

其中攻击别人的方法主要是把他们加动乱性，把稳定做一个破坏。这明明是一个雪山，加了一个噪音，结果绝大多数的分类器都把它理解为是一个狗。这明明是一个河豚，加上一个噪音之后变成这个图像，把它理解为是一个螃蟹。它防止别人去攻击他，他采取的方法就是去噪音。这是一个原始的图像熊猫，加上了噪音，它试图让分类器把它理解为是一个狗，但是清华在这里面去噪音，让它不被理解为是狗。总之这里面就是存在这种对抗。

最后一个就是人工智能具有危及人类的潜在威胁。特斯拉大家都知道，开车自动驾驶的过程当中，撞到了一个白色的箱货车，车毁人亡。这是因为特斯拉的摄像头焦距很窄，高清的，所以他先头看的是白云，突然看到车厢中间一块，认为这还是白云，就撞上去了。所以这个就等于对它的传感器的识别做出了欺骗。这个车，自动驾驶车把人撞死了，发现这个系统里面看到这个人了，没有任何决定刹车的动作。这个自动驾驶怎么了？我们说你可能有你的失误，但是你危害了人类。人们已经开始关注这类的问题了，国际社会宣言说不能拿人工智能用于武器，国际著名的学者马斯克认为，人工智能是要威胁到人们的未来，需要加强管理。霍金也认为人工智能一旦脱离约束，这个是不可控的。彼尔盖茨认为人工智能最终构成一个现实性的威胁。

怎么防止它？阿西莫夫提出机器人三大定律，第一，机器人不得伤害人类或看到人类受到伤害而袖手旁观。第二，在不违反第一定律的前提下，机器人必须绝对服从人类给与的任何命令，第三，在不违反第一定律和第二定律的前提下，机器人必须尽力保护自己。所以最早人们的期望现在已经被研究者给破坏掉了。

人工智能为什么会危害人类？前提它是要有一个人工智能的行为体，行为体有四个要素，感知外部环境，内部算法，自身驱动装置，还要有交互行为。所以说外部需要能够感知，我内部算法要做决策，驱动装置你是要移动起来。然后要自治，你要决定自己做什么。这里面人工智能行为有很多，自动驾驶机器人，自动驾驶汽车，人工智能武器等等，我们说它都是人工智能行为体，因为它有行为。

人工智能在什么情况下会危害人类呢？我认为要同时满足三个条件，第一，有行为能力，能动；第二，有破坏力，有危害性；第三，能够自治。

首先能动的问题早就解决了。

第二，有没有破坏力，这是一个学者他做的一个演讲，这是一个名字叫杀人蜂，有这种破坏力的时候，这是一个危险因素。

第三个要素，就是它得是一个自动行为体。Facebook曾经在做研究的时候突然发现它研究的两个机器人之间发生了这样的对话，这个对话屏幕上是乱码，但是一看是有规律的操作，所以吓一跳就关了。因为我们在自然语言翻译的时候，在机器里面是机器的原语，我们有状态图，但是你要展现出来，及其可以用原语对话的时候，它就坚决不翻译，继续用原语对话，那么人怎么办？人根本不知道它进展到什么程度，如果机器人对话的时候人知道它进展到什么程度，你会防范一些。所以只要有你不能理解的地方，你就不知道它会走在哪一步。

人类的学习是需要建筑在洞察力之上，这是因为人类的记忆是有限的。AlphaGo它把围棋看成一个点阵，这个点阵只有19*19，我们看一个图现在都是几千乘几千了，只有三个颜色，黑、白和非黑非白，那么这个机器人它无非就是把它19乘19，这个图都是很小的，而且从一个图到另一个图的跃迁无非就是这么几种可能。到底哪个图更好，人永远不是这么下棋的，既然它能够做到和你完全不一样，它走到哪一步你怎么知道？所以他能不能失控你怎么知道？搞AI的人从来不这么想，但是我们老百姓觉得它挺可怕。所以说是否能自治，这是我们需要认真思考的。

运动体已经比比皆是了，破坏力已经突破掉了，关键就是能不能自治，我们现在碰到了很多事故了，是事故还是失控你控制不了，它还是有规律的，这就是一个很大的风险。但是人工智能你不教它干什么，它就不会干什么。我们叫做自我目标。

但是我们不能太相信机器人不会危害人类，所以要对它有约束。有一个国际标准，提出了四种约束条件，第一种安全级的监控停止，当出现问题的时候，有让它停止的能力。第二，是手动引导，做什么事儿我让它做它开始做，如果这个机器人只能手动才开始做的话，它就没法给自己定宏观目标。第三，速度和距离监控，当它和人比较接近的时候，速度必须降下来。第四，功率和力的限制，当和人接近的时候功率必须迅速降下来，这些都是要保护人类要做的事情。

我们提出一个AI保险工作理念，任何一个机器人首先要有驱动，然后要有决策，我就在驱动和决策之间插入一个保险箍，就是要防止它做危害人类的事。你要想做这个就必须要解决我们首先是远程控制，能够让它停下来，能够限制它做事情。它有可能自己把自己摘除掉，所以我们需要反摘除。第三，把它形成一个闭环，当它接近人的时候能够马上降低它的全部能力。第四，增强一些识别你是不是有黑科技，甚至在这里面去查传感器都是假的，我用我不可修改的传感器来做检测。第五，要远程控制。

要想做到这一点，制定准入制度，确保AI保险箍能够发挥作用。AI行为必须预留接口，支持AI保险箍串联接入。我们可以检测是不是超越了它的技术能力，人工智能必须有可更改的算法，发现有没有一些黑科技。