人工智能正引发最重要的技术变革和社会变革，它在深刻改变人类物质生产体系的同时，也将对人类行为和社会关系产生深远的影响。

2018年以来，人工智能安全事故、伦理道德侵害事件频发，社会各界普遍关注，特别是全球首例自动驾驶致死事件更是引发了公众对人工智能发展的议论。

实际上，近年来伴随人工智能向各行业、各领域的快速渗透，联合国、电气和电子工程师协会（IEEE）等国际组织已密集推出人工智能发展原则，以期为世界各国的人工智能监管提供参考借鉴，欧盟、日本、新加坡等国家和地区已明确提出人工智能道德伦理准则，人工智能从业者也在积极探索行业自律相关经验。然而总体来看，准则易定，实施难行，要克服道德准则主观性，要探索全球人工智能治理准则，并达成多方共识，仍然有较长一段路要走。

人脸识别系统。光明图片/视觉中国

当地时间2018年3月20日，美国亚利桑那州坦佩市，美国国家运输安全委员会展开调查。18日晚，一辆以自动驾驶模式运行的优步汽车在坦佩市撞倒一名过马路的行人，并导致该行人死亡。光明图片/视觉中国

当地时间2013年4月23日，英国伦敦，国际机器人武器控制委员会的成员发起“停止机器人杀手”活动，希望各国能够以法律形式约束全自动杀人武器的研制和部署。光明图片/视觉中国

1、人工智能安全事故多发 社会关注度日益提升

自动驾驶车辆撞死路人，应该由谁来担责？

2018年3月，优步自动驾驶汽车在美国亚利桑那州坦佩市碰撞到一个横穿马路的行人，该行人在送往医院后不治身亡，这是全球首起自动驾驶车辆在公共道路上撞击行人致死事件。意外发生时，汽车处于自动驾驶模式，驾驶座上有1名人类安全驾驶员，该驾驶员并未参与驾驶操作。那么，该由谁对这起事故承担法律责任？人类驾驶员、汽车制造商沃尔沃公司还是自动驾驶系统提供方优步公司？

一年后的2019年3月5日，美国亚利桑那州检察官裁定优步公司不承担刑事责任，同时建议警方对优步的安全驾驶员进行进一步调查。理由是，这一自动驾驶车辆处在自动驾驶模式时，其刹车的责任应由安全驾驶员负责。即优步公司的程序已设定，在自动驾驶模式下，即使遇到紧急情况，系统也不能启用紧急刹车功能，而是由人类驾驶员启动。优步公司制定的这一算法规则成为该公司被裁定不承担刑事责任的重要依据，那么优步这一规则的合理性又该由谁来判定？法律问题的背后实际是伦理准绳的设定。

侵犯个人隐私，涉嫌种族歧视，这样的人工智能产品和服务你能接受吗？

日前，美国科技巨头亚马逊公司向执法机构、私人企业销售人脸识别软件Rekognition，美国媒体和公众认为，这将对个人隐私造成严重威胁。因为，这款软件可以让政府和私企在任何有摄像头的地方追踪到普通民众，同时相关技术还因为有色人种被错误识别匹配的比例过高而受到种族歧视的质疑。

2018年7月，美国公民自由联盟（ACLU）的一项测试显示，Rekognition曾将535名美国国会议员中的28人误判为罪犯。对于有色人种国会议员识别的错误率为39%，远超对整个国会议员识别的错误率。2019年1月，麻省理工学院的一项研究显示，IBM和微软公司研发的人脸识别与分析软件也都存在种族和性别偏见问题。

人工智能用于研发战争机器人会加剧军备竞赛吗？

早在21世纪初，美国已将无人系统用于军事活动。特别是近期，美国部署启动了诸多人工智能军事项目，包括各类军用无人车、无人机、无人船等。谷歌、微软等公司都参与了军用人工智能技术与系统的研发。

2018年4月，3100多名谷歌员工联名请愿，敦促公司终止与美国国防部合作开发的Project Maven人工智能武器项目。

2018年2月，韩国科学技术院KAIST与韩国军工企业Hanwha Systems合作共建“国防和人工智能融合研究中心”，该中心目标是“开发应用于军事武器的人工智能技术，参与全球自主武器研发竞争”，而Hanwha Systems的母公司韩华集团因为制造集束弹药已被联合国列入黑名单。2018年4月，全球20多个国家的50多名顶尖学者在公开信中联名抵制韩国科学技术院的这一行为，“韩国科学技术院研发自主武器将会加速人工智能军备竞赛，这样的技术可能导致更大规模战争加速到来，如果自主武器研制成功，战争速度之快、规模之大将是前所未有的，也有可能成为恐怖分子的武器”。

2、国际社会密集推出人工智能的应用研发准则

以联合国为代表的国际组织，以及汇聚了众多人工智能学术界和产业界人士的阿西洛马会议等，都在积极探索相关原则与解决路径，以期为世界各国的人工智能监管提供参考借鉴。

联合国高度关注人工智能与自动化系统等应用的安全、伦理和道德问题，呼吁共同应对人工智能发展所带来的全球性挑战。

联合国主要聚焦自动化武器运用，早在2014年便开始筹备起草《特定常规武器公约》，以限制人工智能杀手武器的研制，到2016年有包括中国在内的123个国家的代表同意缔结该公约。近两年，随着新一轮人工智能热潮的到来，联合国高度重视人工智能、机器人、自动化等在民用领域的广泛应用。2016年8月，联合国教科文组织与世界科学知识与技术伦理委员会联合发布了《机器人伦理初步报告草案》，专门提出了机器人制造和应用的伦理道德问题和责任分担机制，并强调了可追溯性的重要性，即机器人的行为及决策过程应全程处于监管之下。

2017年6月，联合国国际电信联盟在日内瓦举行了主题为“人工智能造福人类”的全球峰会，围绕人工智能的最新发展，人工智能对道德、安全、隐私以及监管等带来的挑战展开讨论，同时呼吁各国共同探讨如何加快推进人工智能大众化进程，并借以应对贫困、饥饿、健康、教育、平等和环境保护等全球性挑战。

2018年4月，联合国“致命性自主武器系统问题政府专家组”在日内瓦召开会议，80余国的官员及专家共同讨论人工智能的武器化问题。

阿西洛马人工智能原则探讨如何确保人工智能为人类利益服务。这一原则源自2017年1月，未来生命研究所在美国加州的阿西洛马市召开的题为“有益的人工智能”的人工智能会议。来自世界各地，覆盖法律、伦理、哲学、经济、机器人、人工智能等众多学科和领域的专家，共同达成了23条人工智能原则，呼吁全世界在发展人工智能的时候严格遵守这些原则，共同保障人类未来的利益和安全。这23条原则分为三大类，包括科研问题、伦理和价值问题以及更长远的问题。包括霍金、埃隆·马斯克、德米斯·哈萨比斯等在内的近4000名各界人士表示对此支持。

电气和电子工程师协会尝试构建人工智能设计的伦理准则。为切实推动与人工智能伦理相关的标准制定，电气和电子工程师协会分别于2016年12月和2017年12月发布两个版本的《人工智能伦理设计准则》，并始终强调自主与智能系统不只是实现功能性目标和解决技术问题，还应该造福人类。电气和电子工程师协会早在2016年4月便发起“自主与智能系统伦理的全球性倡议”，数百名专家参与到人工智能伦理设计准则的研究与讨论中。他们来自学术界、产业界、政府部门以及非政府组织，具有计算机、数学、哲学、伦理学、社会学等多学科背景。

第二版准则涵盖一般原则、价值嵌入、指导合乎伦理的研究与设计方法、通用人工智能和超级人工智能的安全、个人数据与访问控制、自主武器、经济和人道主义问题、法律、情感计算、政策法规、经典伦理问题、混合现实、人类福祉指标等13个方面内容，同时针对一些伦理事项提出了具体建议。

该准则已成为全球范围内系统、全面阐述人工智能伦理问题的重要文件，并在持续发展和完善中，预计最终版将于2019年发布。人工智能伦理准则可以给电气和电子工程师协会正在推动的与人工智能伦理相关的标准制定提供参考，标准的制定则有望将人工智能伦理从抽象原则落实到具体的技术研发和系统设计中。

3、一些国家提出人工智能发展与治理的原则和框架

2018年以来，全球包括中国、美国、英国、日本、欧盟、印度、澳大利亚、加拿大、法国、德国、新加坡以及阿联酋等10余个国家和地区在部署实施人工智能发展战略时，已明确将人工智能治理问题纳入其总体战略，提出确保本国人工智能健康发展的基本原则。其中明确提出人工智能道德伦理准则的包括2018年6月新加坡发布的《AI治理和道德的三个新倡议》；12月欧盟发布的《可信赖的人工智能道德准则草案》，日本内阁发布的《以人类为中心的人工智能社会原则》等。德国计划在2019年提出人工智能伦理原则。

综合来看，这些国家和地区对人工智能治理进行部署推进的共同点主要包括四个方面。

一是坚持以人为中心的人工智能治理理念。欧盟提出要坚持“以人为中心”的发展原则，推动发展符合欧洲伦理与社会价值观和民众愿望的人工智能，确保人工智能技术能够给个人和社会整体带来福利。日本提出人类中心原则，人工智能的使用不得侵害宪法和国际规范保障的基本人权。美国将“提升公众对人工智能技术应用的信任度，保护公民自由、隐私和价值观，切实为国民带来福祉”作为人工智能发展的五大基本原则之一。阿联酋提出人工智能要负责任地发展，避免对人类造成巨大威胁。德国提出应负责任地、以公共利益为导向发展和应用人工智能，并积极为以数据为基础的商业模式和价值创造路径给出欧洲方案，使之符合欧洲的经济、价值和社会结构。

二是设立专门委员会或专家组开展人工智能伦理道德规范研究，以为政府提供决策咨询。欧盟组建了人工智能高级专家小组负责人工智能道德准则的制定工作，小组52名专家来自谷歌、IBM、贝尔实验室、SAP、博世等全球领军企业与研发机构和牛津大学、伯明翰大学等知名学府以及若干社会组织。新加坡成立人工智能和数据道德使用咨询委员会，以协助政府制定人工智能道德标准和治理框架。英国上议院人工智能特别委员会专门研究人工智能对经济、社会和道德伦理等的影响。德国数据伦理委员会负责人工智能技术发展与应用中的伦理和法律问题研究。印度成立人工智能特别委员会，研究人工智能应用可能产生的问题，并计划在具体行使人工智能技术研究和成果转化职能的两大类机构中设立道德委员联合会，以制定有关隐私、安全和道德的行业特定准则等。

三是积极参与人工智能全球治理。阿联酋人工智能部早在2018年2月便召开了一次关于人工智能全球治理的顶级闭门会议，讨论人工智能对人类社会带来的挑战，并试图寻找解决方案，当年11月，阿联酋人工智能部长表示将尽快举办全球人工智能治理论坛，以期在人工智能治理方面与全球达成共识。英国也希望能够与他国共同塑造人工智能研发和使用的伦理框架，并酝酿在2019年举办全球峰会，与各国、行业、学术界和民间团队一道在平等的基础上，商讨制定人工智能研发和应用的全球通用伦理框架。

四是加快调整部分领域监管规则，寻求相关行业健康发展。在自动驾驶领域，美国交通部于2017年9月更新了联邦自动驾驶汽车政策《自动驾驶系统：安全愿景2.0》，确定了12项安全性能自评标准，以为自动驾驶行业提供非监管性指导，企业可以据此提交安全评估报告。美国、德国、英国、新加坡和韩国等都引入了公共道路的自动驾驶汽车法规并颁发自主测试许可证。德国自动驾驶汽车道德委员会是德国联邦政府为制定自动驾驶汽车相关法律法规设置的专门机构。在智能医疗领域，2017年7月，美国食品药品监督管理局（FDA）建立了一种针对低风险医疗人工智能产品的全新监管方式——“数字医疗软件预认证计划”，随后FDA选择了9家企业开始实施试点项目，试点项目结束后，FDA旗下专门负责医疗设备及科技监管的机构器械和辐射健康中心根据在上述试点项目中确定的客观标准来“预先认证”具备资格的数字医疗开发主体。经过预认证的开发主体可以直接销售自己的低风险医疗人工智能产品，而无须经过FDA的额外审查和一系列入市审查。

4、产业界探索行业自律经验

人工智能产业界、行业协会等也将人工智能治理作为重要议题开展相关研究，成为行业自律的重要经验探索。微软、谷歌、IBM、百度、腾讯、索尼、西班牙电信、德国SAP等公司都已明确提出公司人工智能研发与应用的核心原则，美国信息技术产业委员会则颁布了人工智能的14条政策准则，对人工智能系统的设计、部署与应用等的安全性提出要求，并探讨了企业、政府、研究机构应采取什么样的运作及合作方式，以确保人工智能发挥最大的积极效益。

微软公司总裁布拉德·史密斯表示，要设计出可信赖的人工智能，必须采取体现道德原则的解决方案，因此微软提出6个道德基本准则，即公平、包容、透明、负责、可靠与安全、隐私与保密。在经历了员工联合请愿事件后，谷歌公司CEO桑德·皮查发表署名文章《谷歌AI的原则》，详述了人工智能七大原则，即造福社会、避免偏见、确保安全、对人负责、保护隐私、遵守严格的科学标准、避免有潜在危害或可能被滥用的技术与应用，同时还明确了未来将严格坚守的四大底线等。DeepMind公司于2017年10月成立了“人工智能伦理与社会部门”，旨在理解人工智能的现实影响并帮助技术人员将伦理付诸实践，该部门于2018年启动关于算法偏见、问责制和自主杀人机器等课题项目的研究，希望可以帮助社会预测人工智能的影响，并根据预测结果给予正确的引导，确保人工智能给人类社会带来正面作用。德国商业软件巨头SAP于2018年9月发布了一份道德规范来管理其人工智能研究，并提出七条准则，旨在防止人工智能技术侵犯人们的权利，参与制定这一规范的包括工程师、神学家、政治家和生物伦理学家等。

总体来看，全球主要国家对人工智能治理仍然仅仅停留在原则和框架层面，具体到人工智能技术开发规则，比如如何使之严格遵守“人工智能系统不伤害人类”“人工智能决策应具备可解释性”等规则，各国都尚未提出明确的解决方案。理应涵盖技术开发、行业监管和公共治理等在内的成体系化的法律和规范建设尚显遥远。同时在产业领域，各国、各企业由于文化传统和价值观不同，彼此在人工智能部署原则上也有差异，比如美国、欧盟和中国对自动驾驶实施监管和规范的态度彼此就存在一定的差异。当前，全球人工智能应用的快速普及以及跨国界、跨区域要素的加速流动和产业互动，正为各方提出前所未有的挑战，国际社会理应尽快形成人工智能全球治理通用或一致性框架，确保人工智能为人类所用，并促进全人类平等受益。

作者：高芳（中国科学技术信息研究所政策与战略研究中心副主任、副研究员）

《光明日报》（ 2019年03月28日 14版）