如果我挥舞着赶牛棒朝你走去，你刚开始可能会觉得搞笑。但如果我脸上挂着僵硬而癫狂的笑容朝你越走越近，你很可能会吓得后退，心中充满震惊、困惑和愤怒。当电极触碰到肉体，可以想见，你会猛地往后缩，嘴上咒骂连连。

当你对一个人做了什么事，对方会做出什么反应往往是可以预测的。当今最智能的机器却不是这样。AlphaGo是谷歌下属的DeepMind开发出的计算机程序，它在围棋对弈中击败世界最顶尖的棋手。但AlphaGo的创造者们承认，他们无法推测它会走出什么胜招。这种不可预测性——同样可见于Facebook的两个聊天机器人，它们因为发展出自己的语言而被关闭了——引起了人工智能界的不安。

随着我们迈入自主系统的时代、把更多决策工作交给人工智能，技术专家们开始敦促我们要更深入地理解“输入”和“输出”之间的神秘地带。上月在萨里大学举办的一次会议上，来自巴斯大学的一个编程团队提交了一篇论文，透露就连“设计者，要仅凭观察来破译他们所研发的机器人的行为也有困难”。

巴斯大学的研究人员倡导把“机器人透明”列为一项伦理要求：用户应该能够轻易辨识一部机器的意图和能力。而在出事之后，比如说一辆无人驾驶汽车撞倒了一名行人，人们应该能够获得关于该汽车所做决定的记录，以便通过修改代码来根除类似的错误。

其他机器人专家也呼吁在机器人和自动化系统上安装“道德黑匣子”，以增强公众信任，也有助于追究责任。其中最有名的要数西英格兰大学布里斯托机器人实验室的艾伦?温菲尔德教授。这种黑匣子的作用就像飞机上记录飞行数据的黑匣子：记录机器失灵前做了哪些决定和行为。

当然，很多自主系统是看不见的：它们隐藏在屏幕背后。处理海量数据的机器学习算法对于我们能否申请到贷款、能否获得面试机会，甚至能否获得假释都会有影响。

出于这个原因，牛津大学和图灵研究所的数据伦理学研究员桑德拉?沃奇特认为，我们应当讨论制定相应的监管条例。虽然算法可以纠正某些偏见，但很多算法是以本来就扭曲的数据训练出来的。比如一款招聘管理人员的算法可能把理想的应聘人选列为白人中年男性。“我是个30岁出头的女人，”她告诉《科学》杂志，“所以我会立刻被过滤掉，即使我是合适的人选……有时候算法还会被用来显示招聘广告，所以我甚至看不到这个职位信息。”

将于2018年5月生效的《欧盟一般数据保护条例》将提供纠正的空间：那些完全自动做出的决定如果造成法律或其他方面的严重后果，个人将能够提出异议。

对于我们为什么需要掌握数据输入是如何变成机器输出的，有一个关乎人类生死存亡的理由，那就是“奇点”。人们对奇点的概念进行了很多理论分析，它是指当机器的智能超过人类创造者的智力，人工智能失控的那个临界点。可以想象，机器有可能获得自做主张地塑造和控制未来的能力。

发生这样的剧变不需要任何蓄谋的恶意；只需要当人工智能程序具备越来越强烈的学习倾向和相应的自主行动能力，开始做一些我们再也无法预测、理解或控制的事情时，人类却对它们缺乏监督。AlphaGo的开发似乎表明，机器学习已经造就了掌控不可预测性的高手，即便只是针对一种任务。倘若奇点真的出现了，GameOver可能会更加恐怖。