图片来源：unsplash

    “当下机器学习的主流呈现出‘黑箱’的特点，普通用户很难观察到数据训练的中间过程，这样的特征导致人工智能（AI）对我们而言处在不可知的状态。”在未来论坛日前发起的AI伦理与治理系列论坛上，清华大学人工智能国际治理研究院副院长梁正说。

    这个“黑箱”的存在，让AI的“心”如海底针般难以捉摸，不仅给人与机器的交流带来了很大困难，也给AI的广泛应用埋下了隐患。

    人与AI缺乏共同语言

    “人与人之间要想协同，就得有共同语言，人和机器也是同理。”清华大学计算机系长聘副教授崔鹏说，“如果机器的输出人不懂，人的输出机器不懂，导致的结果就是人和机只能取其一，要么就全信机器，要么就全不信。”

    这种“1+1=1”的局面非常尴尬。因为在很多风险敏感型的领域，如医疗、军事、金融、工业等，人不可能完全信赖一个机器的决策。这样AI走向各行各业的步伐就会受到严重阻碍。

    “AI的‘黑箱’问题，不可避免会带来难以控制、歧视偏见和安全风险，甚至会打击我们对算法本身的信任。”梁正说，“因此，算法的可解释性对AI的应用至关重要。”

    当用户遇到AI时，一定期待它是可靠的：不会出错，没有风险，不会损害自己的利益或安全。而这种信任，只能来自于对AI算法内在机理的理解和认同。

    因此，“能解释的AI才是可信任的AI”。梁正如是说。

    出错了，却不知道为什么

    放眼国内外，AI在应用中闹过不少笑话。

    在美国司法系统中，对犯人进行减刑或释放的重要参考指标之一，就是预测此人释放以后的二次犯罪率。在AI系统里，在各方面相差不大的两个犯罪嫌疑人，只因肤色不同，最后的判定是黑皮肤犯罪嫌疑人的二次犯罪率比白皮肤的高10倍以上。

    为什么会出现这种情况呢？有专家认为，在一些国家，肤色跟收入水平表现出强关联，而低收入则会导致高犯罪率。这些因素导致AI基于历史数据进行预测时，会得出“歧视”的结果。

    在这个案例中，人们出于常识，还有可能分析出问题的根源所在。但更多时候，AI出错的原因很难追溯。

    “现在的AI系统，因为其本质上是‘黑箱模式’，即使知道最后输出的结果是错的，却没有办法回溯究竟是哪个环节出了问题。”崔鹏说，“由于这种‘不可回溯性’，导致了即使模型出错，也不知道板子要打到谁身上。”

    如何看懂黑箱里的机器心

    难以解释，不可回溯——面对AI发展过程中的这些局限性，究竟该从何处入手破局呢？

    据梁正介绍，目前世界各国在算法治理方面有着不同的探索，也有一定的共性和经验。欧盟的算法治理是自上而下的，强调“透明性”和“问责性”。也就是说，一方面确保决策结果可以被人类（包括监管部门、社会公众）理解、追踪；另一方面建立问责机制、审计机制以及风险损失的补救措施。美国则采用了另一条路径，采取自下而上的分散化、市场化的治理路径。

    梁正指出，当前我国对算法治理路径的探索已经初具体系。未来算法治理有比较明确的两大方向：第一是可问责性，第二就是可解释性。

    崔鹏则提出，科学家应当致力于通过把“因果”引入机器学习，推动AI治理实现从“知其然”到“知其所以然”的跨越。

    “‘然’就是数据里的关联，‘所以然’是数据里的因果。”他说，“因果启发的机器学习可能成为新一代AI的突破口。”

    在技术层面之外，清华大学社会科学学院教授李正风则分析了AI可靠性和可解释性背后的社会土壤。

    他指出，AI的算法设计受到设计者自身伦理修养、社会责任意识等方面的影响。因此，可理解、可信赖的AI，有赖于设计者自身的信念和操守：增进人类福祉、尊重生命权利、保护个人隐私及其他权利等。与此同时，还需要建立数字时代、人工智能时代的社会信任机制，通过社会理性或集体理性来促进AI技术健康发展。

    “算法的‘黑箱’特征和复杂性不能成为逃避治理的借口。”梁正说。看懂黑箱里的机器心——人类正在为之奋斗。

    记者 李晨阳