Industry News
Forgetting may be the key to AI progress
Date：2019-06-26
Source：Samsun Technology
尽管忘记有时候会使我们感到沮丧，但人类忘记的能力正是我们优于人工智能的地方。计算机记忆即电脑内存，通常是指存储信息和找回信息的容量，以及存储这些信息的计算机物理组件。当计算机的某些内存不再被任务需要时，计算机将“忘记”这些数据，释放空间供其他任务源。
AI存储记忆的一种方法是象征性的记忆表征，其中，知识是由逻辑事实来表示的（如“鸟会飞”，“Tweety是鸟”，因此“Tweety可以飞”）。这些高度结构化的人造表示虽然可以很容易地删除，就像在电脑上删除一个文件。但是机器学习算法不知道需要什么时候保留旧信息，什么时候抛弃过时的信息。不仅如此，它还会面临着与“遗忘”有关的几个问题。
一个是“过学习”的问题。“过学习”指的是当一个学习机器存储了源于以往经验的过于详细的信息时，阻碍了其概括和预测未来事件的能力。另外有时人造神经网络的神经元在学习过程的早期采用不良的激活模式，会损害AI的未来学习能力。
还有一个问题是“灾难性遗忘”。 比如如果教一个说英语的孩子学习西班牙语，孩子会很容易把学习英语的方法应用到西班牙语的学习中，比如名词，动词时态，句子构建，同时忘记那些不相关，比如口音，喃喃自语，语调。人类可以同时进行遗忘和学习。
相反，如果训练神经网络学习英语，则参数需要适用于英语。如果还想同时教它西班牙语，对西班牙语的新改编将覆盖神经网络以前为英语获得的知识，有效地删除所有内容并重新开始。这被称为“ 灾难遗忘 ”，也是神经网络的一个局限。
伦理方面的考量也是一个问题。人类死后他们的数据要怎么处理？一旦那个人死了，是否能够用这些数据再训练AI然后复制出另一个他？缺乏适用的法律、规则，没有设定好的边界，我们留下了一个没有人控制的分散系统。算法不能选择忘记什么，而负责它们的人可能没有权利或解决问题的能力。
廉价的信息存储代价和AI无穷的容量相结合，打造出了一个看似非常有吸引力的工具，但背后的问题是大量数据持续的收集，而没有简单的方法来“忘记”数据。
教会AI遗忘，要创造更好的人工智能，首先要了解我们的大脑在关于什么是值得记住的，什么是要遗忘的方面是如何做决定的。
然后应用到AI，就像人一样，人工智能应该记住重要和有用的信息，同时忘记低价值，无关紧要的知识。然而，确定什么是相关和有价值的信息，除了手头的任务之外，还加入包括如伦理，法律和隐私问题等因素。
学会遗忘是人工智能面临的重大挑战之一。虽然它仍然是一个新的领域，但科学家最近已经探索了一些关于如何克服这一局限的常识性理论，比如循环神经网络LSTM，它使用特定的学习机制来决定要记住哪些信息，要更新哪些信息，以及在任何时候注意。
还有谷歌DeepMind的研究人员提出的EWC算法，该算法模仿突触合并的神经运作过程。在神经网络中，使用多个连接（如神经元）来执行任务。EWC将某些连接编码为关键，从而保护它们不被覆盖/遗忘。
蓝线=标准深度学习，红色和棕色线=在EWC的帮助下进行改进
但是未来真正的转变还需要领导人工智能开发，技术专家，伦理学家，研究人员，学者，社会学家，政策制定者和政府的私人实体的共同合作。
