想要了解深度学习是如何发展的,我们先从启发了神经网络的神经元开始,一步步探索人工智能是如何从纷杂的世界中提取信息并将它们转化成“智能”程序的。
神经元是人类大脑的基本元素。每个神经元都连接着许多其他的神经元。每个神经元会接收来自相邻神经元的刺激。当这些刺激足够强烈时,神经元就会给它所连接的神经元发出信号(更多的刺激)。
受到神经元的启发,计算机科学家创造了感知器算法 (perceptron)。感知器会接收许多刺激(输入)并生成一个输出值作为结果。我们会在下一章详细讲述感知器算法。
感知器算法并不能够学习相对复杂的概念。不过,一些简单的概念,比如逻辑与就可以被感知器所学习。在动画中,感知器用一条直线将逻辑与的两种结果正确地分成两组,每一组都具有形式相同的圆圈。
感知器不能学习一些更复杂的概念,比如逻辑异或。这是因为这些概念是“非线性的”,简而言之,就是我们不能找到一条直线正确地把实心圆和空心圆分隔开。
为了解决这个问题,计算机科学家转向了更加复杂的前馈神经网络算法。前馈神经网络是一种由多层感知器组成的通用的神经网络。理论上讲,在优质数据上进行足够久的训练之后,前馈神经网络可以学会执行从图片分类到收入预测等复杂的任务。
简单的前馈神经网络听起来很棒,但是它们也有自己的问题。小型的神经网络不足以解决复杂的问题,但是深层的神经网络训练起来非常困难,并需要大量的计算资源和时间。因此,计算机科学家们尝试从大脑更高级的学习机制中寻找灵感。
人类会将物体拆分成基本组成单元进行理解,并利用这些单元的组合和位置关系来理解更复杂的概念。比如,我们看到图中有着一个鼻子,两个耳朵,四条腿的生物,就会把它们组合起来看到一条狗。这种行为启发计算机科学家们创造了可以学习如边、角、形状、质地等视觉元素的 卷积神经网络(Convolutional Neural Networks,CNN)。
深度学习的兴起使许多传统机器学习方法不再流行。在有足够数据和计算力的前提下,深度学习可以达到传统算法难以企及的性能。在计算机硬件的飞速发展以及互联网时代的海量数据之下,我们终于可以将深度学习应用在实际生活中了。
在这一章里,我们探索了深度学习一些主要概念背后的灵感,为你打好了了深入理解它们工作原理的基础。在下一章里,我们将详细解析感知器这个深度学习背后最重要的概念。
The XOR Problem in Neural Networks
Deep Learning 101 - History and Background
A Short History Of Deep Learning
感知器:一个受到神经元启发的算法,是一种可以对数据进行二元分类的单层神经网络。
前馈神经网络:最早也是最简单的人工神经网络。它是由多层感知器组成的通用的神经网络,可以执行更复杂的任务。
卷积神经网络:一种主要用来处理和分类图像的神经网络。