**修正线性单元** **激活函数（activation function）** 使用神经网络时的，起始激活神经网络层（先理解到这地步） ***** *仿生物学原理：相关大脑方面的研究表明生物神经元的信息编码通常是比较分散及稀疏的。通常情况下，大脑中在同一时间大概只有1%-4%的神经元处于活跃状态。使用线性修正以及正则化（regularization）可以对机器神经网络中神经元的活跃度（即输出为正值）进行调试；相比之下，逻辑函数在输入为0时达到1/2，即已经是半饱和的稳定状态，不够符合实际生物学对模拟神经网络的期望。不过需要指出的是，一般情况下，在一个使用修正线性单元（即线性整流）的神经网络中大概有50%的神经元处于激活态。* ***** **什么是激活函数？为什么要使用激活函数？** 如果没有`relu`等激活函数（也叫**非线性**），`Dense`层将只包含两个线性运算——点积和加法 ``` output = relu(dot(W, input) + b) ``` 这样Dense层就只能学习输入数据的线性变换（仿射变换）：该层的假设空间是从输入数据到16位空间所有可能的线性变换集合。 **这种假设空间非常有限**，无法利用多个表示层的优势，因为多个线性层堆叠实现的**仍是线性运算**，添加层数并**不会扩展假设空间**。 `relu`是深度学习中最常用的激活函数，但还有许多其他函数可选，它们都有类似的奇怪名称，比如`prelu`、`elu`等。