多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
# 感知机 让我们了解神经网络的最基本构建块,**感知机,**也称为**人工神经元**。感知机的概念起源于 Frank Rosenblatt 于 1962 年的作品。 您可能希望阅读以下工作来探索神经网络的起源: Frank Rosenblatt,_神经动力学原理:感知器和脑机制理论_。 斯巴达书籍,1962 年 在最简化的视图中,感知机被建模在生物神经元之后,使得它接收一个或多个输入并将它们组合以产生输出。 如下图所示,感知机采用三个输入并将它们相加以生成输出`y`: ![](https://img.kancloud.cn/f8/1a/f81af23bce4d4dc56aeff4eeb1968a3a_365x161.png) 这种感知机太简单了,不具备任何实际用途。因此,通过添加权重,偏差和激活函数的概念来增强它。将权重添加到每个输入以获得加权和。如果加权和`Σw[i]x[i]`小于阈值,则输出为 0,否则输出为 1: ![](https://img.kancloud.cn/c5/24/c52421a6a1e8318796bceca2413ca1c4_2780x490.png) 阈值称为**偏差**。让我们将偏差移到等式的左边,用`b`表示它,`Σw·x`代表`w`和`x`的向量点积。感知机的等式现在变为如下: ![](https://img.kancloud.cn/aa/fd/aafd4d4d8b52447ebce8537ea128e34c_2400x490.png) 感知机现在看起来像下图: ![](https://img.kancloud.cn/bf/fa/bffa343c7729fa5fd5b160c6e2097077_365x219.png) Simple perceptron with weights and bias 到目前为止,神经元是一个线性函数。为了使这个神经元产生非线性决策边界,通过称为 **a** **ctiva** 或传递函数的非线性函数运行求和输出。有许多流行的激活函数可用: * `ReLU`:**整流线性单元**,将值平滑到范围`(0, x)`, ![](https://img.kancloud.cn/9d/97/9d976642b2cb96318bf7d20fc5348d96_1790x210.png) * `sigmoid`: **Sigmoid** 将值平滑到`(0, 1)`, ![](https://img.kancloud.cn/c8/51/c851a645213824754d6fd575d483f923_2640x430.png) * `tanh`:**双曲正切**将值平滑到`(-1, 1)`, ![](https://img.kancloud.cn/3e/f4/3ef4c5dd51dd136bae593ee49b839170_1640x450.png) 使用激活函数,感知机的等式变为: ![](https://img.kancloud.cn/fc/40/fc40249380706583b0d8ff8202b2e2ff_1290x210.png) 其中`φ(·)`是激活函数。 神经元看起来像下图: ![](https://img.kancloud.cn/ad/53/ad53fd791e0f5df10fb7520b0aa2d296_453x219.png)