给定一些训练数据和一种网络架构，很多组权重值（即很多**模型**）都可以解释这些数据。 **简单模型**比复杂模型更不容易过拟合。 ***** ## **权重正则化**（weight regularization）： **简单模型**（simple model）是指参数值分布的熵更小的模型 强制让模型权重只能取较小的值，从而限制模型的复杂度，这使得权重值的分布更加**规则** * 向网络损失函数中添加与较大权重值相关的**成本**（cost） **成本**（cost）： * **L1 正则化**（L1 regularization）：添加的成本与**权重系数的绝对值**［权重的**L1 范数**（norm）］成正比。 * **L2 正则化**（L2 regularization）：添加的成本与**权重系数的平方**（权重的**L2 范数**）成正比，又称**权重衰减**（weight decay） 在Keras中使用：添加权重正则化的方法是向层传递**权重正则化项实例**（weight regularizer instance）作为关键字参数 ~~~ model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001), activation='relu', input_shape=(10000,))) ~~~ kernel_regularizer=regularizers.l2(0.001)： `l2(0.001)`的意思是该层权重矩阵的每个系数都会使网络总损失增加`0.001 * weight_coefficient_value`