### 准备数据： * 将数据预处理为神经网络可以处理的格式-向量化。 * 数据中的每个时间序列位于不同的范围（比如温度通道位于 -20 到 +30 之间，但气压大约在 1000 毫巴上下） * 对每个时间序列分别做标准化，让它们在相似的范围内都取较小的值。 * 编写一个 Python 生成器 * 以当前的浮点数数组作为输入，并从最近的数据中生成数据批量，同时生成未来的目标温度。 * 数据集中的样本是高度冗余的（对于第*N*个样本和第*N*+1 个样本，大部分时间步都是相同的），所以显式地保存每个样本是一种浪费。相反，我们将使用原始数据即时生成样本。 ***** ### 合理性检查： * 尝试一种**基于常识**的简单**方法**。它可以**作为**合理性**检查** * **建立**一个**基准**，更高级的机器学习模型需要打败这个基准才能表现出其**有效性** ***** ### 基于常识的、非机器学习的基准方法 尝试机器学习方法之前，建立一个基于常识的基准方法是很有用的： **小型的密集连接网络** ~~~ model = Sequential() model.add(layers.Flatten(input_shape=(lookback//step, float_data.shape[-1])))#首先将数据展平 model.add(layers.Dense(32, activation='relu'))#通过两个Dense层并运行 model.add(layers.Dense(1))#最后一个Dense层没有使用激活函数，这对于回归问题是很常见的 model.compile(optimizer=RMSprop(), loss='mae')#使用 MAE 作为损失 history = model.fit_generator(train_gen, steps_per_epoch=500, epochs=20, validation_data=val_gen, validation_steps=val_steps) ~~~ ### 使用循环 dropout 来降低过拟合 在循环网络中使用 dropout 的正确方法：对每个时间步应该使用相同的 dropout 掩码（dropout mask，相同模式的舍弃单元），而不是让 dropout 掩码随着时间步的增加而随机变化。此外，为了对`GRU`、`LSTM`等循环层得到的表示做正则化，应该将不随时间变化的 dropout 掩码应用于层的内部循环激活（叫作**循环**dropout 掩码）。对每个时间步使用相同的 dropout 掩码，可以让网络沿着时间正确地传播其学习误差，而随时间随机变化的 dropout 掩码则会破坏这个误差信号，并且不利于学习过程。 > 参见 Yarin Gal 的博士论文“Uncertainty in deep learning”。 Keras有两个与 dropout 相关的参数: * `dropout`它是一个浮点数，指定该层输入单元的 dropout 比率 * `recurrent_dropout`指定循环单元的 dropout 比率 * 使用 dropout 正则化的网络总是需要更长的时间才能完全收敛，所以网络训练轮次增加为原来的 2 倍 循环层堆叠: * 增加网络容量的通常做法是增加每层单元数或增加层数 * 在 Keras 中逐个堆叠循环层，所有中间层都应该返回完整的输出序列（一个 3D 张量），而不是只返回最后一个时间步的输出。这可以通过指定`return_sequences=True`来实现 ~~~ model.add(layers.GRU(32, dropout=0.1, recurrent_dropout=0.5, return_sequences=True, input_shape=(None, float_data.shape[-1]))) model.add(layers.GRU(64, activation='relu', dropout=0.1, recurrent_dropout=0.5)) model.add(layers.Dense(1)) ~~~ **双向 RNN**（bidirectional RNN）: RNN 按时间逆序处理输入序列（更晚的时间步在前） * [ ] 编写一个数据生成器的变体，将输入序列沿着时间维度反转（即将最后一行代码替换为`yield samples[:, ::-1, :], targets`）