## 优化器（optimizer）
优化器是用于更新网络权重（W）和偏置项（b）的工具，不同的优化器针对参数的调整有不同的效果
## 效果对比
只修改优化器，其他保持不变，训练1000次后得到得准确率
> adam：0.9461
> rmsprop：0.9499
> momentum：0.7753
> sgd：0.7374
了解更多：https://blog.csdn.net/weixin_41417982/article/details/81561210
- 序言
- 安装
- 快速体验
- 配置
- 层（layer）
- 展平（flatten）
- 全连接（fully connected）
- 卷积（convolutional）
- 池化（pooling）
- 标准化（batch normalization）
- 失活（dropout）
- 循环（RNN）
- 长短期记忆（LSTM）
- 激活函数（activation）
- relu
- sigmoid
- tanh
- 损失（loss）
- 交叉熵损失（softmax）
- 折页损失（SVM或Hinge）
- 优化器（optimizer）
- 带动量学习率自适应（adam）
- 动量（momentum）
- 学习率自适应（rmsprop）
- 随机梯度下降（sgd）
- 模型（model）
- 保存（save）
- 载入（reload）
- 继续训练（continue train）
- 数据集（datasets）
- 手写数字（mnist）
- 时尚物品（Fashion-MNIST）
- 10种物体分类（cifar10）
- 100种物体分类（cifar100）
- 电影评论情感分类（imdb）
- 路透社新闻主题分类（reuters）
- 可视化（visualization）
- 损失曲线（loss）
- 准确率曲线（accuracy）