[7.1 优化与深度学习](7.1%E4%BC%98%E5%8C%96%E4%B8%8E%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0.md) [7.2 梯度下降和随机梯度下降](7.2%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E5%92%8C%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D.md) [7.3 小批量随机梯度下降](7.3%E5%B0%8F%E6%89%B9%E9%87%8F%E9%9A%8F%E6%9C%BA%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D.md) [7.4 动量法](7.4%E5%8A%A8%E9%87%8F%E6%B3%95.md) [7.5 AdaGrad算法](7.5AdaGrad%E7%AE%97%E6%B3%95.md) [7.6 RMSProp算法](7.6RMSProp%E7%AE%97%E6%B3%95.md) [7.7 AdaDelta](7.7AdaDelta.md) [7.8 Adam算法](7.8Adam%E7%AE%97%E6%B3%95.md)