**last update: 2022-05-26 10:23:11** [TOC] ### 前言 机器学习是 统计学 与 软件工程 相结合的科学研究。 ---- ### 环境准备 **anaconda** ```shell $ conda env list $ conda remove -n myenv --all $ conda activate myenv ``` ---- **安装 Jupyter Notebook 中文语言：** ```shell $ pip install jupyterlab-language-pack-zh-CN -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple ``` 重启后就可以设置 中文了。 ---- ### LaTeX [数学公式 | LaTeX 知识库](https://www.latexstudio.net/LearnLaTeX/basic/10.html#%E8%A1%8C%E5%86%85%E6%95%B0%E5%AD%A6%E6%A8%A1%E5%BC%8F%E5%92%8C%E6%95%B0%E5%AD%A6%E7%AC%A6%E5%8F%B7) [Detexify LaTeX handwritten symbol recognition](https://detexify.kirelabs.org/classify.html) 公式符号 [run tex snippet](https://texlive.net/run) 预览 ---- ### 机器学习 [深度学习公开课【梗直哥】- 文集 哔哩哔哩专栏](https://www.bilibili.com/read/readlist/rl660109?spm_id_from=333.999.0.0) [线性回归  |  Machine Learning  |  Google for Developers](https://developers.google.cn/machine-learning/crash-course/linear-regression?hl=zh-cn) > 最优算法（如指数函数时 的 梯度下降算法）用于找到最优的权重参数（某个特征维度的权重w），以使得**目标函数**（损失函数）的值尽可能小，从而获得最优的**预测函数**，即预测精度高的模型。 #### 线性回归 ```[tex] \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} ``` ~~~ y = b + （w1 * x1) + ... + (wn * xn) MSE = ((f(w,b) x - y1)2 + ... + (f(w,b) x - yn)2) / n ~~~ > 每个维度均方差都可以独立计算，互不影响，只要最终求平均就行了，所以可以使用多核并行计算以提高效率，这就是为什么使用 GPU 并行计算可以加速训练过程的原因了。 线性回归问题就是找到在数据集中，最优的一条直线。 最优直线：各点到该直线的距离平均最小时，即 均方误差 (MSE) 最小。 最优直线问题 就变成了，损失最小问题。 损失最小问题就是 求损失函数最小值问题。 损失函数：平方均差 的指数函数。 求最小损失问题，即 求指数函数的最低点。这个问题是有答案的，因为指数函数存在最低点。 最指数函数最低点问题，即先找到指数函数斜切，从向减小斜切的方向，向下移动，直到不能减小时，就是最低点的位置了。而找到这个最低点的过程成为梯度下降算法。 训练步骤： 1. 使用当前权重和偏差计算损失。 2. 确定用于减少损失的权重和偏差的移动方向。 3. 在减小损失的方向上轻微移动权重和偏差。 4. 重复第一步，直至损失无法再减少时。 关键词：权重/偏差、线性回归、最优直线、平方均差、损失函数、指数函数、斜切、最低点、梯度下降算法。 **均方差的好处？** 正负不会抵消；误差大的会被放大，误差小的会被缩小。 **如何确定权重和偏差的移动方向？** 能减少损失的移动方向，转换为数学问题就是，求当前点的斜切率，即导数值、导数（导函数），斜切率越小的方向即是能减少损失的移动方向。  [2.1 线性代数 - 哔哩哔哩](https://www.bilibili.com/read/cv21260508/?from=readlist) ---- #### 代价函数 [【线性回归、代价函数、损失函数】动画讲解_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1RL411T7mT/?spm_id_from=333.999.0.0)       ---- https://www.bilibili.com/video/BV1VM41157D8/ https://www.bilibili.com/video/BV1Zm411R7Kh/?spm_id_from=333.999.0.0 [在线函数图像生成器工具-免费好用的数学函数绘图图形计算器](https://hs.luomashu.com/) [「机器学习」等于「神经网络」吗？人工智能基础概念梳理](https://jibencaozuo.com/zh-Hans/dataBank/1) [一个人工智能的诞生](https://www.youtube.com/watch?v=4xwUgYXT1R0&list=PLvQGKXuH8DcKN-mYgfSmo94fdl9T6KZLe)  [2. 机器学习综述及示例 — 动手实战人工智能 AI By Doing](https://aibydoing.com/notebooks/chapter01-01-lab-machine-learning-overview-and-examples) [十五分钟简介人工智能，以听懂为目的 - 掘金](https://juejin.cn/post/7158818147846324254) [1. 前言 — 《动手学深度学习》 0.1.0 documentation](https://d2l-zh.djl.ai/chapter_introduction/index.html) > 总而言之，我们没有编写唤醒词识别器，而是编写了一个“学习”程序。 如果我们用一个巨大的带标签的数据集，它很可能可以“学习”识别唤醒词。 你可以将这种”通过用数据集来确定程序行为”的方法看作是“用数据编程”（programming with data）。 比如，我们可以通过向机器学习系统提供许多猫和狗的图片来设计一个“猫图检测器”。 通过这种方式，检测器最终可以学会：如果输入是猫的图片就输出一个非常大的正数，如果输入是狗的图片就会得出一个非常大的负数。 如果检测器不确定，它会输出接近于零的数…… 这个例子仅仅是机器学习常见应用的冰山一角。 而深度学习是机器学习的一个主要分支，我们稍后将对其进行更详细的解析。 [聊聊图像识别的小原理，动手实现自己的图像分类 - 掘金](https://juejin.cn/post/7254458065311334458) https://juejin.cn/column/7234887157000159290 [一文讲通OCR文字识别原理与技术全流程 - 掘金](https://juejin.cn/post/7147218078923751455) > php 程序员能学会 AI 吗，总感觉 这个就像是黑盒魔法，哪怕是 识别 0 和 1 ，我们用 代码写可能能硬写出来（判断 像素是不是直的），但是 其它数字要识别 完全不可能啊，更何况每个人写的不一样。用常规命令式编程的思维根本无法理解，无法实现。这是 传统程序眼 与 AI 最大的鸿沟。传统的程序逻辑是固定的，写了什么功能才有什么功能，每一步都是确定，而 AI 好像不是这么回事。 [【官方双语】深度学习之神经网络的结构 Part 1 ver 2.0_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1bx411M7Zx/?spm_id_from=333.999.0.0&vd_source=8fc0f668e63ab312d59a3089f3ca7a81) [【官方双语】深度学习之梯度下降法 Part 2 ver 0.9 beta_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1Ux411j7ri/?spm_id_from=trigger_reload&vd_source=8fc0f668e63ab312d59a3089f3ca7a81) [2019年新书推荐-《神经网络与深度学习》-Michael Nielsen - 知乎](https://zhuanlan.zhihu.com/p/58973417) [Michael Nielsen](https://michaelnielsen.org/) [机器学习和深度学习中的学习到底是什么？小白能看懂的AI科普_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1tP4y1y7KW/?spm_id_from=333.999.0.0&vd_source=8fc0f668e63ab312d59a3089f3ca7a81) [TensorFlow.js | TensorFlow中文官网](https://tensorflow.google.cn/js/?hl=zh-cn) ---- ### 如何识别手写数字？ [神经网络和深度学习](http://neuralnetworksanddeeplearning.com/) ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms # 定义 MLP 网络 class MLP(nn.Module): def __init__(self, input_size, hidden_size, num_classes): super(MLP, self).__init__() self.fc1 = nn.Linear(input_size, hidden_size) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_size, hidden_size) self.fc3 = nn.Linear(hidden_size, num_classes) def forward(self, x): out = self.fc1(x) out = self.relu(out) out = self.fc2(out) out = self.relu(out) out = self.fc3(out) return out # 定义超参数 input_size = 28 * 28 # 输入大小 hidden_size = 512 # 隐藏层大小 num_classes = 10 # 输出大小（类别数） batch_size = 100 # 批大小 learning_rate = 0.001 # 学习率 num_epochs = 10 # 训练轮数 # 加载 MNIST 数据集 train_dataset = datasets.MNIST(root='../data/mnist', train=True, transform=transforms.ToTensor(), download=True) test_dataset = datasets.MNIST(root='../data/mnist', train=False, transform=transforms.ToTensor(), download=True) train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=False) # 实例化 MLP 网络 model = MLP(input_size, hidden_size, num_classes) # 现在我们已经定义了 MLP 网络并加载了 MNIST 数据集，接下来使用 PyTorch 的自动求导功能和优化器进行训练。 # 首先，定义损失函数和优化器；然后迭代训练数据并使用优化器更新网络参数。 # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=learning_rate) # 训练网络 for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): images = images.reshape(-1, 28 * 28) outputs = model(images) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() if (i + 1) % 100 == 0: print(f'Epoch [{epoch+1}/{num_epochs}], Step [{i+1}/{len(train_loader)}], Loss: {loss.item():.4f}') # 测试网络 with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: images = images.reshape(-1, 28 * 28) outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print(f'Accuracy of the network on the 10000 test images: {100 * correct / total} %') # Accuracy of the network on the 10000 test images: 97.88 % ```