> MLE是参数估计的基础之一，也是构建模型的基石。 > 本课学习时长评估：2小时。 ## MLE定义 英文全称：Maximum likelilood estimate 对于最大似然估计来说，最合理的参数估计量应该使得从模型中抽取该n组样本的**观测值的概率最大**，也就是概率分布函数或者**似然函数最大。** * 最大似然估计，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！ * 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 ## MLE使用场景 * 求解线性回归、逻辑回归的超参数 ## MLE存在的问题 * 为什么最大似然估计能广泛应用在机器学习领域？ 这其实是一种遗憾：我们想求解的问题中包含的数据往往是无穷无尽的，不可能将这些数据全部获取。 因此只能通过最大似然估计等估计方法，通过已知的，有限个的样本，估计整个无穷无尽的数据集的参数。 当然，这样的估计无可避免会产生误差。比如投掷两次硬币两次均正面朝上的情况，有实际生活经验的我们都知道，2 次实验无法说明任何问题。 ## MLE的求解过程 [视频链接](https://www.bilibili.com/video/BV1cx411V7xN) * 写出似然函数`$ L(_p) $` * 对似然函数取对数(可选，目的是防止计算溢出) * 求似然函数对未知参数的导函数`$ \left(\frac{\vartheta L(_p)}{p}\right) $` * 令导函数为0，方程的解即为最大似然解 ## MLE VS MLS * 最小二乘：线性代数的视角 * 最大似然：统计估计的角度 [最大似然估计与最小二乘估计的区别](https://www.cnblogs.com/little-YTMM/p/5700226.html) [最大似然估计和最小二乘估计的区别与联系](https://blog.csdn.net/xidianzhimeng/article/details/20847289)