## 5.7 变异性:平均值与数据的拟合程度如何?
一旦我们描述了数据的中心趋势,我们通常还想描述数据的变量——有时也称为“分散度”,这反映了一个事实,即它描述了数据的分散程度。
我们已经遇到了上面的平方误差之和,这是最常用的变异性度量的基础:方差 _ 和标准差 _。一个总体的方差(称为![](https://img.kancloud.cn/8c/97/8c97e53e47d9ac642fc260db31a39a84_17x16.jpg))只是平方误差除以观测次数的总和,也就是说,你之前遇到的 _ 平均平方误差 _。__
![](https://img.kancloud.cn/f5/cf/f5cfd7f7e12aade6468f96d67a371d6a_221x41.jpg)
其中![](https://img.kancloud.cn/da/ae/daae94eb5dc924acf8a8609e74df9f3a_11x12.jpg)是人口平均数。标准差就是这个的平方根,也就是我们以前看到的 _ 均方根误差 _。标准偏差是有用的,因为误差的单位与原始数据相同(撤消我们应用于误差的平方)。
我们通常无法访问整个群体,因此我们必须使用一个样本来计算方差,我们称之为![](https://img.kancloud.cn/f2/db/f2db4c062993ddf412a52963ceaee439_17x16.jpg),其中“hat”表示这是一个基于样本的估计。![](https://img.kancloud.cn/f2/db/f2db4c062993ddf412a52963ceaee439_17x16.jpg)的方程式与![](https://img.kancloud.cn/8c/97/8c97e53e47d9ac642fc260db31a39a84_17x16.jpg)的方程式相似:
![](https://img.kancloud.cn/1d/e5/1de57a04346e87aee7357ae60c44c086_161x43.jpg)
这两个方程之间的唯一区别是我们用 n-1 而不是 n 来除。这与一个基本的统计概念有关:_ 自由度 _。记住,为了计算样本方差,我们首先必须估计样本均值![](https://img.kancloud.cn/44/11/4411464857feb67b527a2553a41b4a3c_16x15.jpg)。在估计了这一点之后,数据中的一个值就不再是自由变化的了。例如,假设我们有以下数据点:
```r
# generate example data points
dfDf <-
tibble(
x = c(3, 5, 7, 9, 11)
)
pander(dfDf)
```
<colgroup><col style="width: 5%"></colgroup>
| X |
| --- |
| 三 |
| 5 个 |
| 7 |
| 9 |
| 11 个 |
现在我们计算平均值:
```r
# compute mean
meanx <-
dfDf %>%
summarize(
mean(x)
) %>%
pull()
sprintf('%0.2f',meanx)
```
```r
## [1] "7.00"
```
因为我们知道这个数据集的平均值是 7,所以我们可以计算出如果缺少某个特定的值会是什么。例如,假设我们要模糊第一个值(3)。这样做之后,我们仍然知道它的值必须是 3,因为 7 的平均值意味着所有值的总和是![](https://img.kancloud.cn/63/18/6318e1edd81518364c348b4b47cc66c2_79x13.jpg)和![](https://img.kancloud.cn/e7/25/e725d18a55188dbad7e250a1b05738c3_198x18.jpg)。
所以当我们说我们已经“失去”了一定程度的自由,这意味着有一个值在拟合模型后是不能自由改变的。在样本方差的背景下,如果我们不考虑失去的自由度,那么我们对样本方差的估计将是 _ 偏向 _——也就是说,它将小于真实(总体)值。
- 前言
- 0.1 本书为什么存在?
- 0.2 你不是统计学家-我们为什么要听你的?
- 0.3 为什么是 R?
- 0.4 数据的黄金时代
- 0.5 开源书籍
- 0.6 确认
- 1 引言
- 1.1 什么是统计思维?
- 1.2 统计数据能为我们做什么?
- 1.3 统计学的基本概念
- 1.4 因果关系与统计
- 1.5 阅读建议
- 2 处理数据
- 2.1 什么是数据?
- 2.2 测量尺度
- 2.3 什么是良好的测量?
- 2.4 阅读建议
- 3 概率
- 3.1 什么是概率?
- 3.2 我们如何确定概率?
- 3.3 概率分布
- 3.4 条件概率
- 3.5 根据数据计算条件概率
- 3.6 独立性
- 3.7 逆转条件概率:贝叶斯规则
- 3.8 数据学习
- 3.9 优势比
- 3.10 概率是什么意思?
- 3.11 阅读建议
- 4 汇总数据
- 4.1 为什么要总结数据?
- 4.2 使用表格汇总数据
- 4.3 分布的理想化表示
- 4.4 阅读建议
- 5 将模型拟合到数据
- 5.1 什么是模型?
- 5.2 统计建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最简单的模型:平均值
- 5.6 模式
- 5.7 变异性:平均值与数据的拟合程度如何?
- 5.8 使用模拟了解统计数据
- 5.9 Z 分数
- 6 数据可视化
- 6.1 数据可视化如何拯救生命
- 6.2 绘图解剖
- 6.3 使用 ggplot 在 R 中绘制
- 6.4 良好可视化原则
- 6.5 最大化数据/墨水比
- 6.6 避免图表垃圾
- 6.7 避免数据失真
- 6.8 谎言因素
- 6.9 记住人的局限性
- 6.10 其他因素的修正
- 6.11 建议阅读和视频
- 7 取样
- 7.1 我们如何取样?
- 7.2 采样误差
- 7.3 平均值的标准误差
- 7.4 中心极限定理
- 7.5 置信区间
- 7.6 阅读建议
- 8 重新采样和模拟
- 8.1 蒙特卡罗模拟
- 8.2 统计的随机性
- 8.3 生成随机数
- 8.4 使用蒙特卡罗模拟
- 8.5 使用模拟统计:引导程序
- 8.6 阅读建议
- 9 假设检验
- 9.1 无效假设统计检验(NHST)
- 9.2 无效假设统计检验:一个例子
- 9.3 无效假设检验过程
- 9.4 现代环境下的 NHST:多重测试
- 9.5 阅读建议
- 10 置信区间、效应大小和统计功率
- 10.1 置信区间
- 10.2 效果大小
- 10.3 统计能力
- 10.4 阅读建议
- 11 贝叶斯统计
- 11.1 生成模型
- 11.2 贝叶斯定理与逆推理
- 11.3 进行贝叶斯估计
- 11.4 估计后验分布
- 11.5 选择优先权
- 11.6 贝叶斯假设检验
- 11.7 阅读建议
- 12 分类关系建模
- 12.1 示例:糖果颜色
- 12.2 皮尔逊卡方检验
- 12.3 应急表及双向试验
- 12.4 标准化残差
- 12.5 优势比
- 12.6 贝叶斯系数
- 12.7 超出 2 x 2 表的分类分析
- 12.8 注意辛普森悖论
- 13 建模持续关系
- 13.1 一个例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否与仇恨犯罪有关?
- 13.3 协方差和相关性
- 13.4 相关性和因果关系
- 13.5 阅读建议
- 14 一般线性模型
- 14.1 线性回归
- 14.2 安装更复杂的模型
- 14.3 变量之间的相互作用
- 14.4“预测”的真正含义是什么?
- 14.5 阅读建议
- 15 比较方法
- 15.1 学生 T 考试
- 15.2 t 检验作为线性模型
- 15.3 平均差的贝叶斯因子
- 15.4 配对 t 检验
- 15.5 比较两种以上的方法
- 16 统计建模过程:一个实例
- 16.1 统计建模过程
- 17 做重复性研究
- 17.1 我们认为科学应该如何运作
- 17.2 科学(有时)是如何工作的
- 17.3 科学中的再现性危机
- 17.4 有问题的研究实践
- 17.5 进行重复性研究
- 17.6 进行重复性数据分析
- 17.7 结论:提高科学水平
- 17.8 阅读建议
- References