## 4.3 分布的理想化表示
数据集就像雪花,因为每一个都是不同的,但尽管如此,在不同类型的数据中经常会看到一些模式。这允许我们使用理想化的数据表示来进一步总结它们。让我们用[4.5](#fig:heightHistSep)中绘制的成人身高数据,并将它们与一个非常不同的变量一起绘制:脉率(每分钟心跳),也用 nhanes 测量(见图[4.6](#fig:NormalDistPlotsWithDist))。
![Histograms for height (left) and pulse (right) in the NHANES dataset, with the normal distribution overlaid for each dataset.](https://img.kancloud.cn/6a/b9/6ab9fe87c6e2864af9ebb85a77289bc0_768x384.png)
图 4.6 nhanes 数据集中高度(左)和脉冲(右)的柱状图,每个数据集中的正态分布重叠。
虽然这些情节看起来不完全相同,但都具有在中间圆顶上相对对称的一般特征。这个形状实际上是我们收集数据时常见的分布形状之一,我们称之为 _ 正态 _(或 _ 高斯 _)分布。该分布由两个值(我们称之为分布的 _ 参数 _)定义:中心峰的位置(我们称之为 _ 平均值 _)和分布的宽度(用称为 _ 标准偏差的参数描述)。操作 _)。图[4.6](#fig:NormalDistPlotsWithDist)显示了在每个历史程序顶部绘制的适当正态分布。您可以看到,虽然曲线不完全符合数据,但它们在描述分布方面做得很好——只有两个数字!
正如我们在后面的课程中讨论中心极限定理时所看到的,世界上许多变量呈现正态分布的形式有一个深刻的数学原因。
### 4.3.1 偏斜度
图[4.6](#fig:NormalDistPlotsWithDist)中的例子很好地遵循正态分布,但在许多情况下,数据将以系统的方式偏离正态分布。数据可以偏离的一种方式是不对称的,这样分布的一个尾部比另一个更加密集。我们称之为“歪斜”。偏度通常发生在测量被限制为非负值的情况下,例如我们计算事物或测量经过的时间(因此变量不能取负值)。
斜率的一个例子可以在旧金山国际机场机场安全线的平均等待时间中看到,在图 [4.7 的左侧面板](#fig:SFOWaitTimes)中绘制。您可以看到,虽然大多数等待时间不到 20 分钟,但有许多情况下,它们会更长,超过 60 分钟!这是一个“右偏”分布的例子,其中右尾比左尾长;在查看计数或测量时间时,这些是常见的,不能小于零。看到“左偏”分布不太常见,但它们可能发生,例如,当查看不能取大于 1 的值的分数值时。
![Examples of right-skewed and long-tailed distributions. Left: Average wait times for security at SFO Terminal A (Jan-Oct 2017), obtained from https://awt.cbp.gov/ . Right: A histogram of the number of Facebook friends amongst 3,663 individuals, obtained from the Stanford Large Network Database. The person with the maximum number of friends is indicated by the blue dot.](https://img.kancloud.cn/49/f8/49f8df720b5805f57b0ce8672a0b08d0_768x384.png)
图 4.7 右偏和长尾分布示例。左:从[https://awt.cbp.gov/](https://awt.cbp.gov/)获取的 SFO 终端 A 安全的平均等待时间(2017 年 1-10 月)。右图:从斯坦福大型网络数据库中获取的 3663 个人中 Facebook 好友数量的柱状图。朋友最多的人用蓝点表示。
### 4.3.2 长尾分布
历史上,统计数据主要集中在正态分布的数据上,但有许多数据类型看起来与正态分布完全不同。特别是,许多现实世界的分布是“长尾巴”,这意味着右尾巴远远超出了分布中最典型的成员。一种最有趣的数据类型,其中长尾分布发生在社会网络的分析。例如,让我们看看来自斯坦福大网络数据库[的 Facebook 好友数据,并绘制数据库中 3663 人的好友数量柱状图(参见图](https://snap.stanford.edu/data/egonets-Facebook.html)[4.7](#fig:SFOWaitTimes)的右面板)。如我们所见,这个分布有一个很长的右尾——一般人有 24.09 个朋友,而朋友最多的人(用蓝点表示)有 1043 个!
在现实世界中,长尾分布越来越被认可。特别是,复杂系统的许多特征都具有这些分布特征,从文本中的单词频率,到进出机场的航班数量,再到大脑网络的连接。有许多不同的方法可以实现长尾分布,但在基督教圣经中所谓的“马太效应”的情况下会出现一个常见的方法:
> 因为凡有更多的,必被赐给他,他也必富足;但没有的,连他所拥有的,也必被夺去。-马太福音 25:29,修订后的标准版
通常被解释为“富人越富有”。在这种情况下,优势是复合的,这样那些有更多朋友的人可以接触到更多的新朋友,而那些有更多钱的人可以做更多能增加他们财富的事情。
随着课程的发展,我们将看到一些长尾分布的例子,我们应该记住,当面对长尾数据时,统计中的许多工具可能会失败。正如纳西姆·尼古拉斯·塔勒布在其《黑天鹅》一书中指出的那样,这种长尾分布在 2008 年金融危机中起到了至关重要的作用,因为交易员使用的许多金融模型都假设金融系统将遵循正态分布,而他们显然没有遵循正态分布。
- 前言
- 0.1 本书为什么存在?
- 0.2 你不是统计学家-我们为什么要听你的?
- 0.3 为什么是 R?
- 0.4 数据的黄金时代
- 0.5 开源书籍
- 0.6 确认
- 1 引言
- 1.1 什么是统计思维?
- 1.2 统计数据能为我们做什么?
- 1.3 统计学的基本概念
- 1.4 因果关系与统计
- 1.5 阅读建议
- 2 处理数据
- 2.1 什么是数据?
- 2.2 测量尺度
- 2.3 什么是良好的测量?
- 2.4 阅读建议
- 3 概率
- 3.1 什么是概率?
- 3.2 我们如何确定概率?
- 3.3 概率分布
- 3.4 条件概率
- 3.5 根据数据计算条件概率
- 3.6 独立性
- 3.7 逆转条件概率:贝叶斯规则
- 3.8 数据学习
- 3.9 优势比
- 3.10 概率是什么意思?
- 3.11 阅读建议
- 4 汇总数据
- 4.1 为什么要总结数据?
- 4.2 使用表格汇总数据
- 4.3 分布的理想化表示
- 4.4 阅读建议
- 5 将模型拟合到数据
- 5.1 什么是模型?
- 5.2 统计建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最简单的模型:平均值
- 5.6 模式
- 5.7 变异性:平均值与数据的拟合程度如何?
- 5.8 使用模拟了解统计数据
- 5.9 Z 分数
- 6 数据可视化
- 6.1 数据可视化如何拯救生命
- 6.2 绘图解剖
- 6.3 使用 ggplot 在 R 中绘制
- 6.4 良好可视化原则
- 6.5 最大化数据/墨水比
- 6.6 避免图表垃圾
- 6.7 避免数据失真
- 6.8 谎言因素
- 6.9 记住人的局限性
- 6.10 其他因素的修正
- 6.11 建议阅读和视频
- 7 取样
- 7.1 我们如何取样?
- 7.2 采样误差
- 7.3 平均值的标准误差
- 7.4 中心极限定理
- 7.5 置信区间
- 7.6 阅读建议
- 8 重新采样和模拟
- 8.1 蒙特卡罗模拟
- 8.2 统计的随机性
- 8.3 生成随机数
- 8.4 使用蒙特卡罗模拟
- 8.5 使用模拟统计:引导程序
- 8.6 阅读建议
- 9 假设检验
- 9.1 无效假设统计检验(NHST)
- 9.2 无效假设统计检验:一个例子
- 9.3 无效假设检验过程
- 9.4 现代环境下的 NHST:多重测试
- 9.5 阅读建议
- 10 置信区间、效应大小和统计功率
- 10.1 置信区间
- 10.2 效果大小
- 10.3 统计能力
- 10.4 阅读建议
- 11 贝叶斯统计
- 11.1 生成模型
- 11.2 贝叶斯定理与逆推理
- 11.3 进行贝叶斯估计
- 11.4 估计后验分布
- 11.5 选择优先权
- 11.6 贝叶斯假设检验
- 11.7 阅读建议
- 12 分类关系建模
- 12.1 示例:糖果颜色
- 12.2 皮尔逊卡方检验
- 12.3 应急表及双向试验
- 12.4 标准化残差
- 12.5 优势比
- 12.6 贝叶斯系数
- 12.7 超出 2 x 2 表的分类分析
- 12.8 注意辛普森悖论
- 13 建模持续关系
- 13.1 一个例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否与仇恨犯罪有关?
- 13.3 协方差和相关性
- 13.4 相关性和因果关系
- 13.5 阅读建议
- 14 一般线性模型
- 14.1 线性回归
- 14.2 安装更复杂的模型
- 14.3 变量之间的相互作用
- 14.4“预测”的真正含义是什么?
- 14.5 阅读建议
- 15 比较方法
- 15.1 学生 T 考试
- 15.2 t 检验作为线性模型
- 15.3 平均差的贝叶斯因子
- 15.4 配对 t 检验
- 15.5 比较两种以上的方法
- 16 统计建模过程:一个实例
- 16.1 统计建模过程
- 17 做重复性研究
- 17.1 我们认为科学应该如何运作
- 17.2 科学(有时)是如何工作的
- 17.3 科学中的再现性危机
- 17.4 有问题的研究实践
- 17.5 进行重复性研究
- 17.6 进行重复性数据分析
- 17.7 结论:提高科学水平
- 17.8 阅读建议
- References