## 1.3 统计学的基本概念
有许多非常基本的思想贯穿了统计思维的几乎所有方面。斯蒂格勒(2016)在他的杰出著作《统计智慧的七大支柱》中概述了其中的几点,我在这里对此进行了补充。
### 1.3.1 从数据中学习
统计的一种方法是作为一组工具,使我们能够从数据中学习。在任何情况下,我们都从一组关于可能发生的情况的想法或假设开始。在这项纯粹的研究中,研究人员可能已经开始期望,吃更多的脂肪会导致更高的死亡率,鉴于目前关于饱和脂肪的消极教条。在本课程的后面,我们将介绍 _ 先验知识 _ 的概念,它旨在反映我们所带来的知识。这种先前的知识可能在其强度上有所不同,通常是基于我们的经验;如果我第一次去一家餐馆,我可能对它有多好的期望值很低,但是如果我去一家以前吃过 10 次的餐馆,我的期望值会更高。同样地,如果我在一个餐馆评论网站上看到一家餐馆的平均四星级评价仅仅基于三个评论,那么我的期望就比基于 300 个评论的期望要弱。
统计学为我们提供了一种方法来描述如何最好地利用新的数据来更新我们的信仰,并且统计学和心理学之间有着深刻的联系。事实上,许多心理学中的人和动物学习理论与机器学习(htg0)这一新领域的思想紧密相连。机器学习是统计学和计算机科学的接口领域,主要研究如何建立可以从经验中学习的计算机算法。虽然统计和机器学习经常试图解决相同的问题,但来自这些领域的研究人员往往采取非常不同的方法;著名的统计学家 Leo Breiman 曾将它们称为“两种文化”,以反映它们的方法有多不同(Breiman 2001 年)。在这本书中,我将尝试将这两种文化融合在一起,因为这两种方法都为思考数据提供了有用的工具。
### 1.3.2 聚合
另一种统计方法是“丢弃数据的科学”。在上面的纯研究的例子中,我们取了 100000 多个数字并将它们压缩成 10 个。正是这种 _ 聚合 _ 是统计学中最重要的概念之一。当它第一次被推进时,这是革命性的:如果我们把每一个参与者的所有细节都抛开了,那么我们怎么能确定我们没有遗漏重要的东西呢?
正如我们将看到的,统计学为我们提供了描述数据集合结构的方法,并提供了解释为什么这种方法通常工作得很好的理论基础。但是,还必须记住,聚合可能会走得太远,稍后我们将遇到这样的情况:摘要可能会对正在汇总的数据提供误导性的图片。
### 1.3.3 不确定性
世界是一个不确定的地方。我们现在知道吸烟会导致肺癌,但这种原因是概率性的:在过去 50 年里,一个 68 岁的男人每天抽两包烟,并且继续吸烟,他患肺癌的风险是 15%(7 分之一),比不吸烟的人患肺癌的风险要高很多。然而,这也意味着会有很多人终生吸烟,永远不会得肺癌。统计学为我们提供了工具来描述不确定性,在不确定性下做出决定,并做出我们可以量化的不确定性预测。
人们经常看到记者写道,科学研究人员已经“证明”了一些假设。但是统计分析永远不能“证明”一个假设,在证明它一定是真的意义上(就像在数学证明中一样)。统计数据可以为我们提供证据,但它总是试探性的,并且受制于现实世界中总是存在的不确定性。
### 1.3.4 取样
聚合的概念意味着我们可以通过跨数据折叠来获得有用的洞察力——但是我们需要多少数据呢?(htg0)抽样(htg1)的思想是,只要以正确的方式获得样本,我们就可以根据人口中的少量样本来总结整个人口。例如,这项纯粹的研究招募了大约 13.5 万人的样本,但其目的是提供有关数十亿人的见解,这些人是从这些人中取样的。正如我们前面讨论过的,获得研究样本的方法是至关重要的,因为它决定了我们可以多广泛地概括结果。从有关抽样的统计数据中得出的另一个基本观点是,尽管较大的样本总是更好(就它们准确地代表整个群体的能力而言),但随着样本越来越大,回报会减少。事实上,大样本收益减少的速度遵循一个简单的数学规则,随着样本大小的平方根增长。
- 前言
- 0.1 本书为什么存在?
- 0.2 你不是统计学家-我们为什么要听你的?
- 0.3 为什么是 R?
- 0.4 数据的黄金时代
- 0.5 开源书籍
- 0.6 确认
- 1 引言
- 1.1 什么是统计思维?
- 1.2 统计数据能为我们做什么?
- 1.3 统计学的基本概念
- 1.4 因果关系与统计
- 1.5 阅读建议
- 2 处理数据
- 2.1 什么是数据?
- 2.2 测量尺度
- 2.3 什么是良好的测量?
- 2.4 阅读建议
- 3 概率
- 3.1 什么是概率?
- 3.2 我们如何确定概率?
- 3.3 概率分布
- 3.4 条件概率
- 3.5 根据数据计算条件概率
- 3.6 独立性
- 3.7 逆转条件概率:贝叶斯规则
- 3.8 数据学习
- 3.9 优势比
- 3.10 概率是什么意思?
- 3.11 阅读建议
- 4 汇总数据
- 4.1 为什么要总结数据?
- 4.2 使用表格汇总数据
- 4.3 分布的理想化表示
- 4.4 阅读建议
- 5 将模型拟合到数据
- 5.1 什么是模型?
- 5.2 统计建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最简单的模型:平均值
- 5.6 模式
- 5.7 变异性:平均值与数据的拟合程度如何?
- 5.8 使用模拟了解统计数据
- 5.9 Z 分数
- 6 数据可视化
- 6.1 数据可视化如何拯救生命
- 6.2 绘图解剖
- 6.3 使用 ggplot 在 R 中绘制
- 6.4 良好可视化原则
- 6.5 最大化数据/墨水比
- 6.6 避免图表垃圾
- 6.7 避免数据失真
- 6.8 谎言因素
- 6.9 记住人的局限性
- 6.10 其他因素的修正
- 6.11 建议阅读和视频
- 7 取样
- 7.1 我们如何取样?
- 7.2 采样误差
- 7.3 平均值的标准误差
- 7.4 中心极限定理
- 7.5 置信区间
- 7.6 阅读建议
- 8 重新采样和模拟
- 8.1 蒙特卡罗模拟
- 8.2 统计的随机性
- 8.3 生成随机数
- 8.4 使用蒙特卡罗模拟
- 8.5 使用模拟统计:引导程序
- 8.6 阅读建议
- 9 假设检验
- 9.1 无效假设统计检验(NHST)
- 9.2 无效假设统计检验:一个例子
- 9.3 无效假设检验过程
- 9.4 现代环境下的 NHST:多重测试
- 9.5 阅读建议
- 10 置信区间、效应大小和统计功率
- 10.1 置信区间
- 10.2 效果大小
- 10.3 统计能力
- 10.4 阅读建议
- 11 贝叶斯统计
- 11.1 生成模型
- 11.2 贝叶斯定理与逆推理
- 11.3 进行贝叶斯估计
- 11.4 估计后验分布
- 11.5 选择优先权
- 11.6 贝叶斯假设检验
- 11.7 阅读建议
- 12 分类关系建模
- 12.1 示例:糖果颜色
- 12.2 皮尔逊卡方检验
- 12.3 应急表及双向试验
- 12.4 标准化残差
- 12.5 优势比
- 12.6 贝叶斯系数
- 12.7 超出 2 x 2 表的分类分析
- 12.8 注意辛普森悖论
- 13 建模持续关系
- 13.1 一个例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否与仇恨犯罪有关?
- 13.3 协方差和相关性
- 13.4 相关性和因果关系
- 13.5 阅读建议
- 14 一般线性模型
- 14.1 线性回归
- 14.2 安装更复杂的模型
- 14.3 变量之间的相互作用
- 14.4“预测”的真正含义是什么?
- 14.5 阅读建议
- 15 比较方法
- 15.1 学生 T 考试
- 15.2 t 检验作为线性模型
- 15.3 平均差的贝叶斯因子
- 15.4 配对 t 检验
- 15.5 比较两种以上的方法
- 16 统计建模过程:一个实例
- 16.1 统计建模过程
- 17 做重复性研究
- 17.1 我们认为科学应该如何运作
- 17.2 科学(有时)是如何工作的
- 17.3 科学中的再现性危机
- 17.4 有问题的研究实践
- 17.5 进行重复性研究
- 17.6 进行重复性数据分析
- 17.7 结论:提高科学水平
- 17.8 阅读建议
- References