## 2.3 什么是良好的测量?
在心理学等许多领域,我们所测量的不是物理特征,而是一个不可观测的理论概念,我们通常称之为 _ 结构 _。例如,假设我想测试一下您对上述四种不同测量尺度之间的区别有多了解。我可以给你一个弹出测试,问你几个关于这些概念的问题,并计算你有多少是正确的。这个测试可能是或者可能不是对你实际知识结构的一个很好的度量——例如,如果我用一种令人困惑的方式编写测试或者使用你不理解的语言,那么这个测试可能会建议你在真正的时候不理解这些概念。另一方面,如果我给你一个有着非常明显错误答案的多选测试,那么你可能在测试中表现得很好,即使你并不真正理解材料。
在没有一定误差的情况下,通常不可能测量结构。在上面的例子中,您可能知道答案,但您可能误读了问题并弄错了。在其他情况下,被测物本身存在误差,例如,当我们测量一个人在一个简单的反应时间测试中需要多长时间做出反应时,由于许多原因,从一个试验到另一个试验都会有所不同。我们通常希望我们的测量误差尽可能低。
有时有一个标准可以用来测试其他的测量,我们可以称之为“黄金标准”——例如,睡眠的测量可以用许多不同的设备(例如测量床上运动的设备)来完成,但它们通常被认为不如多导睡眠图的黄金标准(使用脑电波测量来量化一个人在睡眠的每个阶段所花费的时间)。通常金本位制的执行难度更大或成本更高,即使可能存在更大的误差,也会使用更便宜的方法。
当我们思考什么是一个好的度量时,我们通常会区分一个好度量的两个不同方面。
### 2.3.1_ 可靠性 _
可靠性量化了我们测量结果的一致性。一种常见的可靠性形式被称为“测试-再测试可靠性”,它测量如果相同的测量进行两次,测量结果的一致性。例如,我可能会给你一份关于你今天对统计的态度的调查问卷,明天重复同样的调查问卷,并在两天内比较你的答案;我们希望它们彼此非常相似,除非在两次测试之间发生了一些应该改变了你对统计的看法(比如读这本书!).
另一种评估可靠性的方法是在数据包括主观判断的情况下。例如,假设一个研究人员想确定一种治疗是否会改变自闭症儿童与其他儿童的互动程度,这是通过让专家观察儿童并对他们与其他儿童的互动进行评级来衡量的。在这种情况下,我们希望确保答案不依赖于评级机构——也就是说,我们希望有高 _ 的评级机构间可靠性 _。这可以通过让多个评级者执行评级来评估,然后比较他们的评级,以确保他们之间的一致性。
如果我们想将一个测量值与另一个测量值进行比较,可靠性是很重要的。两个不同测量值之间的关系不能比两个测量值之间的关系强(即其可靠性)。这意味着一个不可靠的度量永远不会与任何其他度量有很强的统计关系。因此,研究人员开发一种新的测量方法(如一项新的调查),通常会花很大的时间来测试它的可靠性。
![A figure demonstrating the distinction between reliability and validity, using shots at a bullseye. Reliability refers to the consistency of location of shots, and validity refers to the accuracy of the shots with respect to the center of the bullseye. ](https://img.kancloud.cn/56/b2/56b273467b7b6475baa27e5a20de0f0a_576x576.png)
图 2.1 使用靶心射击,显示可靠性和有效性之间的区别的图。可靠性是指射击位置的一致性,有效性是指射击相对于靶心的准确性。
### 2.3.2_ 有效性 _
可靠性很重要,但就其本身而言还不够:毕竟,我可以用一个数字对每个答案进行编码,从而在人格测试中创建一个高度可靠的衡量标准,不管这个人如何回答。我们希望我们的测量结果也是 _ 有效的 _——也就是说,我们希望确保我们实际测量的是我们认为我们正在测量的构造(图[2.1](#fig:ReliabilityValidity))。有许多不同类型的有效性被普遍讨论;我们将集中讨论其中的三种。
_ 人脸有效性 _。测量值在表面上有意义吗?如果我告诉你我要通过观察一个人的舌头的颜色来测量他的血压,你可能会认为这不是一个有效的测量方法。另一方面,使用血压袖带将具有面部有效性。这通常是我们深入到更复杂的有效性方面之前的第一个现实检查。
_ 构造有效性 _。测量是否以适当的方式与其他测量相关?这通常被细分为两个方面。_ 收敛有效性 _ 意味着度量应该与其他被认为反映相同构造的度量密切相关。假设我有兴趣通过问卷调查或面试来衡量一个人的外向程度。如果这两个不同的度量值彼此密切相关,则可以证明收敛有效性。另一方面,被认为反映不同结构的度量应该是不相关的,即 _ 发散效度 _。如果我的人格理论认为外向性和责任感是两个不同的结构,那么我也应该看到我对外向性的测量与责任感的测量是无关的。
_ 预测有效性 _。如果我们的测量结果确实有效,那么它们也应该是对其他结果的预测。例如,假设我们认为,情感寻求的心理特征(对新体验的渴望)与现实世界中的冒险有关。为了检验感觉寻求测量的预测有效性,我们将在一项不同的测量现实风险的调查中,测试测试分数对预测分数的影响。
- 前言
- 0.1 本书为什么存在?
- 0.2 你不是统计学家-我们为什么要听你的?
- 0.3 为什么是 R?
- 0.4 数据的黄金时代
- 0.5 开源书籍
- 0.6 确认
- 1 引言
- 1.1 什么是统计思维?
- 1.2 统计数据能为我们做什么?
- 1.3 统计学的基本概念
- 1.4 因果关系与统计
- 1.5 阅读建议
- 2 处理数据
- 2.1 什么是数据?
- 2.2 测量尺度
- 2.3 什么是良好的测量?
- 2.4 阅读建议
- 3 概率
- 3.1 什么是概率?
- 3.2 我们如何确定概率?
- 3.3 概率分布
- 3.4 条件概率
- 3.5 根据数据计算条件概率
- 3.6 独立性
- 3.7 逆转条件概率:贝叶斯规则
- 3.8 数据学习
- 3.9 优势比
- 3.10 概率是什么意思?
- 3.11 阅读建议
- 4 汇总数据
- 4.1 为什么要总结数据?
- 4.2 使用表格汇总数据
- 4.3 分布的理想化表示
- 4.4 阅读建议
- 5 将模型拟合到数据
- 5.1 什么是模型?
- 5.2 统计建模:示例
- 5.3 什么使模型“良好”?
- 5.4 模型是否太好?
- 5.5 最简单的模型:平均值
- 5.6 模式
- 5.7 变异性:平均值与数据的拟合程度如何?
- 5.8 使用模拟了解统计数据
- 5.9 Z 分数
- 6 数据可视化
- 6.1 数据可视化如何拯救生命
- 6.2 绘图解剖
- 6.3 使用 ggplot 在 R 中绘制
- 6.4 良好可视化原则
- 6.5 最大化数据/墨水比
- 6.6 避免图表垃圾
- 6.7 避免数据失真
- 6.8 谎言因素
- 6.9 记住人的局限性
- 6.10 其他因素的修正
- 6.11 建议阅读和视频
- 7 取样
- 7.1 我们如何取样?
- 7.2 采样误差
- 7.3 平均值的标准误差
- 7.4 中心极限定理
- 7.5 置信区间
- 7.6 阅读建议
- 8 重新采样和模拟
- 8.1 蒙特卡罗模拟
- 8.2 统计的随机性
- 8.3 生成随机数
- 8.4 使用蒙特卡罗模拟
- 8.5 使用模拟统计:引导程序
- 8.6 阅读建议
- 9 假设检验
- 9.1 无效假设统计检验(NHST)
- 9.2 无效假设统计检验:一个例子
- 9.3 无效假设检验过程
- 9.4 现代环境下的 NHST:多重测试
- 9.5 阅读建议
- 10 置信区间、效应大小和统计功率
- 10.1 置信区间
- 10.2 效果大小
- 10.3 统计能力
- 10.4 阅读建议
- 11 贝叶斯统计
- 11.1 生成模型
- 11.2 贝叶斯定理与逆推理
- 11.3 进行贝叶斯估计
- 11.4 估计后验分布
- 11.5 选择优先权
- 11.6 贝叶斯假设检验
- 11.7 阅读建议
- 12 分类关系建模
- 12.1 示例:糖果颜色
- 12.2 皮尔逊卡方检验
- 12.3 应急表及双向试验
- 12.4 标准化残差
- 12.5 优势比
- 12.6 贝叶斯系数
- 12.7 超出 2 x 2 表的分类分析
- 12.8 注意辛普森悖论
- 13 建模持续关系
- 13.1 一个例子:仇恨犯罪和收入不平等
- 13.2 收入不平等是否与仇恨犯罪有关?
- 13.3 协方差和相关性
- 13.4 相关性和因果关系
- 13.5 阅读建议
- 14 一般线性模型
- 14.1 线性回归
- 14.2 安装更复杂的模型
- 14.3 变量之间的相互作用
- 14.4“预测”的真正含义是什么?
- 14.5 阅读建议
- 15 比较方法
- 15.1 学生 T 考试
- 15.2 t 检验作为线性模型
- 15.3 平均差的贝叶斯因子
- 15.4 配对 t 检验
- 15.5 比较两种以上的方法
- 16 统计建模过程:一个实例
- 16.1 统计建模过程
- 17 做重复性研究
- 17.1 我们认为科学应该如何运作
- 17.2 科学(有时)是如何工作的
- 17.3 科学中的再现性危机
- 17.4 有问题的研究实践
- 17.5 进行重复性研究
- 17.6 进行重复性数据分析
- 17.7 结论:提高科学水平
- 17.8 阅读建议
- References