介绍

“Statistics is the grammar of science.” - Karl Pearson

混乱数据分析:设计的实验Analysis of Messy Data Volume 1: Designed Experiments, 2nd edn 的翻译。

本书/翻译基于 Elegant Bookdown Template。目前正文翻译工作已完成,尚未包括每章的练习。

本书探讨了多重比较程序、随机效应模型、混合模型、裂区实验和重复测量设计的各种技术。作者使用几个统计软件包简化了这些技术,并强调了设计结构和处理结构之间的区别。他们用例子介绍每一个主题,接着进行理论讨论,最后进行案例研究。本书向您展示如何有效地分析现实世界中的非标准数据集。

本书涉及丰富且有趣的例子,如探究饮食对减肥的影响、房屋油漆承受环境条件的能力、油漆保护钢板耐高温的能力、氮和钾的组合如何影响玉米产量、豆子煮熟后的风味、磨小麦时辊缝对小麦粉的影响、温度如何影响面包烘焙后的体积、展示柜中的肉的颜色如何受温度、包装、光照类型及强度的影响……统计分析当然重要,但良好的设计是良好的分析的前提,本书在这些实例的设计和分析方面给予了连贯的解释,展示了丰富的图表,罗列了大量公式,详尽地阐明了分析步骤并给出了相应的软件代码。

本书需要读者对统计学基本概念有一定的了解,并且最好有线性模型和实验设计的基础知识。在本书阅读过程中常常需要交替往返地进行查阅(或向前或向后)以获得完整的学习过程,出于此特殊结构,本书不适合作为入门级教科书,而是适合作为学习完线性模型和实验设计后的一本进阶学习资料或案头参考书。

站在巨人的肩膀上,才有了本书。希望你喜欢。

若有帮助,欢迎转发。能力不足,水平有限,望不吝批评:

由于公式较多,每章可能需要加载数秒。建议尽可能关闭后台程序以缩短加载时间

本书框架

译者将本书划分为 “热身”,“磨刀” 和 “砍柴” 三个部分。第一部分主要回顾了单向方差分析作为后续内容的热身;后两部分的主题分别是 “基本理论背景” 和 “处理结构的分析”。俗话说磨刀不误砍柴工,“磨刀” 的第 4 - 5 章可能需要研究者重点关注。“砍柴” 大部分内容都是先以若干章节讨论更具体处理结构的理论分析,再以案例研究收尾。三个部分的开头章节分别为第 1 章、第 3 章和第 7 章。左上角的选项用于展开/关闭左侧的导航窗格。接下来简要介绍各章内容(各章节均标了星星 “*” ,加载时长与星星数量成正比。恭喜您成为观星师!建议尽可能关闭后台程序以缩短加载时间)

  • “热身”

    • 作为开篇,第 1 章***讨论了最简单的情况:具有同质误差的完全随机设计结构中的单向处理结构。在这类实验中,研究人员希望考察某种因素对响应变量的影响,并假定响应变量在该因素的不同水平中的方差相等。

    • 2 章***接续第 1 章的基本结构,但将同质误差改为异质误差,即该因素可能会改变响应变量的方差。本章着重讨论了有关方差齐性检验的一系列技术。

  • “磨刀”

    • 3 章***重点关注实验中常常出现的一个问题:如何控制多重比较中的各种错误率?本章回顾了多重比较的一系列技术并给出了建议。

    • 4 章**对实验设计基本概念进行了详尽的描述。并强调了重复和复制的区别,提醒研究者勿将子样本或重复测量误认为重复。此外本章还讨论了其他实验设计教科书较少着墨甚至忽略的内容:将设计实验的结构划分为处理结构和设计结构,并列举了这两种结构常用的类型。最后结合两种结构的划分讨论了一些示例。

    • 5 章***讨论了多水平设计结构这一重要概念,包括裂区设计、裂条设计、重复测量设计及这些设计的组合。本章重点介绍了当实验包含不止一种尺寸的实验单元时,如何识别每种尺寸的实验单元,这对于计算所需误差平方和的过程至关重要。通过大量的例子来阐述不同设计结构的这些过程。

    • 6 章*仅供对理论背景感兴趣的人阅读,介绍了最小二乘估计程序,并讨论了可估性的重要概念。还讨论了总体边际均值的定义和估计。

  • “砍柴”

    • 7 章*讨论了均衡双向处理结构,给出了交互作用的定义并重点讨论了交互作用假设及它们的重要性。

    • 8 章**是一个均衡双向实验案例的完整分析,首先关于主效应和交互效应分别给出了对比和正交对比的定义,最后以此概念分析了一个油漆铺路示例,最后讨论了在分析定量处理因素时如何利用正交多项式考察处理主效应均值的曲线趋势。

    • 9 - 15 章讨论对子类数量不等的双向处理结构的分析。

    • 9 章**讨论对子类数量不等的双向处理结构的分析使用均值模型。

    • 10 章***则使用效应模型来分析相同的问题,实际上效应模型和均值模型能回答相同的问题,但几乎所有的统计软件都是为了处理效应模型而不是均值模型而开发的。还讨论了 I-IV 型假设以及相应的分析,总体边际均值与最小二乘均值的概念。

    • 11 章**讨论了一种关于大型均衡双向实验的分析方法,称为未加权均值法,这在计算机不发达的年代十分有用。此外,一些大型实验可能需要良好的初始起始值以便迭代算法能够收敛到合理的解,本章中的方法可以让研究人员在难以使程序收敛的情况下找到良好的初始起始值。

    • 12 章*以脂肪-表面活性剂实验为例,对子类数不等的均衡双向处理结构进行了一个案例研究。

    • 13 章*和第 14 章*分别使用均值模型和效应模型来分析含缺失处理组合的双向处理结构。除非可以对模型中的参数做出一些额外的假设,否则一些感兴趣的假设可能是不可检验的。对于存在缺失处理组合的数据,要做出可接受的分析需要深思熟虑。

    • 15 章*回顾了第 12 章的脂肪-表面活性剂实验,说明了在未观测到某些处理组合的情况下,随机完全区组设计中双向处理结构实验的分析。

    • 16 章*给出了分析三向和高阶处理结构的一般策略。尽管非常高阶的交互作用很少是有意义的,但我们都必须处理它们。

    • 17 章**以营养评分研究为例,对许多处理组合缺失时的三向处理结构进行了一个案例研究。提出了 SAS-GLM 分析未回答的问题,并说明了回答这些问题的技术。

    • 18 - 21 章介绍随机效应模型及其分析方法。

    • 18 章***作为介绍方差分量和随机效应模型开篇章节,定义了随机效应和固定效应的概念以及随机效应模型的概念。详细介绍了用于计算期望均方的代数方法和 Hartley’s 综合法,介绍了 Henderson 提出的四种计算平方和的方法。

    • 19 章***介绍了四种用于估计随机效应模型方差分量的方法:矩法、最大似然、受限或残差最大似然和 MIVQUE.

    • 20 章***介绍关于方差分量和方差分量函数的假设检验和构造置信区间的方法。有多种计算置信区间的方法,对于给定的数据结构,可以通过模拟研究来评估特定置信区间方法的实用性。

    • 21 章**讨论了一个工厂-地点-工人案例研究,以提供一个复杂的随机效应模型分析,其中包括方差分量估计、模型构建、假设检验和置信区间的估计。

    • 22 章***给出了混合模型的一般定义,分别讨论了随机效应部分和固定效应部分的分析。介绍了 BLUE, BLUP 和混合模型方程组等重要概念。

    • 23 章**通过工厂中员工操作机器的生产率得分案例讨论了均衡和不均衡混合模型的分析,其中涉及到固定效应和方差分量的各种估计和检验方法。

    • 24 章****通过七个示例详细讨论了裂区型设计的分析,还讨论了样本量和功效的计算。

    • 25 章**通过六个示例详细讨论了条区型设计的分析,这包括单纯的条区设计、含裂区的条区(条裂区以及条-条区。

    • 26 章***在理想的假设条件(时间的裂区假设)下讨论了重复测量实验,对三个示例进行了分析。

    • 27 章***接续第 26 章,考虑了在时间的裂区假设不满足的情况下分析重复测量实验数据的三种替代方法:多元方差分析法、调整 \(p\) 值法和混合模型法。对于混合模型法给出了关于一些流行的协方差结构的讨论。

    • 28 章**讨论了几个复杂的重复测量示例及其使用混合模型程序的统计分析。

    • 29 章***讨论了交叉设计的分析。

    • 30 章**回顾了第 5 章的几个例子,给出了嵌套实验的分析方法。

术语规范

  • Estimation, estimate, estimator 统一译作 “估计”,不论语境。

  • Treatment 统一译作 “处理”,不论语境。

  • Population 大多译作 “总体”。

  • Subject 统一译作 “个体”,不论语境。虽然 Subject 更多地译作 “受试者”、“主体”,而且 Subject 甚至没有 “个体” 这种翻译,译者如此翻译是出于统一以及特定上下文适用性的目的。对于后一个目的,例如,很难想象将农田里的作物、烘烤的面包译作 “受试者” 或 “主体”,如此翻译稍显奇怪。当然,本书原文更多地用 experimental unit 而不是 subject 来表示实验(最小)单元。

  • Balanced 统一译作 “均衡”,虽然可能更多地译作 “平衡”,如此翻译原因如下。考虑一个双向(两因素)实验,其设计通常以二维表格的形式呈现。现我们将其具象化为一张棋盘,两种处理的水平的每种组合代表棋盘的一个格子,我们的观测数据则是下在格子内的棋子,并假设每个棋子质量相等。现在我们的任务是在棋盘下方用竹竿顶端撑起棋盘,也就是找到一个支点使棋盘平衡。直观地想,如果每个格子中的棋子数量相等,那么这项任务最为简单:找到棋盘的中点即可。当格子中的棋子数量不等甚至有格子缺失棋子时,如此情况稍显复杂。这实际上也对应于当各处理组合观测数相等时,许多方法的功效达到最大。现将 “棋盘-棋子” 模型抽象化为数据,则最好不要用 “平衡” 而是 “均衡”,因为只有实体才会平衡,只有抽象化的数据才有 “均” 的概念。(事实上,观测数量不等时常用的逆概率加权方法,也可结合 “棋盘-棋子” 模型来解释)。

  • 矩阵以加粗字体\({\Large{\text{大写}}}\)英文/希腊字母表示,向量以加粗字体\({\Tiny{\text{小写}}}\)英文/希腊字母表示,标量以普通字体英文/希腊字母表示,如

    • 观测向量 \(\boldsymbol y\)
    • 设计矩阵及其转置 \(\boldsymbol X,\boldsymbol X^\prime\)
    • 误差向量 \(\boldsymbol\varepsilon\)
    • 协方差阵及其逆 \(\boldsymbol \Sigma,\boldsymbol \Sigma^{-1}\)
    • n 阶单位阵 \(\boldsymbol I_n\)
    • n 阶全 1 向量 \(\boldsymbol j_n\)
    • n 阶全 1 矩阵 \(\boldsymbol J_n\)
    • 总均值 \(\mu\)
    • 误差方差及其估计 \(\sigma^2_\varepsilon,\hat \sigma^2_\varepsilon\)
  • 对于具有多个维度的量 \(x\),其中各维度以索引 \(\text{index}=i,j,k,\ldots\) 表示,索引的取值为 \(1,2,\ldots,n_\text{index}\). 若固定其他维度不变,而关于某维度求和,则该维度的索引替换为 “\(\cdot\)”;若关于该维度求均值,则进一步为该量加上横线 \(\bar x\). 例如:

    • 对于三维样本量 \(n_{ijk}\);总样本量 \(N=\sum_i^{n_i}\sum_j^{n_j}\sum_k^{n_k} n_{ijk}=n_{\cdot\cdot\cdot}\);固定第一维和第三维,第二维的总样本量 \(\sum_j^{n_j}n_{ijk}=n_{i\cdot k}\)
    • 对于二维均值 \(\mu_{ij}\);总均值 \(\frac{1}{n_i}\sum_{i}^{n_i}\left(\frac{1}{n_j}\sum_{j}^{n_j}\mu_{ij}\right)=\bar \mu_{\cdot\cdot}=\mu\);固定第二维,第一维的均值 \(\frac{1}{n_i}\sum_{i}^{n_i}\mu_{ij}=\bar \mu_{\cdot j}\)
    • 对于三维误差项 \(\varepsilon_{ijk}\);总误差均值 \(\frac{1}{n_i}\sum_{i}^{n_i}\left[\frac{1}{n_j}\sum_{j}^{n_j}\left(\frac{1}{n_k}\sum_{k}^{n_k}\varepsilon_{ijk}\right)\right]=\bar\varepsilon_{\cdot\cdot\cdot}\);固定前两维,第三维的误差均值 \(\frac{1}{n_k}\sum_{k}^{n_k}\varepsilon_{ijk}=\bar\varepsilon_{ij\cdot}\)