11 Clifford, Sheagley, and Piston (2021)
11.1 文獻回顧與研究問題
11.1.1 政治學的實驗設計
Figure 11.1: 四種實驗設計的比較。
如圖 11.1，實驗設計可以分成兩大類：between-subjects design 與 within-subjects design，而前者又能分成 post-only、pre-post 與 quasi-pre-post 三種。Post-only design 是政治學界最常用的實驗設計，並且簡單。不過問題在於 post-only design 較不精確，如果樣本小或實驗的 conditions 複雜起來，那會更嚴重。總而言之，post-only design 需要更大的樣本。新增更多控制變數能增加檢定力，但效果有限。
作者認為可以改採 repeated measures designs，即在研究中測量多次結果變數。例如 pre-post design 就是其一，與 post-only 的區別只在實驗操弄前有測量結果變數，如圖 11.1。另一種實驗設計為 quasi-pre-post design，近似於 post-only design，差別在前測測量的是與依變數高度相關的變數。Within-subject design 則都不同於這幾種，每一個受試者會接受處置，不過時序不同；conjoint design 也算一種 within-subject design，但概念都不同於前幾種，而是讓受試者不斷進行選擇作業，選項具有隨機抽出的特質。
Repeated measures 可能造成的問題分成三種：
Demand effects：受試者會讓自己的行為更接近研究者的期望，而重複測量可能會讓研究者的假設被受試者參透，進而改變處置效果。
Consistency Pressures：受試者會想要讓自己的回應不隨時間改變。
Interaction between Testing and the Treatment：重複測量依變項會讓處置的效果減弱。
而作者在 APSR、AJPS、JoP、PoliBehav 與 PoliPsy 五本期刊中，從 2015 年至 2020 年 4 月間的 457 篇文章中隨機抽出 55 篇文章，當中有 41 篇文章進行了 67 個實驗，各種實驗設計被使用的頻率如圖 11.2。
Figure 11.2: 各種實驗設計的使用頻率。
11.1.2 研究問題
- Repeated measures 能否增加精確度（降低標準誤）卻不影響處置效果？
11.2 如何回答研究問題
作者進行了六個實驗，實驗概要如圖 11.3
Figure 11.3: 六個實驗。
透過 internal meta-analysis 發現，repeated measures designs 在統計上不會顯著地影響處置效果；但是，pre-post design 卻可以有效地降低估計的標準誤，而 quasi-design 有時也能提高精確度。
此外，panel design 的效果微乎其微，反而在同波調查採用 pre-post design 就能有效提高精確度；以 study 6 而言，consistency pressures 是存在的，但受試者似乎會忘記自己在 pre-test 的回答。另外，計算 MDE 也可以發現，pre-post design 的 MDE 相比起 post-only design 更小。
11.3 評價
11.3.1 研究貢獻
作者透過實證，發現傳統上認為 repeated measures 會造成處置效果改變上的說法（但並未有足夠多的證據）並不正確，且 repeated measures 還能增加精確度，這意味著 MDE 更低，即不需要那麼多的樣本就能識別處置效果。並且，長久以來透過控制變數來提高精確度的作法，其實效果也不如改用 repeated measures。此外，文獻的 pre-post design 多為 panel design，但其實並不需要那麼費工，即使在同一波調查，就能顯著地提高精確度。
11.3.2 研究限制
作者所從事的六場實驗，主要都是複製前人或大幅參照前人的研究的實驗，但並未解釋為何選取這些實驗主題與實驗典範。研究的內部效度很強，但外部效度或許值得近一步探討。
SI 沒有附那 55 篇隨機選取的文章的資料，當中就有 41 篇使用調查實驗的比例讓人吃驚。
政治學界的調查實驗研究多採取 post-only design，即僅在處置結束後測量結果變數。有論者認為採取 repeated measures designs 可能會改變處置效果，因為受試者在短時間內被一再問到相同的問題會起疑。真的是這樣嗎？這個觀點其實缺乏實證證據支持。