11 Clifford, Sheagley, and Piston (2021)
11.1 文獻回顧與研究問題
11.1.1 政治學的實驗設計
Figure 11.1: 四種實驗設計的比較。
如圖 11.1，實驗設計可以分成兩大類：between-subjects design 與 within-subjects design，而前者又能分成 post-only、pre-post 與 quasi-pre-post 三種。Post-only design 是政治學界最常用的實驗設計，並且簡單。不過問題在於 post-only design 較不精確，如果樣本小或實驗的 conditions 複雜起來，那會更嚴重。總而言之，post-only design 需要更大的樣本。新增更多控制變數能增加檢定力，但效果有限。
作者認為可以改採 repeated measures designs，即在研究中測量多次結果變數。例如 pre-post design 就是其一，與 post-only 的區別只在實驗操弄前有測量結果變數，如圖 11.1。另一種實驗設計為 quasi-pre-post design，近似於 post-only design，差別在前測測量的是與依變數高度相關的變數。Within-subject design 則都不同於這幾種，每一個受試者會接受處置，不過時序不同；conjoint design 也算一種 within-subject design，但概念都不同於前幾種，而是讓受試者不斷進行選擇作業，選項具有隨機抽出的特質。
Repeated measures 可能造成的問題分成三種：
Demand effects：受試者會讓自己的行為更接近研究者的期望，而重複測量可能會讓研究者的假設被受試者參透，進而改變處置效果。
Consistency Pressures：受試者會想要讓自己的回應不隨時間改變。
Interaction between Testing and the Treatment：重複測量依變項會讓處置的效果減弱。
而作者在 APSR、AJPS、JoP、PoliBehav 與 PoliPsy 五本期刊中，從 2015 年至 2020 年 4 月間的 457 篇文章中隨機抽出 55 篇文章，當中有 41 篇文章進行了 67 個實驗，各種實驗設計被使用的頻率如圖 11.2。
Figure 11.2: 各種實驗設計的使用頻率。
11.2 如何回答研究問題
作者進行了六個實驗，實驗概要如圖 11.3
Figure 11.3: 六個實驗。
透過 internal meta-analysis 發現，repeated measures designs 在統計上不會顯著地影響處置效果；但是，pre-post design 卻可以有效地降低估計的標準誤，而 quasi-design 有時也能提高精確度。
此外，panel design 的效果微乎其微，反而在同波調查採用 pre-post design 就能有效提高精確度；以 study 6 而言，consistency pressures 是存在的，但受試者似乎會忘記自己在 pre-test 的回答。另外，計算 MDE 也可以發現，pre-post design 的 MDE 相比起 post-only design 更小。
政治學界的調查實驗研究多採取 post-only design，即僅在處置結束後測量結果變數。有論者認為採取 repeated measures designs 可能會改變處置效果，因為受試者在短時間內被一再問到相同的問題會起疑。真的是這樣嗎？這個觀點其實缺乏實證證據支持。