6 Reliability Generalization

Somut veya soyut özelliklerin ölçülmesinde kullanılacak ölçeğin standart bir ölçme aracı olması gerekmektedir. Ölçeğin standardize olabilmesi ve sonrasında uygun bilgiler üretme yeteneğine sahip olması için ölçüm değerlerinin kararlılığının bir göstergesi olan “güvenirlik” ve ölçmeyi amaçladığı özelliği doğru ölçebilme derecesinin göstergesi olan “geçerlik” olarak nitelendirilen iki temel özelliğe sahip olması beklenmektedir. Somut özelliklerin ölçülmesinde güvenilir ve geçerli bir ölçekten yararlanılması bir sorun olmamakla birlikte soyut özelliklerin ölçümümde bu bir sorun haline gelmektedir (Ercan ve Kan, 2004). Bir ölçme aracıyla yapılan farklı çalışmalarda ölçme aracından elde edilen güvenirlik sonuçları değişiklik gösterebilmektedir. Vacha-Haase (1998) bir ölçekten elde edilen güvenirlik değerlerini birleştirerek genelleştirilmesi meta-analizini önermektedir. Güvenirlik genellemesi, farklı örneklem ve bağlamlarda daha önce güvenirliği test edilmiş çalışmalardan elde edilen güvenilirlik tahminlerini istatistiksel olarak bütünleştirilmesi sürecidir (Badenes-Ribera vd., 2023). Güvenilirlik genellemesi, bir ölçeğin veya testin farklı uygulamaları arasında güvenirlik tahminlerinin değişkenliğini incelemeyi sağlayan bir meta analiz türü olarak tanımlanmaktadır (Sánchez-Meca vd., 2009).

Formül 6.

6.1 Ham Alfa Değerleri ile Yapılan Analizler

library(metafor)
library(readxl)

# Excel dosyasını okuma
veri <- read_excel("guvanssd.xlsx")
# Meta-analiz için ham alfa değerleriyle (ARAW) analiz yapma
# 'ai': doğru yanıt sayısı, 'mi': yanlış yanıt sayısı, 'ni': toplam örneklem büyüklüğü

### Ham alfa verileriyle (ARAW) yapılan meta-analiz
res0 <- rma(measure="ARAW", ai=ai, mi=mi, ni=ni, data=veri)
res0

## 
## Random-Effects Model (k = 24; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0004 (SE = 0.0002)
## tau (square root of estimated tau^2 value):      0.0203
## I^2 (total heterogeneity / total variability):   84.29%
## H^2 (total variability / sampling variability):  6.37
## 
## Test for Heterogeneity:
## Q(df = 23) = 148.7226, p-val < .0001
## 
## Model Results:
## 
## estimate      se      zval    pval   ci.lb   ci.ub      
##   0.9084  0.0049  186.1114  <.0001  0.8988  0.9180  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Yapılan analizler sonucunda heterojenlik testi anlamlı bulunmuştur (p<0,0001). Heterojenlik yüzdesi I-kare=%84,29 olarak bulunmuştur. Bu durum çalışmalar arasında alfa katsayısı bakımından yüksek derecede heterojenlik olduğunu göstermektedir.

6.2 Fisher Dönüşümü ile Yapılan Analizler

Korelasyona dayalı meta analiz uygulamalarında Pearson korelasyon değerleri Fisher z değerlerine dönüştürülerek analizler gerçekleştirilir.

library(metafor)
library(readxl)

# Excel dosyasını okuma
veri <- read_excel("guvanssd.xlsx")

# Fisher's z dönüşümü kullanılarak meta-analiz
# 'ri': korelasyon katsayısı, 'ni': örneklem büyüklüğü
res1 <- rma(measure = "ZCOR", ri = veri$ai, ni = veri$ni, data = veri)
res1

## 
## Random-Effects Model (k = 24; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0142 (SE = 0.0064)
## tau (square root of estimated tau^2 value):      0.1191
## I^2 (total heterogeneity / total variability):   71.99%
## H^2 (total variability / sampling variability):  3.57
## 
## Test for Heterogeneity:
## Q(df = 23) = 102.8222, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   1.5209  0.0305  49.8274  <.0001  1.4611  1.5807  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Yapılan analizler sonucunda heterojenlik testi anlamlı bulunmuştur (p<0,0001). Heterojenlik yüzdesi I-kare=%71,99 olarak bulunmuştur. Bu durum çalışmalar arasında alfa katsayısı bakımından yüksek derecede heterojenlik olduğunu göstermektedir.

6.3 Hakstian & Whalen (1976) Dönüşümü ile Yapılan Analizler

library(metafor)
library(readxl)

# Excel dosyasını okuma
veri <- read_excel("guvanssd.xlsx")

###  Hakstian & Whalen (1976) tarafından onerilen dönüşüme dayalı meta-analiz
res2 <- rma(measure="AHW", ai=ai, mi=mi, ni=ni, data=veri)
res2

## 
## Random-Effects Model (k = 24; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0012 (SE = 0.0005)
## tau (square root of estimated tau^2 value):      0.0352
## I^2 (total heterogeneity / total variability):   83.47%
## H^2 (total variability / sampling variability):  6.05
## 
## Test for Heterogeneity:
## Q(df = 23) = 171.5919, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   0.5494  0.0083  66.4178  <.0001  0.5332  0.5656  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Yapılan analizler sonucunda heterojenlik testi anlamlı bulunmuştur (p<0,0001). Heterojenlik yüzdesi I-kare=%83,47 olarak bulunmuştur. Bu durum çalışmalar arasında alfa katsayısı bakımından yüksek derecede heterojenlik olduğunu göstermektedir.

6.4 Bonett (2002) Dönüşümü ile Yapılan Analizler

Aslında bir korelasyon değeri olmayan ancak korelasyon değeri olarak hesaplanan alfa gibi güvenirlik katsayıları üzerinde güvenirlik genelleme meta analizi yapılabilmesi için Hakstian ve Whalen (1967) tarafından önerilen dönüşümün yanı sıra Bonett (2002) dönüşümü de uygulanabilir. Çarpık dağılıma sahip olan güvenirlik katsayısı değerleri Bonett dönüşümüyle normal bir dağılıma sahip olabilir ve varyanstaki değişkenlik stabilize edilebilir.

library(metafor)
library(readxl)

# Excel dosyasını okuma
veri <- read_excel("guvanssd.xlsx")
### Bonett (2002) tarafından onerilen dönüşüme dayalı meta-analiz
res3 <- rma(measure="ABT", ai=ai, mi=mi, ni=ni, data=veri)
res3

## 
## Random-Effects Model (k = 24; tau^2 estimator: REML)
## 
## tau^2 (estimated amount of total heterogeneity): 0.0559 (SE = 0.0215)
## tau (square root of estimated tau^2 value):      0.2365
## I^2 (total heterogeneity / total variability):   83.01%
## H^2 (total variability / sampling variability):  5.88
## 
## Test for Heterogeneity:
## Q(df = 23) = 179.4895, p-val < .0001
## 
## Model Results:
## 
## estimate      se     zval    pval   ci.lb   ci.ub      
##   2.3944  0.0555  43.1532  <.0001  2.2857  2.5032  *** 
## 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Yapılan analizler sonucunda heterojenlik testi anlamlı bulunmuştur (p<0,0001). Heterojenlik yüzdesi I-kare=%83,01 olarak bulunmuştur. Bu durum çalışmalar arasında alfa katsayısı bakımından yüksek derecede heterojenlik olduğunu göstermektedir.