Comparison of Agreement Statistics in Case of Multiple-Raters and Diagnostic Test Being Categorical: A Simulation Study
Yükleniyor...
Tarih
2012
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Abstract:Amaç: Değerlendirici sayısının ve tanı testine ait kategori sayısının iki ve daha fazla olduğu durumda, uyum istatistiklerinin, örneklem büyüklüğünden, değerlendirici sayısından ve kullanılan ölçeğin kategori sayısından etkilenme durumlarını ortaya koymaktır. Gereç ve Yöntem: Değerlendiriciler arasında hiç uyumun olmadığı durumile uyumun 0.90 olduğu durumlara ait AC1 istatistiği, Fleiss Kappa ve Krippendorff Alpha değerleri 1000 simülasyon denemesi için kaydedilmiştir. Bulgular: Değerlendiriciler arasındaki beklenen uyumun 0.90 olduğu durumda; AC1 istatistiği ve Fleiss kappa katsayısı, örneklem büyüklüğü, değerlendirici sayısı ve tanı testine ait kategori sayısı ne olursa olsun tüm kombinasyonlarda benzer sonuçlar vermekte ve beklenen uyum değerine eşit değerler almaktadır. Krippendorff Alpha katsayısı incelendiğinde, örneklem büyüklüğünden etkilenmediği ancak değerlendirici sayısından ve tanı testine ait kategori sayısından etkilenmektedir. Sonuç: Prevelans değeri biliniyor ve çalışma için önem taşıyorsa, Gwet'in AC1 istatistiğinin, eğer çalışmada eksik verilerin varlığı söz konusu ise Krippendorff Alpha katsayısının, bu sözü edilen durumlar dışında Fleiss kappa katsayısının kullanılması önerilmektedir.
Abstract:Aim: When the number of raters and the number of categories of diagnostic tests are two or more, put forward agreement statistics' conditions of being affected by the sample size, the number of raters and the number of categories of scale used. Material and Methods: AC1 statistic, Fleiss Kappa and Krippendorff's Alpha values belonging to state where there was no agreement between raters and states where agreement was 0.90 for those combinations were recorded for 1000 simulation study. Results: The expected agreement between raters is 0.90, AC1 statistic and Fleiss Kappa coefficient offer similar results and take equivalent values, to the expected value of agreement in all combinations. When Krippendorff's Alpha coefficient examined, it is not affected by sample size but affected by the number of raters and the number of categories pertaining to diagnostic test. Conclusion: If prevalence value is known and a bear significant for study, use of AC1 statistic is recommended among agreement statistics, if the existence of missing data is the case in study, Krippendorff's Alpha coefficient is the most appropriate agreement statistic, except these cases mentioned, use of Fleiss Kappa coefficient is recommended.
Abstract:Aim: When the number of raters and the number of categories of diagnostic tests are two or more, put forward agreement statistics' conditions of being affected by the sample size, the number of raters and the number of categories of scale used. Material and Methods: AC1 statistic, Fleiss Kappa and Krippendorff's Alpha values belonging to state where there was no agreement between raters and states where agreement was 0.90 for those combinations were recorded for 1000 simulation study. Results: The expected agreement between raters is 0.90, AC1 statistic and Fleiss Kappa coefficient offer similar results and take equivalent values, to the expected value of agreement in all combinations. When Krippendorff's Alpha coefficient examined, it is not affected by sample size but affected by the number of raters and the number of categories pertaining to diagnostic test. Conclusion: If prevalence value is known and a bear significant for study, use of AC1 statistic is recommended among agreement statistics, if the existence of missing data is the case in study, Krippendorff's Alpha coefficient is the most appropriate agreement statistic, except these cases mentioned, use of Fleiss Kappa coefficient is recommended.
Açıklama
Anahtar Kelimeler
Kaynak
İnönü Üniversitesi Turgut Özal Tıp Merkezi Dergisi
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
KANIK E. A,TEMEL G. O,ERDOĞAN S,KAYA İ. E (2012). Comparison of Agreement Statistics in Case of Multiple-Raters and Diagnostic Test Being Categorical: A Simulation Study. İnönü Üniversitesi Turgut Özal Tıp Merkezi Dergisi, 19(4), 220 - 227.
