文章基本信息

标题：A simulation study of rater agreement measures with 2x2 contingency tables
本地全文：下载
作者：Manuel Ato ; Juan José López ; Ana Benavente 等
期刊名称：Psicológica
印刷版ISSN：0211-2159
电子版ISSN：1576-8597
出版年度：2012
卷号：33
期号：2
页码：385-402
语种：English
出版社：Universitat de València
摘要：Mediante un estudio de simulación se aborda una comparación entre seis medidas obtenidas usando tres enfoques diferentes para la evaluación del acuerdo. Los coeficientes de acuerdo elegidos fueron o de Bennet (1954), T de Scott (1955), K de Cohen (1960) y Y de Gwet (2001; 2008) para representar el enfoque clásico descriptivo, el coeficiente ¿ de Aickin (1990), para representar el enfoque de los modelos loglineal y mixtura ("mixture models") y la medida A de Martín and Femia (2004) para representar el enfoque de los test de elección multiple. Los resultados obtenidos confirman que los coeficientes T y Kpresentan diferencias notables en relación a los restantes coeficientes particularmente en presencia de valores extremos de prevalencia y sesgo entre observadores. El mejor comportamento fue observado con los coeficientes ¿ de Bennet y ¿ de Martín and Femia para todos los valores de prevalencia y sesgo entre observadores.
其他摘要：A comparison between six rater agreement measures obtained using three different approaches was achieved by means of a simulation study. Rater coefficients suggested by Bennet´s o (1954), Scott´s T (1955), Cohen´s K (1960) and Gwet´s Y (2008) were selected to represent the classical, descriptive approach, a agreement parameter from Aickin (1990) to represent loglinear and mixture model approaches and A measure from Martín and Femia (2004) to represent multiple-choice test. Main results confirm that T and K descriptive measures present high levels of mean bias in presence of extreme values of prevalence and rater bias but small to null levels with moderate values. The best behavior was observed with Bennet and Martín and Femia agreement measures for all levels of prevalence.