文章基本信息

标题：Corrections for criterion reliability in validity generalization: The consistency of Hermes, the utility of Midas
本地全文：下载
作者：Jesús F. Salgado ; Silvia Moscoso ; Neil Anderson 等
期刊名称：Revista de Psicología del Trabajo y de las Organizaciones
印刷版ISSN：1576-5962
电子版ISSN：2174-0534
出版年度：2016
卷号：32
期号：1
页码：17-23
语种：English
出版社：Colegio Oficial de Psicólogos de Madrid
摘要：En la literature se critica el uso de los coeficientes interjueces para corregir por la fiabilidad del criterio en los estudios de generalización de la validez (GV) y cuestionan si .52 es un estimador pre- ciso y no dudoso de la fiabilidad interjueces de las valoraciones del desempe ̃ no global en el trabajo. En este articulo, presentamos un meta-análisis de segundo orden de tres estudios meta-analíticos independientes sobre la fiabilidad interjueces de las valoraciones del desempe ̃ no en el trabajo y hacemos diversos comentarios y reflexiones sobre el artículo de LeBreton et al. Los resultados de nuestro meta-análisis indican que la fiabilidad interjueces es .52 ( k = 66, N = 18.582, SD = .105) para un único supervisor. Nuestras principales conclusiones son: (a) el valor de .52 es un estimador pre- ciso de la fiabilidad interjueces del desempe ̃ no global en el trabajo para un único valorador, (b) no es razonable concluir que los estudios de GV que han usado .52 como valor de la fiabilidad del criterio tengan una fundamentación estadística poco segura, (c) sobre la base de la fiabilidad interjueces, la fiabilidad test-retest y el coeficiente alfa, los juicios del supervisor son una medida
其他摘要：There is criticism in the literature about the use of interrater coefficients to correct for criterion reliability in validity generalization (VG) studies and disputing whether .52 is an accurate and non-dubious estimate of interrater reliability of overall job performance (OJP) ratings. We present a second-order meta-analysis of three independent meta-analytic studies of the interrater reliability of job performance ratings and make a number of comments and reflections on LeBreton et al.’s paper. The results of our meta-analysis indicate that the interrater reliability for a single rater is .52 ( k = 66, N = 18,582, SD = .105). Our main conclusions are: (a) the value of .52 is an accurate estimate of the interrater reliability of overall job performance for a single rater; (b) it is not reasonable to conclude that past VG studies that used .52 as the criterion reliability value have a less than secure statistical foundation; (c) based on interrater reliability, test-retest reliability, and coefficient alpha, supervisor ratings are a useful and appropriate measure of job performance and can be confidently used as a criterion; (d) validity correction for criterion unreliability has been unanimously recommended by “classical” psychometricians and I/O psychologists as the proper way to estimate predictor validity, and is still recommended at present; (e) the substantive contribution of VG procedures to inform HRM practices in organizations should not be lost in these technical points of debate.
关键词：Interjueces ; Fiabilidad; Generalización de la validez; Desempeño en el trabajo; Valoracione
其他关键词：Interrater; Reliability; Validity generalization; Job performance; Ratings.