文章基本信息

标题：Redonner du sens à l’accord interannotateur : vers une interprétation des mesures d’accord en termes de reproductibilité de l’annotation
本地全文：下载
作者：Dany Bregeon ; Jean-Yves Antoine ; Jeanne Villaneau 等
期刊名称：Traitement Automatique des Langues
印刷版ISSN：1248-9433
电子版ISSN：1965-0906
出版年度：2019
卷号：60
期号：2
页码：1-25
语种：French
出版社：ATALA - Assoc Traitement Automatique Langues
摘要：Les mesures d’accord interannotateur sont utilisées en routine par le TAL pour évaluer la fiabilité des annotations de référence. Pourtant, les seuils de confiance liés à cette estimation relèvent d’opinions subjectives et n’ont fait l’objet d’aucune expérience de validation dédiée. Dans cet article, nous présentons des résultats expérimentaux sur données réelles ou simulées qui visent à proposer une interprétation des mesures d’accord en termes de stabilité de la référence produite, sous la forme d’un taux moyen de variation de la référence entre différents groupes d’annotateurs.
其他摘要：Inter-coders agreement measures are used to assess the reliability of annotated corpora in NLP. Now, the interpretation of these agreement measures in terms of reliability level relies on pure subjective opinions that are not supported by any experimental validation. In this paper, we present several experiments on real or simulated data that aim at providing a clear interpretation of agreement measures in terms.