通过spss进行一致性检验(组内相关系数ICC及Kappa系数)。ICC参数由Analyze→Scale→Reliability Analysis过程完成得到;
选择恰当的ICC取决于以下三个方面,选择的模型是one-way model或two-way model;采用single measure或average measure;选择absolute agreement或consistency。研究者应根据资料类型和分析目的选择恰当的组内相关系数,SAS和SPSS可提供计算结果。
统计学中,组内相关系数(Intraclass correlation coefficient,ICC) 常用于评价具有某种确定亲属关系的个体间某定量属性的相似程度,另一方面主要应用于评价不同测定方法或评定者对同一定量测量结果的一致性或可靠性。测量工具的可靠性包括评定者内可靠性和评定者间可靠性。
目前有许多不同的ICC统计量,这些统计量并不估计相同的总体参数。选择恰当的ICC取决于以下三个方面,选择的模型是one-way model或two-way model;采用single measure或average measure;选择absolute agreement或consistency。
1.选择one-way model或two-way model?
(1)one-way radom effects model:单因素随机效应模型,当考虑个体效应随机时使用。每个被试者由不同的随机选择的评定者评分或所有被试者由一个评定者评分,用于检验每个被试的均值全部相等的假设,实际上并不能检验x的重测信度。若对被试者间的差异感兴趣,可选用该模型。
(2)two-way radom effects model:两因素随机效应模型,当个体效应和条目效应都是随机时选用。即所有效应互相独立。
(3)two-way mixed effects model:两因素混合效应模型,当个体效应随机,条目效应固定时选用。
(2)和(3)同时分解了行变量和列变量的影响,可以用来检验重测信度。二者的区别在于列变量即评定者效应是随机效应还是固定效应。若评定者来自所有可能的情况,统计推断也限于这些情况,则评定者效应是固定效应;若评定者是从一个理论上无限大的总体中随机抽样而来的样本,统计推断也要推广到该总体,则评定者效应是随机效应。不管列变量是固定效应还是随机效应,ICC的计算结果均相同,不同之处是结果解释时(2)中的ICC可推广到所有可能的评定者,而(3)中的ICC仅限于给定的评定者。
三种情况下的模型比较:
Source of Variance | One-way Random Model ICC (1) | Two-way Random Model ICC (2) | Two-way Mixed Model ICC (3) |
Within-columns effects | Random | Random | Random |
Between-columns effects | – | Random | Fixed |
2.选择single measure或average measure?
single measure ICC分析单元是每个评定者的评分,给出单个评定者评分的可靠性,若进一步研究时使用单个评定者评分,则采用此度量;average measure ICC分析单元是k个评定者评分的均值,给出k个评定者评分的可靠性,如果研究设计使用每个条目多个评定者评分的均值时采用此度量。
3.选择absolute agreement或consistency?
absolute agreement和consistency定义的不同在分母。对absolute agreement,由于考虑评定者系统误差,分母方差中保留了列方差即评定者方差,用于测量评定者是否给予被试者相同的绝对评分;对consistency,由于不考虑评定者系统误差,分母方差中去掉列方差即评定者方差,用于测量评定者评分是否高度相关。
建议ICC应大于0.8,0.61-0.8为中等,0.41-0.6为一般,0.11-0.4为较低,0.1以下为无一致性。
参考文献:余红梅,等.中国卫生统计,2011