对于有序分类变量的一致性检验，应该使用weighted kappa(加权kappa)系数。
一、问题与数据
某医院拟分析不同放射科医生对疾病严重程度诊断的一致性。现招募两位放射医生分别判断50位受试者的MRI检查结果，并给予Grade I(最轻)到Grade V(最重)五个等级的临床诊断。这两位放射科医生分别命名为Radiologist 1和Radiologist 2，判断的是同一组MRI检查结果，编号统一，部分研究数据如下：
注释：为了方便统计分析，我们分别将Grade I、Grade II、GradeIII、Grade IV和Grade V赋值为1、2、3、4和5，如上图右侧所示。
二、对问题的分析
在本研究中，研究者拟探讨不同放射科医生对疾病严重程度(5分类)诊断的一致性。对于这种有序分类变量的一致性检验，我们推荐使用weighted kappa分析。一般来说，采用weighted kappa分析的研究设计需要满足以下5项假设：
假设1：判定结果是分类变量且互斥。如本研究中受试者MRI的诊断结果为Grade I到Grade V五个等级，属于分类变量，并且相互排斥。
假设2：要求观测结果配对，即不同观测者判定的对象相同。如本研究中，两位放射科医生诊断的是同一组受试者的MRI，编号统一。
假设3：每个观察对象可能被判定的结果种类相同。如本研究中每位受试者的诊断结果都可能是Grade I到Grade V五个等级中的一个。
假设4：观测者之间相互独立。这要求不同观测者独立完成结果判定，相互不干扰。
假设5：由固定的两位观测者完成所有判定。如本研究中由两位放射科医生分别诊断50份MRI检查结果，中途不换人。
根据研究设计，我们认为本研究符合weighted kappa系数的5项假设，可以采用该分析方法进行一致性评价。
三、SPSS操作
1. 在主菜单点击Analyze→DescriptiveStatistics→Crosstabs
出现下图：
2. 分别将Radiologist 1和Radiologist 2变量放入Row(s)和Column(s)栏
3. 点击OK
4. 在主菜单点击Analyze→Scale→Weighted Kappa
出现下图：
5. 分别将Radiologist 1和Radiologist 2变量放入Rating 1和Rating 2栏
6. 在Weight Type栏中点选Linear(一般来说，Linear是SPSS的默认设置，若不是，我们可以手动设置)
注释：SPSS默认的线性加权方法(Linear weight type)为wi = 1 – i / (k – 1)，其中，i是级别距离，k是分类数量。该加权方法认为每两个级别之间的差异是相等的，即如果两位观察者判定的结果差3级，那么他们之间的不一致程度就刚好是差1级情况的3倍。
而平方加权方法(Quadratic weight type)的公式是wi= 1 – i2/ (k – 1)2，其中，i是级别距离，k是分类数量。这种加权方法根据级别距离，缩小级别距离小的判定不一致程度，而同时放大级别距离大的判定不一致程度。
我们需要根据研究设计判断是否需要根据级别距离缩放不一致程度，从而选择加权方法。在本研究中，我们认为级别差异对不一致程度的影响相同，即选择线性加权方法。
7. 点击OK。
四、结果解释
1. 一般结果
在分析weighted kappa系数之前，我们有必要了解一下研究数据的基本情况，如下：
从上表可以看出，两位放射科医生对38位受试者的MRI检查诊断意见一致(对角线上的数据)，如下标注部分：
但同时，这两位放射科医生在对另12位受试者的诊断上存在不一致，即下表中不在对角线上的数据，如下标注部分：
2. Weighted kappa系数
在了解了数据的基本情况之后，我们主要分析本研究的weighted kappa结果。经上述操作，SPSS输出如下：
从上表可知，本研究的weighted kappa=0.803。与Cohen's kappa系数一致，weighted kappa也分布在-1到1之间。
若weighted kappa系数小于0，说明观察一致率小于机遇一致率，在实际研究中很少出现。若weighted kappa系数等于0，说明观察一致率等于机遇一致率，结果完全由机遇因素导致。若weighted kappa系数大于0，说明研究对象之间存在一定的一致性，weighted kappa系数越接近1，一致性越大。
那么，本研究中weighted kappa系数为0.803，说明一致性如何呢?一般来说，weighted kappa系数提示的一致性强度并没有统一标准，既往学者多根据经验进行判断，为了方便大家理解，我们向大家介绍一种比较公认的划分标准：
表1. Weighted kappa系数的一致性含义
从上表可知，本研究中weighted kappa系数为0.803，说明具有较强的一致性。但是，与Cohen's kappa系数一样，由于研究数据边际分布程度的影响，我们也不能轻易地根据表1直接对比不同研究的weighted kappa系数，只能在具有相同边际分布的数据之间进行比较。
此外，SPSS输出weighted kappa系数的统计检验结果如下标注部分：
提示，weighted kappa系数与0的差异具有统计学意义(P<0.001)。同时，该表格也提示weighted kappa系数的95%置信区间，如下标注部分：
可见，本研究中weighted kappa系数的95%置信区间为0.689-0.916。即，本研究weighted kappa系数为0.803(95% CI为0.689-0.916)。
五、撰写结论
本研究采用线性加权的weighted kappa系数分析两位放射科医生对50位受试者疾病严重程度诊断的一致性。结果显示，这两位医生对38位受试者的MRI检查诊断意见一致，对12位受试者不一致。总的来说，这两位医生诊断结果的weighted kappa系数为0.803(95% CI为0.689-0.916)，P<0.001，具有较强的一致性。
六、附录
大家现有的SPSS软件大多不会默认设置weighted kappa计算插件，我们在运行前需要自行安装。现在向大家介绍在SPSS 24.0中安装插件的方法：
1. 在主对话框中点击Extensions→Extension Hub
出现下图：
2. 在Search框中输入weighted
3. 点击Apply，STATS_WEIGHTED_KAPPA会出现在下图右侧
4. 点击Get extension
5. 点击OK
6. 若同意加载，点击I accept the terms in this license agreement
7. 点击Finish，出现下图提示加载成功
