Statistics 简明教程

Statistics - Cohen’s kappa coefficient

Cohen’s kappa coefficient 是一种统计，用于衡量质性（分类）项目的评级者间一致性。一般认为它是一种比简单百分比一致性计算更稳健的度量，因为 k 考虑了偶然发生的共识。Cohen 的 kappa 系数衡量了两个评级者之间的一致性，每位评级者将 N 个项目分类为 C 个互斥类别。

Cohen 的 kappa 系数的定义如下，且由以下函数给出：

Formula

其中——

  1. ${p_0}$ = 评级者之间相对的一致性观测值。

  2. ${p_e}$ = 随机一致性的假设概率。

${p_0}$和 ${p_e}$ 通过观测数据计算出来，以计算每次观察者随机说出每个类别的概率。如果评级者完全一致，则 ${k}$ = 1。如果评级者之间除了 ${p_e}$ 所示的随机预期的之外没有其他一致性，则 ${k}$ ≤ 0。

Example

Problem Statement −

假设您正在分析与 50 名申请补助金的人员相关的数据。每个补助金提案由两位读者阅读，并且每位读者都对提案回答“是”或“否”。假设不一致的计数数据如下，其中 A 和 B 为读者，左斜对角线上的数据显示一致计数，而右斜对角线上的数据显示不一致计数：

B

Yes

No

A

Yes

20

5

No

10

计算 Cohen 的 kappa 系数。

Solution −

请注意，有 20 个提案被读者 A 和读者 B 同时授予，有 15 个提案被这两位读者同时拒绝。因此，观察到的比例一致性为：

要计算 ${p_e}$（随机一致性的概率），我们注意到：

  1. 读者 A 对 25 位申请者的回答为“是”，对 25 位申请者的回答为“否”。因此，读者 A 回答“是”的概率为 50%。

  2. 读者 B 对 30 位申请者的回答为“是”，对 20 位申请者的回答为“否”。因此，读者 B 回答“是”的概率为 60%。

使用公式 P(A 和 B) = P(A) x P(B)，其中 P 为事件发生的概率。

他们俩随机回答“是”的概率是 0.50 x 0.60 = 0.30，他们俩回答“否”的概率是 0.50 x 0.40 = 0.20。因此，随机一致性的总概率为 ${p_e}$ = 0.3 + 0.2 = 0.5。

因此，现在应用我们用于 Cohen 的 Kappa 的公式，我们得到：

Calculator