Kappa Cohena w pracy dyplomowej – zgodność dwóch koderów

Dwie osoby kodują ten sam zestaw wypowiedzi jako „bariera występuje” albo „bariera nie występuje”. Zgodne są w 76 z 80 przypadków, więc wynik 95% wygląda znakomicie. Problem pojawia się wtedy, gdy niemal wszystkie wypowiedzi trafiają do jednej kategorii. Duża część tej zgodności wynika z samej przewagi odpowiedzi „nie”, a współczynnik kappa Cohena spada do około 0,31.

Kappa Cohena pomaga ocenić zgodność dwóch osób przypisujących te same jednostki do kategorii nominalnych. Koryguje zgodność obserwowaną o zgodność oczekiwaną na podstawie częstości używania kategorii. Nie zastępuje dobrej instrukcji kodowej i nie rozstrzyga, czy kategorie są trafne. Pokazuje, na ile dwie niezależne decyzje są powtarzalne ponad poziom wynikający z marginesów tabeli.

Kiedy kappa Cohena pasuje do badania

Klasyczna kappa Cohena dotyczy dwóch oceniających, tych samych jednostek oraz jednej zmiennej nominalnej. Jednostką może być wypowiedź, fragment transkrypcji, dokument, zdjęcie albo przypadek kliniczny. Kategorie muszą być rozłączne w ramach analizowanej decyzji. Jeśli jedna wypowiedź może otrzymać kilka kodów, dla każdego kodu można zbudować osobną decyzję „obecny–nieobecny” albo wybrać inną miarę dostosowaną do wielokrotnego kodowania.

Przy dwóch osobach i kategorii uporządkowanej, na przykład ocenie od 1 do 5, zwykła kappa traktuje pomyłkę o jeden poziom tak samo jak pomyłkę o cztery. Wtedy rozważ kappa ważoną. Przy więcej niż dwóch osobach stosuje się między innymi kappa Fleissa lub alfa Krippendorffa, zależnie od projektu i rodzaju braków. Nie wybieraj współczynnika wyłącznie dlatego, że program ma go w menu.

Zgodność procentowa i kappa odpowiadają na inne pytania

Zgodność procentowa to udział jednostek, dla których obie osoby wybrały tę samą kategorię. Jest intuicyjna i warto ją raportować, lecz ignoruje rozkład decyzji. Kappa wykorzystuje również marginesy tabeli, czyli to, jak często każda osoba używała poszczególnych kategorii. Na tej podstawie oblicza zgodność oczekiwaną.

Wzór ma postać κ = (P_o − P_e) / (1 − P_e), gdzie P_o oznacza zgodność obserwowaną, a P_e zgodność oczekiwaną. Gdy obie wartości są niemal takie same, kappa zbliża się do zera. Gdy obserwowana zgodność jest wyraźnie większa, współczynnik rośnie. Wynik ujemny oznacza zgodność gorszą niż wynikającą z marginesów i zwykle wymaga sprawdzenia kodowania.

Macierz 2 × 2 pokazuje cały rachunek

Załóżmy, że 80 fragmentów otrzymuje kod „bariera” albo „brak bariery”. Liczby na przekątnej oznaczają zgodność, a dwie pozostałe komórki rozbieżność. Dla układu 32, 4, 6 i 38 zgodność obserwowana wynosi 70/80, czyli 87,5%. Z marginesów wynika zgodność oczekiwana 50,25%, dlatego κ wynosi około 0,75.

Nie wystarczy podać samego κ. Tabela ujawnia, czy rozbieżności są symetryczne, czy jedna osoba systematycznie częściej używa określonego kodu. To może wskazać niejasną granicę kategorii, różne rozumienie jednostki analizy albo błąd w przygotowaniu danych.

Ten sam procent nie musi oznaczać tej samej jakości

Podwójne kodowanie trzeba zaplanować przed analizą

Najpierw zdefiniuj jednostkę analizy. Jeżeli jedna osoba koduje całe odpowiedzi, a druga pojedyncze zdania, ich arkusze nie opisują tych samych obiektów. Następnie przygotuj instrukcję z definicją kodu, warunkami włączenia, wyłączeniami i przykładami granicznymi. Pomaga w tym księga kodowa porządkująca nazwy i reguły kategorii.

Przeprowadź krótką rundę szkoleniową na materiale, który nie wejdzie do właściwego pomiaru. Omów rozbieżności i doprecyzuj instrukcję. Dopiero potem zamroź jej wersję i rozdaj niezależne arkusze. Jeżeli zmienisz reguły podczas właściwego kodowania, zapisz wersję, zakres ponownego kodowania oraz powód decyzji w dzienniku badacza.

Nie musisz zawsze podwójnie kodować całego materiału. Można wybrać uzasadnioną próbkę obejmującą trudne i typowe przypadki, ale sposób wyboru trzeba opisać. Próba złożona wyłącznie z łatwych fragmentów zawyży obraz zgodności. Jeżeli losujesz część materiału, zachowaj identyfikatory jednostek i możliwość odtworzenia losowania.

Interpretacja potrzebuje kontekstu i przedziału

Popularne etykiety w rodzaju „umiarkowana” lub „znaczna” mogą pomóc w orientacji, ale nie są uniwersalnym progiem jakości. Ten sam wynik ma inne znaczenie w kodowaniu wstępnym pracy dyplomowej, a inne w decyzji klinicznej. Z góry ustal, jaka zgodność jest wystarczająca dla celu badania i jakie działanie podejmiesz po wyniku niższym od oczekiwanego.

Raportuj przedział ufności, jeśli użyte oprogramowanie go udostępnia. Punktowe κ = 0,72 może być oszacowane bardzo nieprecyzyjnie przy małej liczbie podwójnie kodowanych jednostek. Wąski przedział daje więcej informacji o stabilności. Jednocześnie pokaż tabelę liczebności lub zgodność procentową, aby czytelnik widział strukturę danych.

Wysoka zgodność może ukrywać problem

Gdy jedna kategoria jest bardzo rzadka, kappa bywa niska mimo wysokiego odsetka zgodności. Nie należy wtedy wybierać miary wyłącznie po to, aby uzyskać wyższą liczbę. Pokaż marginesy, sprawdź, czy rzadka kategoria jest dobrze zdefiniowana, i rozważ dodatkową miarę uzasadnioną projektem. Wniosek o jakości kodowania powinien wynikać z kilku elementów, nie z jednego progu.

Inny problem pojawia się po wspólnym uzgodnieniu wyników. Konsensus jest przydatny do zbudowania finalnego zbioru, lecz nie można liczyć kappa na arkuszu po uzgodnieniu, bo rozbieżności zostały z niego usunięte. Zachowaj osobno decyzje pierwotne, wynik zgodności i wersję końcową. Zasada rozdzielania warstw jest podobna do pracy z kodowaniem odpowiedzi otwartych.

Jak opisać wynik bez nadmiernego wniosku

Dwie osoby niezależnie zakodowały 80 fragmentów wypowiedzi jako obecność albo brak bariery. Zgodność obserwowana wyniosła 87,5%, a kappa Cohena κ = 0,75, 95% CI [0,61; 0,88]. Rozbieżności dotyczyły 10 fragmentów i zostały omówione po obliczeniu współczynnika. Wynik wskazuje na wysoką powtarzalność decyzji w tej próbce, nie potwierdza jednak samodzielnie trafności kategorii.

Podmień liczby na własne i dodaj nazwę programu lub pakietu, jego wersję oraz wariant współczynnika. Jeżeli używasz modułu jamovi, zapisz również nazwę modułu, ponieważ kappa nie musi znajdować się w podstawowym zestawie analiz. Trafność kategorii wymaga odrębnych argumentów teoretycznych i empirycznych, co omawia przewodnik o trafności i rzetelności badania.

Rozbieżność jest informacją o instrukcji

Nie traktuj każdej rozbieżności jak błędu jednej osoby. Grupuj przypadki według przyczyny: niejasna definicja, zbyt długa jednostka, nakładające się kategorie, brak reguły dla ironii albo zwykła pomyłka techniczna. Jeśli większość rozbieżności skupia się na jednej granicy, napraw instrukcję właśnie tam i przeprowadź nową niezależną rundę na świeżej próbce.

Dobry pomiar zgodności kończy etap kontroli, ale otwiera etap uczenia się systemu kodowego. Zachowuje pierwotne decyzje, pokazuje macierz, nie ukrywa dominującej kategorii i oddziela wynik niezależny od późniejszego konsensusu. Dzięki temu liczba κ ma metodologiczny sens zamiast pełnić rolę dekoracyjnego certyfikatu jakości.