Trafność i rzetelność badania w pracy dyplomowej – jak je ocenić?

Trafność i rzetelność nie są dwoma ozdobnymi hasłami dopisywanymi do metodologii. Odpowiadają na różne pytania. Trafność dotyczy tego, czy badanie rzeczywiście dostarcza dowodu na postawione twierdzenie. Rzetelność mówi, czy pomiar i sposób postępowania są na tyle stabilne, aby wynik nie zależał głównie od przypadku.

Dwa pytania prowadzą do dwóch różnych kontroli

Wyobraź sobie wagę, która za każdym razem zawyża wynik o trzy kilogramy. Kolejne pomiary są do siebie podobne, więc urządzenie działa powtarzalnie. Nie pokazuje jednak prawidłowej wartości. Ta prosta analogia porządkuje pojęcia, ale w pracy dyplomowej sytuacja jest trudniejsza. Błąd może wynikać nie tylko z narzędzia, lecz także z doboru próby, warunków zbierania danych, sposobu kodowania albo zbyt szerokiego wniosku.

W pracy nie wystarczy napisać, że „kwestionariusz jest trafny i rzetelny”. Trzeba wskazać, o jaki rodzaj trafności lub rzetelności chodzi, skąd pochodzi dowód i czy dotyczy on tej samej wersji narzędzia, języka oraz populacji. Adaptacja skali, skrócenie jej albo zmiana sposobu odpowiedzi może sprawić, że wcześniejsze wyniki nie przenoszą się automatycznie na nową sytuację.

Prześledź jakość od pojęcia do wniosku

Najbardziej użyteczna kontrola nie zaczyna się od nazwy współczynnika. Zaczyna się od twierdzenia, które ma powstać na końcu pracy. Poniższy audyt prowadzi przez cztery miejsca, w których dowód może się rozminąć z pytaniem badawczym.

Trafność dotyczy interpretacji, nie etykiety narzędzia

Trafność nie jest trwałą pieczątką przypisaną do kwestionariusza. Dotyczy sposobu, w jaki interpretujesz wynik w konkretnym zastosowaniu. Skala opracowana dla dorosłych pracowników może nie mieć takiego samego znaczenia u uczniów. Narzędzie sprawdzone w języku angielskim nie staje się automatycznie trafne po samodzielnym tłumaczeniu.

W mniejszej pracy dyplomowej nie musisz wykonywać pełnego programu walidacji nowego narzędzia. Powinieneś jednak jasno opisać pochodzenie miary, jej dotychczasowe zastosowania, ewentualną adaptację i ograniczenia. Jeżeli tworzysz własny kwestionariusz, badanie pilotażowe pomaga wykryć niejasne pytania i problemy z przebiegiem, ale samo nie potwierdza pełnej trafności.

Rzetelność ma więcej niż jedną postać

Rzetelność opisuje, w jakim stopniu wyniki są wolne od przypadkowego błędu pomiaru. Wybór dowodu zależy od tego, co może się zmieniać. Gdy interesuje Cię zgodność pozycji jednej skali, możesz analizować spójność wewnętrzną. Gdy wynik powinien być stabilny w czasie, potrzebne jest powtórzenie pomiaru. Przy ocenach ludzi ważna bywa zgodność między osobami kodującymi lub oceniającymi.

Artykuł o alfie Cronbacha w Jamovi pokazuje techniczną analizę spójności wewnętrznej. Warto pamiętać, że wysoka alfa nie dowodzi trafności, jednowymiarowości ani stabilności w czasie. Może rosnąć także przy wielu bardzo podobnych pozycjach.

Rodzaj badania zmienia język jakości

Nie każdy projekt wymaga tej samej terminologii i tych samych procedur. W badaniu ilościowym częściej mówi się o właściwościach pomiarowych, błędzie, trafności projektu i możliwości uogólniania. W jakościowym najważniejsze jest pokazanie przejrzystej drogi od materiału do interpretacji, uwzględnienie pozycji badacza, uzasadnienie doboru przypadków oraz aktywne szukanie danych podważających pierwsze wyjaśnienie.

Mechaniczne przenoszenie kryteriów może zaszkodzić. W jakościowej analizie wywiadów druga osoba nie zawsze ma niezależnie „potwierdzić” jedyną poprawną interpretację. Powinna natomiast istnieć przejrzysta dokumentacja decyzji i możliwość oceny, czy wnioski pozostają zakotwiczone w materiale. W planowaniu całego rozdziału pomocny jest przewodnik po metodologii pracy dyplomowej.

Opis jakości powinien wskazywać dowód i jego granice

Dobry akapit nie składa się z samych ocen. Łączy decyzję, dowód i ostrożną interpretację. Zamiast pisać „narzędzie było rzetelne”, podaj, jaką właściwość sprawdzono, na jakich danych, jaki wynik uzyskano i czego ten wynik nie potwierdza.

Przykład może brzmieć tak: „Do pomiaru wyczerpania wykorzystano polską wersję skali X. Wybór oparto na opublikowanym badaniu struktury i związków z pokrewnymi miarami wśród pracowników. W bieżącej próbie oszacowano spójność wewnętrzną podskali. Wynik wspiera łączne interpretowanie jej pozycji, lecz nie potwierdza stabilności pomiaru w czasie”.

Najczęstsze skróty myślowe osłabiają dowód

Na końcu oddziel słabość pomiaru od granicy projektu. Mała próba, samoselekcja i badanie przekrojowe nie są właściwościami skali, ale wpływają na interpretację i uogólnianie. Opisz je wprost w części poświęconej ograniczeniom badania.

Trafność wniosku przyczynowego zależy od kontrastu i przydziału. Zobacz, jak zaplanować eksperyment w pracy dyplomowej.

W badaniach jakościowych przejrzystość wzmacnia także dziennik badacza i ścieżka audytu, pokazująca podstawy kolejnych decyzji.

Jednym ze źródeł dowodów o strukturze wewnętrznej może być eksploracyjna analiza czynnikowa wykonana w Jamovi.