Badanie pilotażowe w pracy dyplomowej – jak je przeprowadzić i opisać?

Badanie pilotażowe to próba generalna procedury badawczej wykonana przed właściwym zbieraniem danych. Nie służy przede wszystkim do potwierdzania hipotez ani szukania „istotnych” wyników. Ma pokazać, czy uczestnicy rozumieją pytania, czy formularz działa, ile trwa udział, gdzie powstają braki danych i co trzeba poprawić, zanim błąd obejmie całą próbę. Po pilotażu warto przejść dalej i ocenić trafność oraz rzetelność całego łańcucha dowodu.

W pracy dyplomowej pilotaż jest szczególnie przydatny, gdy tworzysz własny kwestionariusz, modyfikujesz istniejące narzędzie, prowadzisz ankietę internetową albo testujesz złożoną instrukcję. Dobrze przeprowadzony pozwala udokumentować decyzje metodologiczne. Źle zaplanowany staje się natomiast małym badaniem bez jasnego celu, z którego trudno wyciągnąć praktyczne wnioski.

Czym jest badanie pilotażowe i czym różni się od badania głównego?

Pilotaż wykonuje się na mniejszą skalę, ale w warunkach możliwie podobnych do planowanego badania głównego. Obejmuje nie tylko treść pytań. Sprawdza cały przebieg: rekrutację, zgodę, instrukcję, logikę formularza, zapis odpowiedzi, czas udziału, kontakt z uczestnikiem i sposób przygotowania danych.

Warto rozdzielić dwa pytania:

1. Czy potrafimy poprawnie wykonać zaplanowane badanie?
2. Jaki jest wynik badania w populacji?

Pierwsze należy do pilotażu. Drugie do badania głównego. Jeżeli pilotaż ma tylko 12 lub 20 osób, brak istotności statystycznej nie świadczy o braku zależności. Taka próba może być po prostu zbyt mała i została zebrana do innego celu.

Pilotaż nie naprawia też niewłaściwej konstrukcji badania. Jeżeli problem, zmienne i wskaźniki nie są jasno zdefiniowane, najpierw uporządkuj operacjonalizację zmiennych.

Pretest, wywiad poznawczy i pilotaż – to nie zawsze to samo

W praktyce określenia „pretest” i „pilotaż” bywają używane zamiennie, ale warto rozróżnić ich funkcje.

Wywiad poznawczy pozwala zobaczyć proces odpowiadania. Uczestnik może własnymi słowami wyjaśnić, co oznacza dla niego pytanie, jakiego okresu dotyczy odpowiedź i dlaczego wybrał daną kategorię. Dzięki temu wykryjesz problem, którego nie pokaże sama tabela wyników.

Przykład:

Pytanie „Czy często odczuwasz przeciążenie?” może być rozumiane jako pytanie o ostatni tydzień, cały semestr albo ogólną cechę. Rozkład odpowiedzi nie ujawni tej różnicy. Ujawni ją dopiero rozmowa o sposobie interpretacji.

Samo zapytanie znajomych, czy ankieta „jest w porządku”, daje słabą informację. Lepsze są konkretne polecenia:

• powiedz własnymi słowami, o co pyta to zdanie;
• przypomnij sobie sytuację, na podstawie której odpowiedziałeś;
• wskaż dwie opcje odpowiedzi, między którymi się wahałeś;
• powiedz, czy brakuje odpowiedzi pasującej do Twojej sytuacji;
• zaznacz miejsce, w którym instrukcja przestała być jasna.

Co powinien sprawdzić pilotaż?

W pilotażu sprawdź także pierwszy ekran i zaproszenie dla respondenta. Gotowe warianty znajdziesz w poradniku jak napisać wstęp do ankiety w pracy dyplomowej.

Zakres wynika z projektu, ale w ankiecie do pracy dyplomowej zwykle warto sprawdzić sześć obszarów.

Zrozumienie pytań

Sprawdź, czy uczestnicy interpretują pojęcia zgodnie z zamiarem badacza, rozpoznają okres odniesienia i nie mylą przeczeń. Zwróć uwagę na pytania wielowątkowe, na przykład: „Czy zajęcia były ciekawe i dobrze zorganizowane?”. Jedna osoba może pozytywnie oceniać ciekawość, a negatywnie organizację.

Kategorie odpowiedzi i kodowanie

Kategorie powinny być rozłączne, wyczerpujące i uporządkowane we właściwym kierunku. W metryczce nie mogą pozostawać luki, a pytania warunkowe muszą kierować do odpowiednich sekcji. Jeżeli używasz pozycji Likerta, sprawdź etykiety skrajne, pozycje odwrócone i sposób obliczania wyniku. Pomaga w tym poradnik o tworzeniu i kodowaniu skali Likerta.

Przebieg formularza

Przejdź każdą możliwą ścieżkę: na komputerze i telefonie, z odpowiedzią „tak” i „nie”, z pominięciem pytania nieobowiązkowego oraz z przerwaniem ankiety. Sprawdź numerację, paski postępu, walidację, komunikat końcowy i zapis czasu.

Czas i obciążenie uczestnika

Nie opieraj się wyłącznie na własnym czasie wypełnienia. Autor zna pytania i zwykle czyta je szybciej. Zapisz medianę, zakres oraz miejsca, w których uczestnicy zatrzymują się najdłużej. Długi czas może wynikać z ważnego namysłu, ale również z niejasności albo przeciążenia siatką podobnych pytań.

Jakość zapisywanych danych

Po eksporcie otwórz plik dokładnie w takim formacie, jaki wykorzystasz później. Sprawdź:

• nazwy i kolejność kolumn;
• typy zmiennych;
• kodowanie braków;
• polskie znaki i format dat;
• zakresy dopuszczalnych wartości;
• identyfikatory uczestników;
• kodowanie pytań wielokrotnego wyboru;
• zgodność pozycji odwróconych;
• możliwość odtworzenia wyniku skali.

Rekrutację i realizację próby

Policz liczbę osób zaproszonych, rozpoczynających formularz, kończących badanie i pozostawiających dane możliwe do analizy. Jeżeli link jest całkowicie otwarty, nie zawsze da się określić liczbę zaproszonych — tę informację również należy zapisać. Metodę rekrutacji trzeba nazwać zgodnie z rzeczywistą procedurą, korzystając z zasad doboru próby badawczej.

Pilotaż również angażuje uczestników, dlatego przed rekrutacją ustal czy projekt wymaga oceny komisji bioetycznej albo uczelnianej komisji etyki. Nie zakładaj, że mała próba automatycznie znajduje się poza procedurą.

Jak zaplanować pilotaż, żeby dał decyzję, a nie tylko dane?

Przed wysłaniem ankiety zapisz cele pilotażu i kryteria oceny. Zamiast ogólnego „sprawdzę ankietę” użyj mierzalnych pytań.

Warto ustalić trzy możliwe decyzje:

• kontynuuj — procedura działa i potrzebne są tylko kosmetyczne poprawki;
• kontynuuj po zmianach — występują problemy możliwe do naprawienia przed badaniem głównym;
• powtórz pilotaż — zmiany dotyczą konstruktu, kluczowych pytań, logiki formularza albo sposobu rekrutacji.

Kryteria nie muszą być identyczne w każdym projekcie. Powinny jednak powstać przed analizą pilotażu. W przeciwnym razie łatwo uznać każdy wynik za wystarczający tylko dlatego, że termin badania głównego jest blisko.

Ile osób powinno wziąć udział w badaniu pilotażowym?

Nie istnieje jedna liczba odpowiednia dla każdego pilotażu. Liczebność powinna wynikać z celu, różnorodności grupy docelowej i precyzji potrzebnej do podjęcia decyzji.

Jeżeli celem są wywiady poznawcze, liczy się możliwość wykrycia różnych sposobów rozumienia pytań. Mała, celowo zróżnicowana grupa może ujawnić więcej niż większa grupa jednorodnych znajomych. Jeżeli celem jest oszacowanie odsetka ukończonych ankiet albo częstości braków, potrzebna jest liczebność pozwalająca ocenić te proporcje z użyteczną dokładnością.

Nie stosuj automatycznie reguły „10% próby głównej”. Dziesięć procent z 80 osób to 8, a z 2000 — 200. Żadna z tych wartości nie jest uzasadniona samym procentem. Tak samo liczba 30 nie jest uniwersalnym progiem, po którego przekroczeniu pilotaż staje się poprawny.

Praktyczne pytania pomagające uzasadnić liczebność:

• ile różnych grup respondentów musi przejść przez formularz;
• ile ścieżek warunkowych trzeba sprawdzić;
• czy analizujesz tylko zrozumienie, czy również wskaźniki ilościowe;
• jak rzadki problem chcesz mieć szansę zauważyć;
• jaką decyzję podejmiesz na podstawie wyniku;
• ile rund poprawek przewidujesz;
• czy uczestnicy pilotażu mają przypominać populację badania głównego.

Jeżeli pilotaż ma dostarczyć danych do planowania liczebności badania głównego, nie opieraj jej bezkrytycznie na jednym niestabilnym oszacowaniu efektu z małej próby. Bezpieczniej wykorzystać literaturę, minimalny istotny efekt oraz analizę mocy opisaną w poradniku o liczebności próby i G*Power.

Jak przeprowadzić pilotaż krok po kroku?

1. Zapisz cel pilotażu i decyzje, które mają z niego wynikać.
2. Zamroź wersję formularza i nadaj jej numer, na przykład `pilot-v1`.
3. Przygotuj instrukcję, zgodę i zaproszenie w formie planowanej dla badania głównego.
4. Zrekrutuj osoby podobne do populacji docelowej, uwzględniając ważne podgrupy.
5. Poproś część osób o wywiad poznawczy, a pozostałe o przejście całej procedury bez pomocy badacza.
6. Zapisuj czas, problemy techniczne, pytania uczestników i miejsca przerwania.
7. Wyeksportuj dane i wykonaj planowane czyszczenie oraz obliczenia.
8. Połącz obserwacje jakościowe ze wskaźnikami ilościowymi.
9. Utwórz rejestr zmian: problem, dowód, decyzja i nowa wersja.
10. Jeżeli zmiany są duże, wykonaj kolejną krótką rundę.
11. Dopiero po zatwierdzeniu wersji rozpocznij badanie główne.

Nie poprawiaj formularza po każdej pojedynczej odpowiedzi, jeżeli inni uczestnicy wypełniają go równocześnie. Powstałyby różne wersje narzędzia bez jasnej dokumentacji. Zbieraj uwagi w rundach, a każdą zmianę zapisuj z datą i uzasadnieniem.

Jak analizować wyniki pilotażu?

Analiza powinna odpowiadać celom. Najczęściej zaczyna się od prostych statystyk opisowych i tabeli problemów.

Lejek realizacji badania

Policz kolejne etapy: zaproszenie, rozpoczęcie, ukończenie i zakwalifikowanie danych. Nie łącz osób, które nie otworzyły ankiety, z osobami, które przerwały ją po konkretnej sekcji — przyczyny i możliwe naprawy są inne.

Gdzie tracimy uczestników?

Przykładowy lejek pomaga odróżnić problem z zaproszeniem od problemu wewnątrz formularza.

Najedź na słupek, aby odczytać liczbę i udział względem zaproszonych. Dane są przykładowe i nie stanowią zalecanego progu.

Braki i rozkłady odpowiedzi

Dla każdego pytania sprawdź liczbę braków, pełny rozkład kategorii, wartości poza zakresem oraz nietypowe wzorce. Jeżeli niemal wszyscy wybierają jedną odpowiedź, przyczyną może być rzeczywista jednorodność grupy, efekt sufitu, sugestywne sformułowanie albo niedopasowanie pozycji.

Czas ukończenia

Podaj medianę, minimum, maksimum i ewentualnie kwartyle. Ekstremalnie krótki czas może oznaczać przypadkowe klikanie, a długi — przerwę, trudność albo problem techniczny. Nie ustalaj automatycznego progu wykluczenia dopiero po zobaczeniu danych głównych. Najpierw sprawdź, co rzeczywiście mierzy zapisany czas.

Rzetelność skali

Jeżeli kilka pozycji ma tworzyć wynik, można wstępnie sprawdzić korelacje pozycji z wynikiem, alfa Cronbacha lub omega McDonalda. Mała próba daje jednak niestabilne oszacowania. Nie usuwaj pytania tylko dlatego, że po jego skasowaniu współczynnik rośnie o kilka setnych. Najpierw sprawdź kodowanie pozycji odwróconej, treść, zgodność z konstruktem i odpowiedzi uczestników.

Procedurę w Jamovi opisuje poradnik alfa Cronbacha w pracy dyplomowej. Oficjalny moduł Jamovi pozwala również wyświetlić omega, korelacje pozycji z resztą skali i współczynniki po usunięciu pozycji.

Rejestr problemów

Najbardziej użytecznym wynikiem pilotażu bywa nie współczynnik, lecz tabela decyzji.

Co można zmienić po pilotażu i kiedy trzeba go powtórzyć?

Kosmetyczna poprawka literówki nie wymaga zwykle nowej pełnej rundy. Powtórzenie jest rozsądne, gdy zmieniasz:

• znaczenie kluczowego pytania;
• liczbę lub treść pozycji tworzących skalę;
• warianty odpowiedzi albo okres odniesienia;
• instrukcję wpływającą na sposób wykonania zadania;
• logikę przejść;
• urządzenie, platformę lub sposób administracji;
• kryteria włączenia;
• główny kanał rekrutacji;
• sposób obliczania wyniku.

Po zmianie nie zakładaj, że problem zniknął. Sprawdź ponownie przynajmniej poprawione miejsca i elementy, na które zmiana mogła wpłynąć. Skrócenie ankiety może zmienić numerację i logikę. Dodanie kategorii odpowiedzi może wymagać nowego kodowania oraz aktualizacji planu analizy.

Czy uczestników pilotażu można włączyć do badania głównego?

Decyzję podejmij przed rozpoczęciem i opisz w protokole. Jeżeli pilotaż jest zewnętrzny, a po nim zmieniono narzędzie lub procedurę, danych zazwyczaj nie należy łączyć bez wyraźnego uzasadnienia — uczestnicy odpowiadali na inną wersję.

Wewnętrzny pilotaż może stanowić zaplanowaną pierwszą część badania głównego, jeśli od początku obowiązują zgodne kryteria, dane są zbierane tą samą metodą, a zasady kontynuacji i ewentualnych zmian zostały ustalone wcześniej. W typowej pracy dyplomowej najprostsze i najbardziej przejrzyste jest oddzielenie pilotażu od analizy głównej, zwłaszcza gdy celem jest poprawienie własnego kwestionariusza.

Uczestników pilotażu nie należy ponownie zapraszać do identycznego badania bez rozważenia efektu pamięci i wcześniejszego poznania pytań.

Jak opisać badanie pilotażowe w pracy?

Opis powinien pozwolić odtworzyć pilotaż i zrozumieć, jak wpłynął na ostateczną procedurę. Podaj:

• cel i datę pilotażu;
• wersję narzędzia;
• sposób doboru i liczbę uczestników;
• podobieństwo uczestników do grupy docelowej;
• urządzenie i warunki udziału;
• zbierane wskaźniki i pytania o informację zwrotną;
• kryteria decyzji;
• najważniejsze problemy;
• wprowadzone zmiany;
• informację, czy dane pilotażowe weszły do analizy głównej.

Przykład opisu do metodologii

Przed badaniem głównym przeprowadzono zewnętrzne badanie pilotażowe kwestionariusza internetowego. Uczestniczyły w nim 24 osoby spełniające kryteria włączenia do populacji docelowej, pozyskane metodą dogodnościową. Celem było sprawdzenie zrozumiałości pytań, poprawności logiki przejść, czasu ukończenia oraz sposobu zapisu danych. Po wypełnieniu formularza uczestnicy oceniali jasność instrukcji i wskazywali problematyczne pozycje. Mediana czasu ukończenia wyniosła 9 minut. Na podstawie uwag doprecyzowano okres odniesienia w dwóch pytaniach, rozdzielono pytanie wielowątkowe i poprawiono wyświetlanie macierzy odpowiedzi na telefonie. Pozycje skali, sposób obliczania wyniku i kryteria włączenia pozostały bez zmian. Dane z pilotażu nie zostały włączone do analizy badania głównego.

Przykład krótkiego opisu wyników pilotażu

Ankietę rozpoczęły 24 osoby, a ukończyły 22. Dwie osoby przerwały udział w sekcji zawierającej macierz dziewięciu pozycji. Pięć osób zgłosiło trudność z rozróżnieniem kategorii „rzadko” i „czasami”, a trzy różnie interpretowały okres objęty pytaniem 7. Po analizie rozdzielono macierz, dodano jednoznaczny okres „ostatnie 4 tygodnie” i uzupełniono etykiety wszystkich kategorii odpowiedzi. Zmienioną wersję sprawdzono ponownie na pięciu osobach; nie odnotowano błędów logiki ani nowych problemów ze zrozumieniem.

Nie ograniczaj opisu do zdania „ankietę poddano pilotażowi i uznano ją za prawidłową”. Czytelnik nie wie wtedy, kto ją sprawdził, co oceniano i jakie decyzje podjęto.

Najczęstsze błędy i lista kontrolna

Typowe błędy:

• traktowanie pilotażu jako małego testu hipotez;
• brak zapisanego celu i kryteriów powodzenia;
• rekrutowanie wyłącznie osób znających temat lub autora ankiety;
• pytanie tylko o ogólną opinię „czy było jasno”;
• testowanie formularza wyłącznie na komputerze;
• brak eksportu i kontroli rzeczywistego pliku danych;
• uznawanie dowolnej liczby uczestników za poprawną, bo stanowi 10% próby;
• automatyczne usuwanie pozycji dla wyższego alfa Cronbacha;
• zmiana kilku elementów bez rejestru wersji;
• włączanie danych pilotażowych do badania głównego mimo zmiany narzędzia;
• brak informacji o pilotażu w metodologii;
• pomijanie potrzeby ponownego testu po dużych zmianach.

Przed uruchomieniem badania głównego sprawdź:

• Czy zapisano cele pilotażu?
• Czy wiadomo, jakie wyniki prowadzą do kontynuacji, poprawy lub powtórzenia?
• Czy uczestnicy przypominają grupę docelową?
• Czy uwzględniono ważne podgrupy i ścieżki warunkowe?
• Czy przetestowano telefon i komputer?
• Czy zmierzono rzeczywisty czas ukończenia?
• Czy zapisano miejsca przerwania?
• Czy sprawdzono rozkłady, braki i wartości poza zakresem?
• Czy przeliczono pozycje odwrócone i wynik skali?
• Czy otwarto wyeksportowany plik w programie planowanym do analizy?
• Czy każda zmiana ma uzasadnienie i numer wersji?
• Czy ustalono, co stanie się z danymi pilotażowymi?
• Czy duże poprawki zostały ponownie sprawdzone?
• Czy ostateczna wersja ankiety jest zgodna z opisem w metodologii?

FAQ

Czy badanie pilotażowe jest obowiązkowe w pracy dyplomowej?

Nie w każdym projekcie istnieje formalny obowiązek, ale pilotaż jest silnie uzasadniony przy własnym lub zmienionym kwestionariuszu, złożonej logice formularza i nowej procedurze. Wymagania uczelni oraz decyzję promotora należy sprawdzić niezależnie.

Czy 30 osób wystarczy do pilotażu?

Nie da się tego ocenić bez celu. Trzydzieści osób może wystarczyć do wykrycia wielu problemów z formularzem, ale może być niewystarczające do precyzyjnego oszacowania rzadkiego zdarzenia albo rzetelności rozbudowanej skali. Liczebność uzasadnia się decyzją, którą pilotaż ma wspierać.

Czy uczestnicy pilotażu muszą należeć do grupy docelowej?

Powinni być do niej możliwie podobni pod względem cech wpływających na rozumienie i wykonanie zadania. Jeżeli narzędzie jest przeznaczone dla nauczycieli, test przeprowadzony wyłącznie wśród studentów może nie ujawnić problemów terminologicznych i organizacyjnych właściwych dla nauczycieli.

Czy po pilotażu można usunąć pytanie z niską korelacją?

Nie automatycznie. Najpierw sprawdź treść, kodowanie, pozycję odwróconą, zgodność z konstruktem i sposób interpretacji przez uczestników. Usunięcie pozycji może poprawić współczynnik rzetelności, a jednocześnie zawęzić znaczenie skali.

Czy wyniki pilotażu umieszcza się w rozdziale wynikowym?

Najczęściej krótki opis pilotażu i zmian znajduje się w metodologii. Rozbudowane tabele diagnostyczne można przenieść do aneksu. Jeżeli pilotaż jest osobnym celem badawczym, sposób raportowania może być szerszy.

Czy trzeba powtarzać pilotaż po każdej zmianie?

Nie po korekcie literówki, ale po zmianie znaczenia pytań, wariantów odpowiedzi, logiki, sposobu obliczania wyniku albo procedury rekrutacji warto przetestować poprawioną wersję. Zakres ponownej próby powinien odpowiadać ryzyku wprowadzonej zmiany.

Źródła i dalsza lektura

• Thabane i in. (2010) — A tutorial on pilot studies: the what, why and how
• Eldridge i in. (2016) — CONSORT extension to randomised pilot and feasibility trials
• Lewis i in. (2025) — Determining sample size for pilot trials: a tutorial
• Flynn i in. (2022) — Effective questionnaire design: cognitive interviews
• Artino i in. (2014) — Developing questionnaires for educational research
• Boateng i in. (2018) — Best practices for developing and validating scales
• jamovi — dokumentacja analizy rzetelności

Jeżeli masz roboczą ankietę, ale nie wiesz, co powinien sprawdzić pilotaż i jak później przygotować dane, zobacz zakres analiz statystycznych albo prześlij formularz i opis badania. Naprawienie niejasnego pytania przed rekrutacją jest znacznie prostsze niż tłumaczenie braków i niespójności po zebraniu całej próby.