Operacjonalizacja odpowiada na proste, ale kluczowe pytanie: po czym dokładnie poznasz, że badane zjawisko występuje i jak je zmierzysz? Pojęcia takie jak zaangażowanie, stres, satysfakcja, zaufanie czy jakość życia są zrozumiałe w języku potocznym, lecz nie można wprowadzić ich bezpośrednio do arkusza danych. Najpierw trzeba przełożyć je na wymiary, obserwowalne wskaźniki, pytania albo inne reguły pomiaru.
Brak operacjonalizacji prowadzi do częstego problemu: teoria opisuje jedno zjawisko, ankieta pyta o coś trochę innego, a analiza statystyczna wykorzystuje kolumny, których związek z hipotezą nie został wyjaśniony. Dobra tabela operacjonalizacyjna łączy te etapy jeszcze przed zebraniem danych.
Ten poradnik pokazuje, jak przejść od konstruktu teoretycznego do mierzalnej zmiennej, jak odróżnić wskaźnik od pytania ankietowego i jak przygotować zapis, który można wykorzystać w rozdziale metodologicznym.
Co oznacza operacjonalizacja?
Operacjonalizacja to określenie konkretnych operacji, na podstawie których pojęcie teoretyczne zostanie rozpoznane lub zmierzone. Definicja operacyjna może odwoływać się do wyniku skali, zachowania, liczby zdarzeń, odpowiedzi na pytanie, oceny obserwatora, dokumentu albo parametru fizjologicznego.
Przykładowo „stres akademicki” może zostać zdefiniowany operacyjnie jako:
- wynik zatwierdzonej skali stresu odnoszącej się do studiów;
- średnia odpowiedzi na zestaw stwierdzeń o przeciążeniu i braku kontroli;
- liczba zgłoszonych trudnych zdarzeń w określonym okresie;
- parametr fizjologiczny rejestrowany według ustalonej procedury;
- kategoria utworzona na podstawie wywiadu i jawnych kryteriów kodowania.
Każda z tych definicji mierzy nieco inny aspekt zjawiska. Operacjonalizacja nie jest więc techniczną formalnością. Współdecyduje o tym, co naprawdę oznacza wynik badania.
Pojęcia teoretyczne nie stają się zmiennymi tylko dlatego, że wpisano ich nazwy do hipotezy. Potrzebują jawnej reguły pomiaru i interpretacji.
Od konstruktu do kolumny w arkuszu
Przydatny jest łańcuch sześciu poziomów:
- konstrukt lub pojęcie teoretyczne — zjawisko opisane w literaturze;
- wymiary konstruktu — jego odrębne składowe;
- wskaźniki — obserwowalne przejawy danego wymiaru;
- pozycje lub procedury pomiaru — pytania, zadania, obserwacje albo dane zastane;
- kodowanie i sposób obliczenia wyniku — reguły przekształcenia odpowiedzi w dane;
- zmienna analityczna — kolumna lub zestaw kolumn używany w analizie.
Przykład:
| Poziom | Przykład |
|---|---|
| konstrukt | zaangażowanie studenta w naukę |
| wymiar | zaangażowanie behawioralne |
| wskaźnik | regularne wykonywanie zadań |
| pozycja | „Oddaję zadania w wyznaczonym terminie” |
| kodowanie | skala 1–5: od „zdecydowanie nie” do „zdecydowanie tak” |
| zmienna | średnia z czterech pozycji wymiaru, jeżeli udzielono co najmniej trzech odpowiedzi |
Taki zapis pozwala sprawdzić, czy pytanie ankietowe rzeczywiście odpowiada definicji konstruktu oraz czy z odpowiedzi da się utworzyć wynik potrzebny do testowania hipotezy.
Konstrukt, wymiar, wskaźnik, pozycja i zmienna — różnice
Te pojęcia bywają używane zamiennie, choć pełnią inne funkcje.
| Pojęcie | Funkcja | Przykład |
|---|---|---|
| konstrukt | abstrakcyjne zjawisko wyjaśniane przez teorię | satysfakcja z pracy |
| wymiar | wyodrębniona część konstruktu | satysfakcja z relacji w zespole |
| wskaźnik | obserwowalny przejaw wymiaru | pozytywna ocena współpracy |
| pozycja | konkretne pytanie lub zadanie pomiarowe | „Mogę liczyć na współpracowników” |
| zmienna | zapisany wynik przyjmujący różne wartości | średnia odpowiedzi z pięciu pozycji |
| indeks | wynik łączący kilka obserwacji według ustalonej reguły | suma liczby aktywności obywatelskich |
| skala | zestaw pozycji mających mierzyć wspólną cechę | skala zaangażowania w pracę |
Jedno pytanie może czasem być bezpośrednią zmienną, na przykład wiek w ukończonych latach. Przy konstrukcie złożonym pojedyncze pytanie rzadko wystarcza. Zadowolenie, wypalenie czy poczucie bezpieczeństwa obejmują treść szerszą niż jedna deklaracja.
Wskaźnik nie musi być pytaniem ankietowym. Liczba nieobecności, czas realizacji zadania, wynik egzaminu, zapis w dokumentacji i kategoria nadana przez dwóch koderów również mogą pełnić funkcję wskaźników.
Jak wykonać operacjonalizację krok po kroku?
1. Zacznij od pytania i hipotezy
Najpierw ustal, jakie zależności lub różnice mają zostać ocenione. Hipoteza „zaangażowanie wiąże się z wynikami w nauce” wymaga co najmniej dwóch operacjonalizacji: zaangażowania oraz wyniku w nauce.
Nie projektuj ankiety jako luźnej listy interesujących pytań. Każda kluczowa pozycja powinna mieć miejsce w modelu badania.
2. Zdefiniuj konstrukt na podstawie literatury
Wskaż definicję przyjętą w pracy i jej źródło. Jeżeli autorzy rozróżniają kilka wymiarów, zdecyduj, czy badanie obejmie cały konstrukt, czy tylko wybraną część.
Definicja „motywacja to chęć działania” jest za szeroka, aby kierować pomiarem. Potrzebna jest definicja dopasowana do kontekstu, populacji i okresu odniesienia.
3. Wybierz wskaźniki
Dobry zestaw wskaźników powinien:
- obejmować najważniejsze elementy definicji;
- nie mieszać różnych konstruktów w jednym wskaźniku;
- być możliwy do zaobserwowania lub wiarygodnego zadeklarowania;
- pasować do badanej populacji;
- wykazywać oczekiwaną zmienność;
- nie zależeć nadmiernie od jednego przypadkowego zachowania.
Jeżeli badane zjawisko ma kilka wymiarów, przypisz wskaźniki osobno do każdego z nich.
4. Wybierz narzędzie lub procedurę
Najpierw sprawdź, czy istnieje trafne i rzetelne narzędzie przeznaczone dla podobnej populacji. Korzystanie z gotowej skali wymaga przestrzegania instrukcji, sposobu liczenia i warunków licencyjnych. Nie wolno dowolnie usuwać pozycji, zmieniać odpowiedzi ani łączyć fragmentów kilku skal, a następnie powoływać się na parametry oryginału.
Jeżeli tworzysz własne pytania, zaplanuj ocenę treści przez osoby znające temat oraz pilotaż z przedstawicielami grupy docelowej. Warto sprawdzić, czy pytania są rozumiane tak, jak zakłada autor.
5. Zapisz kodowanie przed zebraniem danych
Określ:
- nazwy i etykiety zmiennych;
- wartości odpowiedzi i ich znaczenie;
- pozycje odwrócone;
- sposób obliczania sumy lub średniej;
- minimalną liczbę ważnych odpowiedzi;
- regułę traktowania braków;
- kierunek wyniku: co oznacza wartość wysoka;
- ewentualne progi kategorii i ich źródło.
Taki plan ogranicza ryzyko dostosowywania wyniku do danych już po ich obejrzeniu.
6. Dopasuj poziom pomiaru i analizę
Zmienna nominalna, porządkowa i ilościowa nie oferują tych samych możliwości analitycznych. Już na etapie operacjonalizacji trzeba sprawdzić, czy wynik pozwoli odpowiedzieć na pytanie badawcze.
Jeżeli hipoteza dotyczy związku dwóch konstruktów, potrzebujesz zmienności w obu wynikach. Podział ciągłego wyniku na arbitralne kategorie „niski” i „wysoki” zwykle usuwa informację i nie powinien być wykonywany bez uzasadnionego progu.
Przykład pełnej operacjonalizacji: zaangażowanie w naukę
Załóżmy, że celem jest zbadanie związku zaangażowania studentów z średnią ocen. Literatura wyróżnia trzy wymiary zaangażowania: poznawczy, behawioralny i emocjonalny.
| Element | Wymiar poznawczy | Wymiar behawioralny | Wymiar emocjonalny |
|---|---|---|---|
| definicja | świadome strategie i wysiłek wkładany w uczenie | udział oraz wykonywanie działań związanych z nauką | emocjonalny stosunek do nauki i zajęć |
| przykładowy wskaźnik | planowanie i monitorowanie nauki | terminowa realizacja zadań | zainteresowanie materiałem |
| pomiar | 4 pozycje Likerta 1–5 | 4 pozycje Likerta 1–5 | 4 pozycje Likerta 1–5 |
| wynik | średnia pozycji 1–4 | średnia pozycji 5–8 | średnia pozycji 9–12 |
| interpretacja | wyżej = silniejsze zaangażowanie poznawcze | wyżej = silniejsze zaangażowanie behawioralne | wyżej = silniejsze zaangażowanie emocjonalne |
Po zebraniu danych można analizować trzy wymiary osobno albo utworzyć wynik ogólny — ale tylko wtedy, gdy pozwala na to model narzędzia oraz wyniki oceny jego struktury. Wewnętrznej spójności nie należy sprawdzać dla dowolnego zbioru pytań. Alfa Cronbacha ma sens dopiero po uzasadnieniu, że pozycje mają mierzyć wspólny konstrukt. Zobacz poradnik alfa Cronbacha w pracy dyplomowej.
Od pozycji do wyników wymiarów
Każdy słupek przedstawia średnią obliczoną z pozycji przypisanych wcześniej do jednego wymiaru. Dzięki operacjonalizacji wiadomo, które odpowiedzi tworzą dany wynik i co oznacza jego kierunek.
Najedź na słupek, aby odczytać wynik. Dane są syntetyczne i pokazują wyłącznie sposób prezentacji, a nie normy lub progi interpretacyjne.
Wykres nie zastępuje oceny jakości narzędzia. Pokazuje tylko końcowy efekt reguły zapisanej przed analizą: konkretne pozycje zostały przypisane do wymiarów, zakodowane w tym samym kierunku i zagregowane w ustalony sposób.
Przykład zmiennej niezależnej i zależnej
Hipoteza: „Częstsze korzystanie z mediów społecznościowych wiąże się z niższą jakością snu studentów”.
| Element | Zmienna niezależna | Zmienna zależna |
|---|---|---|
| pojęcie | korzystanie z mediów społecznościowych | jakość snu |
| definicja operacyjna | średni deklarowany czas korzystania w typowym dniu z ostatnich 7 dni | wynik zatwierdzonego kwestionariusza jakości snu zgodnie z instrukcją |
| wskaźnik | liczba minut dziennie | suma lub wynik globalny narzędzia |
| źródło danych | pytanie liczbowe albo raport czasu ekranowego | pozycje kwestionariusza |
| poziom pomiaru | ilościowy | zgodny z instrukcją wyniku narzędzia |
| kierunek | więcej minut = większa ekspozycja | należy wskazać, czy wyższy wynik oznacza lepszy czy gorszy sen |
| analiza | korelacja lub model regresji po sprawdzeniu założeń | wynik stanowi zmienną objaśnianą |
Sformułowanie „częste korzystanie” jest niewystarczające, dopóki nie wiadomo, jaki okres obejmuje, czy chodzi o wszystkie platformy, aktywne publikowanie czy bierne przeglądanie i w jaki sposób zostanie zapisany czas.
Jeżeli do pomiaru obu konstruktów użyjesz jednej ankiety w jednym momencie, możesz opisać związek, ale nie dowiedziesz, że korzystanie z mediów spowodowało pogorszenie snu. Operacjonalizacja nie zmienia ograniczeń projektu badania.
Wskaźniki subiektywne i obiektywne
Wskaźnik subiektywny opiera się na ocenie uczestnika, na przykład deklarowanej satysfakcji lub odczuwanym stresie. Wskaźnik obiektywny odwołuje się do rejestru, pomiaru urządzenia albo zachowania możliwego do sprawdzenia niezależnie od opinii.
Żaden typ nie jest automatycznie lepszy. Jeżeli badamy satysfakcję, samoocena jest bezpośrednio związana z konstruktem. Jeżeli badamy czas używania aplikacji, raport urządzenia może być dokładniejszy niż pamięć uczestnika.
Czasem warto połączyć kilka źródeł:
- deklarowaną aktywność i zapis systemowy;
- ocenę własną i ocenę obserwatora;
- wyniki skali i wskaźnik zachowania;
- dane ankietowe i dane administracyjne.
Takie podejście może zwiększyć zakres informacji, ale wymaga osobnego opisania każdej miary. Dwa wskaźniki nie muszą dawać identycznych wyników, ponieważ mogą odzwierciedlać różne aspekty zjawiska.
Jak tworzyć pytania na podstawie wskaźników?
Jedno pytanie powinno dotyczyć jednego zagadnienia. Stwierdzenie „Jestem zadowolony z wynagrodzenia i relacji z przełożonym” łączy dwa różne aspekty. Respondent może oceniać je przeciwnie i nie wiadomo, czego dotyczy odpowiedź.
Dobre pozycje:
- używają języka zrozumiałego dla badanej grupy;
- wskazują okres odniesienia, gdy jest potrzebny;
- unikają sugerowania „właściwej” odpowiedzi;
- nie zawierają podwójnego przeczenia;
- mają opcje odpowiedzi rozłączne i wystarczająco wyczerpujące;
- pozwalają odróżnić brak odpowiedzi od „nie dotyczy” albo „nie wiem”;
- odpowiadają poziomowi szczegółowości wskaźnika.
Pytanie „Czy regularnie się uczysz?” nie wyjaśnia, co oznacza regularność. Lepsza wersja może brzmieć: „W ilu dniach w ciągu ostatnich 7 dni poświęciłeś co najmniej 30 minut na naukę poza zajęciami?”. Nie jest to zawsze najlepszy wskaźnik zaangażowania, ale jego reguła jest znacznie bardziej jednoznaczna.
Skala odpowiedzi i kodowanie
Typ odpowiedzi musi odpowiadać treści pytania.
| Cel pomiaru | Przykładowa odpowiedź | Typ danych |
|---|---|---|
| kategoria | kierunek studiów | nominalne |
| uporządkowana ocena | nigdy, rzadko, czasami, często, zawsze | porządkowe |
| liczba zdarzeń | liczba nieobecności w semestrze | ilościowe dyskretne |
| czas | liczba minut dziennie | ilościowe |
| zgoda ze stwierdzeniem | skala od 1 do 5 | pojedyncza pozycja porządkowa |
| wynik wielopozycyjny | suma lub średnia według instrukcji | zmienna złożona interpretowana zgodnie z narzędziem |
Nie przypisuj wartości `0` zarówno odpowiedzi „nigdy”, jak i brakowi danych. Brak musi mieć oddzielne oznaczenie. Inaczej zostanie potraktowany jak realnie najniższy wynik.
Przy pozycjach odwróconych trzeba zmienić kodowanie przed liczeniem wyniku. Dla skali 1–5 stosuje się przekształcenie `nowy wynik = 6 − stary wynik`. Odpowiedź 1 staje się 5, 2 staje się 4, a 3 pozostaje 3. Reguła musi wynikać z klucza narzędzia, a nie z intuicji po obejrzeniu danych.
Skala a indeks — nie są tym samym
W skali pozycje mają odzwierciedlać wspólną cechę ukrytą. Oczekuje się więc określonego związku między odpowiedziami, a strukturę i rzetelność trzeba ocenić.
Indeks może łączyć różne zdarzenia lub zasoby, które razem tworzą wynik, choć nie muszą być silnie skorelowane. Przykładem jest liczba form aktywności społecznej: udział w wyborach, podpisanie petycji, wolontariat i zebranie mieszkańców. Każdy element wnosi inną informację.
Nie należy automatycznie oceniać każdego indeksu za pomocą alfy Cronbacha ani zakładać, że wysoka alfa potwierdza trafność. Najpierw trzeba określić model pomiaru i rolę pozycji.
Trafność i rzetelność operacjonalizacji
Trafność treściowa dotyczy tego, czy pozycje są istotne, zrozumiałe i wystarczająco obejmują konstrukt. Jeżeli skala stresu zawiera wyłącznie pytania o zmęczenie, może pomijać ważne elementy definicji.
Trafność konstruktu dotyczy zgodności relacji wyniku z teorią, na przykład struktury wymiarów i przewidywanych związków z innymi zmiennymi. Trafność kryterialna odwołuje się do związku z odpowiednim kryterium zewnętrznym.
Rzetelność opisuje powtarzalność lub precyzję pomiaru. Bardzo rzetelne narzędzie może konsekwentnie mierzyć nie ten konstrukt, który deklaruje autor. Rzetelność nie zastępuje trafności.
Przy własnym narzędziu nie wystarczy napisać, że „ankieta została zweryfikowana”. Trzeba wskazać, kto oceniał treść, na jakiej podstawie zmieniono pytania, jak wyglądał pilotaż i jakie analizy wykonano.
Operacjonalizacja w badaniu jakościowym
W badaniu jakościowym nie zawsze tworzy się zmienne liczbowe, ale nadal trzeba przełożyć problem badawczy na procedurę zbierania i analizy materiału.
Można określić:
- obszary wywiadu odpowiadające pytaniom badawczym;
- rodzaj sytuacji i doświadczeń, o które będą pytani uczestnicy;
- jednostkę analizy, na przykład wypowiedź, zdarzenie lub dokument;
- kryteria włączenia fragmentu do kategorii;
- sposób tworzenia kodów i tematów;
- procedurę porównywania interpretacji między osobami kodującymi;
- przykłady graniczne i reguły rozstrzygania niejednoznaczności.
Nie należy jednak udawać, że kategorie końcowe były w pełni znane przed analizą, jeżeli zastosowano podejście indukcyjne. Opis powinien odpowiadać rzeczywistej logice badania.
Gotowy wzór tabeli operacjonalizacyjnej
Poniższy układ można dostosować do własnej metodologii:
| Pojęcie / zmienna | Definicja teoretyczna | Wymiar | Wskaźnik | Narzędzie / pozycje | Kodowanie i wynik | Poziom pomiaru | Rola w analizie |
|---|---|---|---|---|---|---|---|
| nazwa konstruktu | definicja i źródło | składowa konstruktu | obserwowalny przejaw | nazwa skali, pytania lub źródła danych | suma, średnia, kategoria, jednostka | nominalny, porządkowy, ilościowy | niezależna, zależna, kontrolna |
Jeżeli tabela robi się bardzo szeroka, można podzielić ją na dwie: pierwszą opisującą sens teoretyczny i drugą przedstawiającą kodowanie. Ważniejsze od liczby kolumn jest zachowanie pełnego połączenia między definicją, pomiarem i analizą.
Jak opisać operacjonalizację w metodologii?
Przykładowy zapis dla skali:
Zaangażowanie w naukę zoperacjonalizowano jako wynik trzech wymiarów: poznawczego, behawioralnego i emocjonalnego. Każdy wymiar mierzono czterema pozycjami ocenianymi na pięciostopniowej skali od 1 — „zdecydowanie nie” do 5 — „zdecydowanie tak”. Po odwróceniu pozycji wskazanych w kluczu obliczono średnią dla wymiaru, jeżeli uczestnik odpowiedział na co najmniej trzy z czterech pytań. Wyższy wynik oznaczał silniejsze zaangażowanie.
Przykładowy zapis dla pojedynczego wskaźnika:
Wynik w nauce zdefiniowano operacyjnie jako średnią ocen ze wszystkich przedmiotów zakończonych w poprzednim semestrze, podaną przez uczestnika z dokładnością do dwóch miejsc po przecinku. Wartości mogły mieścić się w zakresie od 2,00 do 5,00.
Jeżeli dane pochodzą z deklaracji, nie nazywaj ich automatycznie danymi administracyjnymi. W przytoczonym przykładzie mierzona jest deklarowana średnia ocen, chyba że została zweryfikowana w oficjalnym rejestrze.
Najczęstsze błędy
- Brak definicji teoretycznej przed wyborem pytań.
- Używanie jednego pytania do pomiaru złożonego konstruktu bez uzasadnienia.
- Mieszanie kilku zagadnień w jednej pozycji.
- Traktowanie każdego pytania jako osobnej hipotezy i mnożenie analiz.
- Dowolna modyfikacja gotowej skali bez ponownej oceny jakości pomiaru.
- Brak wskazania, co oznacza wysoki wynik.
- Liczenie sumy mimo różnych kierunków pozycji.
- Używanie tego samego kodu dla braku i realnej odpowiedzi.
- Dzielenie wyniku na „niski” i „wysoki” bez uzasadnionego progu.
- Tworzenie zasad usuwania pozycji dopiero po obejrzeniu wyników.
- Mylenie wysokiej rzetelności z potwierdzeniem trafności.
- Brak zgodności między operacjonalizacją a późniejszym testem statystycznym.
Lista kontrolna
- Czy każdy kluczowy konstrukt ma definicję i źródło?
- Czy wskazałem wszystkie istotne wymiary konstruktu?
- Czy każdy wskaźnik odpowiada konkretnemu elementowi definicji?
- Czy pytania są jednoznaczne i dotyczą jednego zagadnienia?
- Czy narzędzie pasuje do badanej populacji i celu?
- Czy znam sposób kodowania, liczenia i interpretacji wyniku?
- Czy oddzieliłem brak danych od rzeczywistych odpowiedzi?
- Czy zapisałem regułę dla pozycji odwróconych?
- Czy poziom pomiaru umożliwia planowaną analizę?
- Czy odróżniam trafność, rzetelność i reprezentatywność próby?
- Czy tabela operacjonalizacyjna łączy hipotezę z kolumnami w arkuszu?
- Czy wszystkie decyzje da się opisać przed zebraniem danych?
FAQ
Czy wskaźnik i pytanie ankietowe oznaczają to samo?
Nie. Wskaźnik jest obserwowalnym przejawem badanego zjawiska, a pytanie jest jednym ze sposobów jego pomiaru. Ten sam wskaźnik można czasem ocenić pytaniem, obserwacją, zadaniem albo danymi zastanymi.
Ile wskaźników powinna mieć jedna zmienna?
Nie ma uniwersalnej liczby. Prosta cecha, taka jak wiek, może wymagać jednego pytania. Złożony konstrukt zwykle potrzebuje kilku pozycji obejmujących jego treść i wymiary. Liczba powinna wynikać z modelu pomiaru oraz jakości narzędzia.
Czy można samodzielnie stworzyć skalę do pracy dyplomowej?
Można, ale wymaga to znacznie więcej niż napisania kilku podobnych stwierdzeń. Potrzebna jest definicja konstruktu, ocena treści, pilotaż, analiza pozycji, struktury i rzetelności, a najlepiej także dalsza walidacja. Jeżeli istnieje odpowiednie narzędzie, jego zastosowanie bywa bezpieczniejsze.
Czy każda pozycja skali jest osobną zmienną?
W arkuszu każda odpowiedź zwykle zajmuje osobną kolumnę techniczną. W analizie pozycje mogą jednak tworzyć jeden wynik skali lub kilka podskal. Decyzja musi wynikać z instrukcji i modelu narzędzia.
Czy wysoka alfa Cronbacha potwierdza trafność skali?
Nie. Alfa odnosi się do wewnętrznej spójności przy określonych założeniach. Nie dowodzi, że pozycje obejmują właściwy konstrukt, mają oczekiwaną strukturę ani są trafne dla danej populacji.
Czy operacjonalizację trzeba umieścić w pracy?
Tak, jej elementy powinny znaleźć się w metodologii. Może to być opis, tabela albo oba rozwiązania. Czytelnik musi wiedzieć, jak zdefiniowano zmienne, czym je zmierzono, jak zakodowano odpowiedzi i jak obliczono wyniki.
Źródła i dalsza lektura
Jeżeli masz temat i hipotezy, ale nie wiesz, jak przełożyć je na zmienne, wskaźniki oraz kolumny w pliku, sprawdź zakres analiz statystycznych albo prześlij opis badania. Operacjonalizację warto uporządkować przed budową ankiety i przed rozpoczęciem rekrutacji.
Gdy konstrukty i wskaźniki są już zdefiniowane, warto ułożyć je w model badawczy pokazujący role zmiennych i relacje.
Po zdefiniowaniu wskaźnika trzeba jeszcze ustalić, co znaczą jego wartości. Osobny poradnik pomaga rozpoznać skalę nominalną, porządkową, przedziałową i ilorazową.










