Hoofdstuk 4: Meten, geldigheid en betrouwbaarheid

 

§4.1 Meten

De te meten factoren en hun eventuele deelaspecten moeten gedefinieerd worden.

 

Bij gestandaardiseerd meten wordt de waarde van een variabele voor elk element op dezlefde wijze verkregen.

Bij reactief meten antwoord men op gestelde vragen.

Informatie-intensieve variabele krijgen een waarde toegewezen uit kwalitatieve gegevens.

 

Het meten is het geheel van procedures en activiteiten waardoor de waarde van een variabele voor een onderzoekselement wordt bepaald.

 

Twee vormen van meten zijn:

1. beoordelingsprocedures: kenmerken van onderzochte elementen worden vastgelegd met behulp van externe beoordelaars.
2. het meten van de variabelen aan of door de onderzoekselementen zelf. Dit kan zowel zelfrapportage als objectieve metingen (als lengte) inhouden.

 

Er zijn 4 verschillende meetniveaus:

1. nominaal: onderscheidend (bijv. man of vrouw).
2. ordinaal: onderscheidend en bepaalde rangorde (bijv. koud, lauw of warm).
3. interval: onderscheidend en een bepaalde rangorde met een vaste afstand tussen de mogelijke onderscheidende waarden. Er is geen sprake van een absoluut nulpunt. (bijv. temperatuur in graden Celsius).
4. ratio: Dit is hetzelfde al bij 3., maar dan met een absoluut nulpunt (bijvoorbeeld leeftijd).

 

Indiceren is het aanwijzen van een empirisch verschijnsel als representant voor een theoretische eigenschap of variabele. Zo’n verschijnsel heet dan een indicator. Operationalisering is de instructie hoe zo’n indicator wordt waargenomen en hoe de waardebepaling van de variabele zal plaatsvinden.

 

Bij een enkelvoudige variabele wordt 1 indicator gebruikt om de waarde van een variabele te bepalen. Bij een samengestelde variabele worden er meer gebruikt.

 

Bij collectief meten wordt niet de variabele, maar het onderzoekselement uiteengelegd in zijn samenstellende delen. Dit gebeurt in 3 stappen:

1. Uiteenleggen van het elemant in zijn samenstellende delen (bijv. groepen of individuen).
2. Vaststellen van de waarde van de variabele bij de samenstellende delen.
3. Aggregeren van de waarden van de variabele bij de onderdelen tot een variabele waarde voor het geheel en deze toevoegen aan het eigenlijke onderzoekselement.

De collectieve variabele kan van een ander meetniveau zijn dan de variabelen van de onderdelen.

Bij unitair meten wordt de variabele aan het onderzoekselement zelf vastgelegd.

Een samenhang tussen variabelen op het ene niveau impliceert geen samenhang tussen variabelen op een ander niveau. Dit is een ecologische fout (hoofdstuk 2). (bijv. als een ’zwarte’ wijk crimineel is mag men niet concluderen dat de negers daar crimineel zijn.) Bij contextuele variabelen kent men aan het onderzoekselement de waarde toe van een variabele van een hoger niveau. Zo kan bijvoorbeeld een gebiedskenmerk aan een individu worden toegekend.

 

Galtung heeft 2 matriksen gemaakt (zie matrix blz. 156 en tabel 4.2). Het volgende slaat op deze 2 matrixen.

Bij systematische stimuli worden alle onderzoekselementen aan dezelfde stimuli blootgesteld. Bij onsystematische stimuli is dit niet het geval. Bij systematische reacties ligt de reeks reactiealternatieven bij voorbaat vast. Bij onsystematische reacties is dit niet het geval.

Jingle-jangle fallacy = het er onterecht van uit gaan dat 2 meetinstrumenten met dezelfde naam hetzelfde theoretische concept meten of dat 2 meetinstrumenten met een andere naam niet hetzelfde theoretische concept meten.

 

§4.2 De geldigheid en betrouwbaarheid van meetprocedures

Een meting van de waarde van een variabele is geldig (valide) als de gemeten waarde identiek is aan de werkelijke waarde van die variabele bij het onderzoekselement. Hiervoor moet de overstap van empirische variabele naar theoretische variabele gelegitimeerd worden.

Een meting is betrouwbaar als de variaties in de metingen van die variabele overeenkomen met systematische variaties op het onderliggende kenmerk, de theoretische variabele. Het meetinstrument moet bij herhaalde toepassing op dezelfde onderzoekselementen dezelfde waardebepaling van de variabele opleveren. Een meting moet dus aan de volgende punten voldoen:

1. Het kiezen van goede indicatoren (geldigheid).
2. Het maken van een operationele definitie die:
1. geen systematische afwijkingen vertoont (geldigheid).
2. geen onsystematische afwijkingen vertoont (betrouwbaarheid).

Een systematische fout geld voor alle onderzochte elementen. Dit heeft niets met betrouwbaarheid te maken. Een onsystematische fout is een toevallige afwijking die niet bij alle onderzochte elementen hetzelfde is of dezelfde waarde heeft. Deze fout zorgt voor onbetrouwbaarheid. De betrouwbaarheid van een meetinstrument kan geschat worden door het berekenen van de samenhang (correlatie) tussen 2 in principe identieke vormen van het instrument. Hier zijn verschillende methoden voor, maar deze worden niet gevraagd op yhet tentamen (college 5 maart).

 

Er zijn 3 vormen van geldigheid:

1. inhoudsvaliditeit (face-validiteit): Een meetinstrument moet op adequate wijze het inhoudelijk domein van de variabele weerspiegelen. Op enkele zaken moet gelet worden:
1. verheldering van de theoretische betekenis van een variabele en het eventueel specificeren van de onderscheiden dimensies van een begrip.
2. Doordachte keuze van indicatoren voor het totale domein van de variabele. Daarvoor moet men de empirische verschijnselen die als representant van het beoogde begrip kunnen dienen aan een grondig onderzoek onderwerpen.
3. Goed nadenken hoe men verschillende indicatoren gaat samenvoegen tot 1 waardebepaling van een variabele. Daarbij moeten het relatieve gewicht van de indicatoren en de verschillende dimensies van de variabele goed tot hun recht komen.

Face-validiteit is het naar hun manifeste inhoud beoordelen van indicatoren als representant voor een theoretisch begrip of dimensie.

2. criterium-validiteit (ook wel predictieve validiteit of concurrente validiteit): Een instrument bezit dit als men met dat instrument een relevante andere variabele, bijvoorbeeld gedrag, goed kan voorspellen. De validiteit is meer gelegen in de voorspelbaarheid van een (andere) variabele dan in de precieze betekenis van de voorspellende variabele.
3. begripsvaliditeit (ook wel construct validiteit): Hier wordt het accent gelegd op de interpretatie van de betekenis die aan de reacties op het meetinstrument moet worden toegekend. Dit lijkt op face-validiteit, maar de aanpak is anders.Begripsvaliditeit berust op de geaccumuleerde onderzoeksbevindingen waarin het meetinstrument voorkomt. Een 4-tal afwegingen zijn van belang voor deze validiteit:
1. correlaties met gerelateerde variabelen.
2. Consistentie over indicatoren en met methoden. Verschillende meetinstrumenten van eenzelfde concept moeten onderling correleren.
3. Lage correlaties met ongerelateerde variabelen (discriminant validiteit).
4. Bekende groepsverschillen. Als verwacht wordt dat bepaalde groepen van elkaar verschillen op het punt van de beoogde variabele, dan is vergelijking van de uitkomsten van het meetinstrument bij de onderscheiden groepen een duidelijke bron van validering.