Er wordt in dit hoofdstuk besproken wat voor redeneerwijzen een onderzoeker dient te volgen bij deinrichting van een onderzoek.
12.1 Onderzoeksdoeleinden
Soorten onderzoek: verklarend (hoe, waarom), beschrijvend (wat, wanneer)
Beschrijvend onderzoek doet geen onderzoek naar oorzaak en gevolg relaties, maar kan wel verbanden aantonen. Verklarend onderzoek is gericht op de oorzaken van een verschijnsel. Voorspellingen van invloeden van variabelen kunnen gedaan worden als andere variabelen constant blijven (ceteris paribus clausule).
Onderzoek dat procesmatig (door de tijd) is opgezet noemt men longitudinaal, diachronisch of dynamisch. Onderzoek op een momentopname wordt cross-sectioneel, synchronisch of statisch genoemd.
Longitudinaal onderzoek heeft meerdere waarnemingen op meerdere momenten en cross-sectioneel heeft slechts waarnemingen op één moment.
Empirisch onderzoek berust op een theorie die verschijnselen verklaart daarmee aangeeft welke variabelen oorzaak zijn van andere variabelen, de gevolgen. Theorieformulering meot aan de volgende eisen voldoen:
- Interne consistentie; geen tegenstellingen
- Falsificeerbaarheid; Een theorie moet weerlegt kunnen worden. Het concept moet zo concreet mogelijk zijn
- De afhankelijke variabele zorgvuldig kiezen; mag niet omkeerbaar zijn
- Theorie moet zoveel mogelijk van de relevante realiteit verklaren
Vergelijken en controleren zijn vereisten voor causale verbanden. Causaliteit wordt omschreven als het voortbrengen (oorzaak) van een gebeurtenis, toestand of object. Er is een causale relatie tussen X en Y als:
- Er sprake is van samenhanggeldigheid; Er moet samenhang zijn tussen X en Y
- Causale ordening tussen X en Y moet geldig zijn; de oorzakelijke variabele X moet in de tijd voorafgaan aan de veroorzaakte variabele Y.
- Er zijn geen andere variabelen (Z) die de samenhang tussen X en Y tot stand brengen.
Bij onderzoek zoeken naar storende factor (Z) en bij onzekerheden in het model betrekken. De onafhankelijke variabele moet kunnen variëren. Voor een goed onderzoeksplan moeten aan de criteria van causale relatie nog vier criteria worden toegevoegd:
- Validiteit van de metingen;
- Het ontwerp moet theoretisch adequaat zijn; tot geldige conclusies leiden
- Het onderzoek moet praktisch uitvoerbaar zijn
- Generaliseerbaarheid (naar tijd, plaats, populatie en onderzoeksmethode)
Geldigheid kan onderscheiden worden in interne- en externe validiteit. Interne validiteit is gebaseerd op de relaties tussen de variabelen (afwezigheid van storende factoren) en externe validiteit op de generaliseerbaarheid van resultaten over populaties, situaties en tijd.
Bedreigingen van de samenhanggeldigheid:
- Het onderscheidingsvermogen van statistische toetsen; ten onrechte verwerpen of accepteren van de hypothese
- Toetsen van de samenhangen; samenhangen moeten gericht (op basis van hypothesen) worden getoetst
- Meetinstrumenten met een geringe betrouwbaarheid zijn niet geschikt;
- Treatment implementation; verschillen in benadering van onderzoekselementen
- Irrelevante aspecten van de onderzoekssetting;
- Toevallige heterogeniteit van de respondenten; moeilijker om de hypothese te verwerpen > voorkomen door de respondenten in groepen in te delen
Bedreigingen van de interne geldigheid (afwezigheid van storende factoren):
- Buitenexperimentele gebeurtenissen;
- Spontane veranderingen; vb. spontane genezing bij onderzoek
- Meten; vooral het leereffect van een respondent speelt hier een rol
- Verandering van meetinstrument;
- Statische regressie; meetonbetrouwbaarheden
- Differentiële groepssamenstelling; door verschillende selectiemethoden voor groepen kunnen verschillen in de afhankelijke variabelen aan de verkeerde onafhankelijke variabele worden toegeschreven
- Uitval; uitvallen van respondenten tijdens het onderzoek. (non-respons)
Bedreigingen van de externe geldigheid:
- Aspecten als tijd en plaats moeten gebruikt worden voor de overweging of generalisatie verantwoordt is.
12.3 Het experiment als onderzoeksontwerp
Drie hoofdvormen van experimenten: klassieke experiment, het survey-onderzoek en de gevalsstudie.
Het klassieke experiment:
Oorzaken constateren onder gecontroleerde omstandigheden. Twee situaties, met en zonder de oorzakelijke factor, met als onderzoekselement een experimentele- en controlegroep. Als de waarden in het begin van het onderzoek gelijk zijn en na het onderzoek verschillen kan dit worden toegeschreven aan de experimentele groep. At random toewijzen van elementen aan onderzoeksgroep of controlegroep laat generaliseren toe van de bevindingen over de populatie. Een andere manier van controleren is matching; dit is groepen van gelijke elementen vormen (in plaats van random toewijzen).
Voordeel van klassieke experiment is dat factoren die interne geldigheid (storende factoren) bedreigen worden uitgeschakeld. Nadeel is dat door externe geldigheid de meting (controlerende variabele) interacteerd met de onafhankelijke variabele.
Voor onderzoek drietal zaken van belang:
- Volledige controle over de tijdsvolgorde van de variabelen
- Toewijzing van de onderzoekselementen aan de onderscheiden experimentele condities geschiedt at random
- Bewuste manipulatie van de experimentele variabele
Als één van deze criteria ontbreekt spreekt men van quasi-experimentele onderzoeksdesigns.
Concluderend heeft het experiment een sterke opzet voor causale redeneerwijzen.
12.4 Survey-onderzoek en verwante ontwerpen
Survey-onderzoek kan als volgt gekarakteriseerd worden:
- Een groot aantal onderzoekselementen dat m.b.v. aselecte steekproeven is gekozen.
- Onderzoekgegevens worden verzameld a.d.h.v. een vragenlijst, interview. De vragen en antwoorden worden volgens gegeven richtlijnen gesteld\vastgelegd.
- De verzamelde antwoorden worden numeriek verwerkt en geanalyseerd met behulp van statistische werkwijzen
Verschillen met klassieke experiment:
- Geen sprake van randomisering
- Geen manipulatie van de onafhankelijke factor
- Mogelijkheid om een groot aantal hypothesen tegelijk te toetsen
Bedreigingen bij dit onderzoek zijn de differentiele groepssamenstelling, de onzekerheid over de causale richting en de selectieve uitval.
Trendonderzoek is een dynamische verwant van het survey-onderzoek; bedreigingen hierbij zij uitval en buitenexperimentele gebeurtenissen.
Een ander verwant is panelonderzoek; dezelfde onderzoekselementen die periodiek voor onderzoek worden benaderd; bedreiging is uitval.
De gevalsstudie:
Een onderzoek naar één onderzoekselement; meerdere gevalsstudies kunnen met elkaar vergeleken worden. De gevalsstudie heeft tekorten op gebied van empirische bewijsvoering. Dit onderzoek wordt gebruikt bij uitgebreide onderzoekseenheden (bv. mulitnationals) en complexe problemen.
Een evaluatieonderzoek is een verzamelnaam voor een aantal verschillende onderzoekstypen. Hierbij wordt het effect van een onderzoek beoordeeld. De variabelen die hieruit komen worden criterium-variabelen. Een onderzoek is pas succesvol als het aan de criterium-variabelen voldoet.
Scenario-onderzoek is een onderzoek waar gepoogd wordt om beleidsopties te formuleren opbasis van een onderzoeksanalyse van de feitelijke en te verwachten situatie. Drie componenten:
- Onderzoek van de feitelijke situatie
- Formuleren van meer wenselijke situaties
- Aangeven van een plan van aanpak
Zwakke punt; onzekerheid van toekomstige ontwikkelingen.