Samenvatting Hoofdstuk 3 van Segers: Selectie van onderzoekselementen.

 

3.1 Onderzoekselementen en onderzoeksstrategie.

 

            Generaliseerbare kennis-- Men kan iets leren van een onderzoek: de onderzochte eenheden worden opgevat als typische voorbeelden waardoor kennis overdraagbaar is op niet onderzocht gevallen. Wetenschap is op generaliseren gericht. Ook als men een enkel geval beschrijft.

 

            Systematische kennisverwerving-- Hierbij wordt de datamatrix (schema 3.1 op blz 112) geïntroduceerd. Het gaat om het vaststellen van de waarde van variabelen bij onderzoekselementen. Volgens Galtung is cel 9, veel elementen en veel variabelen, de ideale situatie. Generaliseren is betrekkelijk eenvoudig en de onderzoeker is ook in staat de invloed van concurrerende variabelen mee in beschouwing te nemen. Dat zijn gunstige condities voor geldige conclusies.

 

            Empirische generalisaties-- Het is denkbaar dat een onderzoekselement gekozen wordt omdat het een extreem geval betreft. Aan het typisch is inherent dat er impliciet vergeleken wordt met een ‘standaardsituatie’ die als vergelijkingsbasis dient. Een dokter bijvoorbeeld kan aan de hand van een symptoom (waarde van een variabel) vaststellen wat er aan de hand is met de patiënt. De gevalsstudie is geschikt voor de bestudering van veranderingen in de tijd. Het best kan in elke onderzoekssituatie de argumenten voor en tegen het generaliseren van de onderzoeksresultaten kritisch op een rij worden gezet het onderscheid tussen algemeen en speciaal universum kan daarbij helpen (H 2). Galtung noemt een drietal redenen om meer dan een onderzoekselement te selecteren: 1. gebrek aan vertouwen in het typische of zuivere geval, 2. het is mogelijk om verschillen waar te nemen en zo voorkomt men stereotypering, 3. Samenhang tussen variabelen alleen vast te stellen als men een bepaald aantal waarnemingen (onderzoekselementen) heeft.

 

            Probleemgerichte selectie--  De keuze van het onderzoekselement wordt vooral bepaald door het doel van het onderzoek, het probleem. Exploratieve probleemstellingen onderscheiden zich van toetsingsgerichte probleemstellingen door mindere mate van aanwezige kennis. Het is dan verstandig te kiezen voor een flexibele opzet.

 

Algemene selectiedoelen--   Aan ‘algemeen geldig’ zitten een drietal aspecten die consequenties hebben voor de selectie van onderzoekselementen: Generaliseren: twee manieren om elementen te selecteren: aselecte steekproeftrekking en selectie van ‘typische’ gevallen (Hier wordt Tiel genoemd jongens!!!), Vergelijken: Aselecte steekproeven van voldoende omvang maken vergelijkingen mogelijk, vergelijking op 1 moment geeft een andere selectie van onderzoekselementen dan vergelijking van 1 onderzoekselement in de tijd  en Controleren: Als men geldige kennis wil opdoen uit onderzoek, dan moe men ook zo goed mogelijk nagaan of de gevonden invloeden toch niet aan een andere variabele liggen. In experimenteel onderzoek past men randomiseren toe: een onderzoekselementen worden in een experiment ‘at random’(door loting) aan de experimentele factor onderworpen of niet.

 

Praktische beperkingen bij de selectie--  Het internationaal onderzoek is schaars. Ook al omdat er doorgaands veel geld mee gemoeid is. De beschikbare financiën en de daaraan gekoppelde menskracht zijn ook bij de selectie beperkende factoren. De beschikbare budgetten laten de ideale opzet met voldoende onderzoekselementen soms niet toe. De onderzoeker zal dan next best moeten spelen.

Elementkeuze bij gevalsstudies--  Bij een gevalsstudie gaat het om de bestudering van een sociaal verschijnsel door middel van:

-                     Het kiezen van een of slechts enkele elementen uit het totale domein van het verschijnsel;

-                     De dragers van het verschijnsel worden bestudeerds in hun natuurlijke omgeving;

-                     Het onderzoek strekt zich uit over een bepaalde periode

-                     Er wordt meestal gebruik gemaakt van verschillende vormen van dataverzameling;

-                     De onderzoeker is geinteresseerd in de waarde van een flink aantal variabelen;

-                     Via feed back naar de informanten vindt er een chack plaats op de deugdelijkheid van de beschrijvingen en verklaringen van de onderzoeker.

 

Kort samengevat: De gevalsstudie betreft weinig elementen, die op een intensieve wijze worden benaderd.

Externe geldigheid van onderzoeksbevindingen: De resultaten mogen gegeneraliseerd worden naar de totale populatie waaruit de elementen zijn geselecteerd.

Interne geldigheid: Het vaststellen van de waarden van de onderzoeksvariabele zodanig dat deze waardebepaling overeenkomt met de bedoelde (werkelijke) waarde en dat de relaties tussen de variabelen ‘echt’ zijn en niet ergens anders aan liggen.

Het selecteren van elementen op basis van de afhankelijke variabel lijkt eerder te ontraden dan aan te bevelen.

 

            Onderzoekstype en onderzoekselement--  Het belangrijkste onderscheid als het om de selectie van de onderzoekselementen gaat is dat tussen exploreren, beschrijven en verklaren.

In exploratief onderzoek wil men vooral ontdekken welke eigenschappen van het onderzoekselement van belang zijn: flexibele onderzoeksopzet.

Bij beschrijvend onderzoek staat vooral het vaststellen van de waarde van variabelen en soms hun samenhang centraal

Verklarend onderzoek heeft vooral tot doel relaties van causale aard vast te stellen. Daarbij hoort een onderzoeksopzet die de onderzoeker in staat stelt samenhang vast te stellen en rivaliserende variabelen onder controle te houden.

 

            De definitie van onderzoekselementen--  Het is van belang dat de onderzoeker in theoretische termen aangeeft hoe hij het onderzoekselement omschrijft en wat de overwegingen bij zijn keuze zijn. Dit gaat vooraf aan de operationele definitie van het onderzoekselement. De operationele definitie zal moeten voldoen aan de volgende vereisten:

1.                  Omschrijving van de totale verzameling van elementen waaruit de onderzoekselementen worden gekozen

2.                  Het preciseren van de context waarin de onderzoekspopulatie is gelokaliseerd; het gaat vooral om specificeren van tijd en plaats

3.                  Het zodanig omschrijven van typische kenmerken van het onderzoekselement dat: a. alle eventuele elementen daardoor ook als zodanig worden herkend, en 

       b. er geen ‘niet-elementen’ ten onrechte als element worden aangemerkt.

4            Geldigheid van de operationalisering: de operationele definitie moet gelijk zijn aan de theoretische definitie, dus dat die elementen ook worden opgespoord.

 

 

3.2 Steekproeftechnieken

 

            steekproefonderzoek in vogelvlucht--  Onderzoek waarbij de elementen worden geselecteerd op basis van steekproeven hebben als belengrijk pluspunt dat de uitkomsten ervan mogen worden gegeneraliseerd over niet onderzochte elementen die tot dezelfde populatie behoren.

 

            Recapitulatie van onderzoeksfasen--   De eerste fase is de opzet van het onderzoek, er wordt precies vastgelegd wat moet worden onderzocht en hoe. Er wordt een doelpopulatie vastgelegd, waarover gegevens zullen worden verzameld door middel van vragenlijsten, om er uitspraken over te doen. Het gedrag of de structuur van de populatie wordt vastgelegd in kerncijfers. Er kan daarbij non-respons optreden, hiervan moet worden nagegaan in hoeverre deze selectief is en, zo nodig moet daarvoor gecorrigeerd worden.

 

            De uitkomsten van steekproefonderzoek--   Na eventuele correctie zijn de gegevens gereed voor analyse. Er worden kerncijfers geschat mbv. een schatter, dat is het recept voor het berekenen van een schatting. Daarna kan een diepgaande analyse volgen. Heeft de onderzoeker nog geen duidelijke ideeën over wat hij precies wil weten, dan kan het best de exploratieve analyse gebruikt worden. Is het onderzoek uitgevoerd om bepaald, van te voren opgestelde, hypothesen te toetsen, dan komen we terecht op het terrein van de inductieve analyse. De laatste fase van het onderzoek is de publicatie, schrijven van een rapport. Verantwoording over hoe het onderzoek is uitgevoerd en conclusies op duidelijke wijze presenteren staan centraal.

 

            De doelpopulatie--  Een van de eerste zaken die bij de opzet van het onderzoek aan de orde komt, is het vaststellen van de doelpopulatie.

 

            Het steekproefkader--   Voor het op verantwoorde wijze trekken van een steekproef zijn twee dingen nodig: steekproefkader en een trekkingsprocedure. Steekproefkader is een administratieve weergave van de te onderzoeken populatie. Te denken valt aan het Afgiftepuntenbestand van de PTT.

 

Representativiteit van steekproefkader--  Steekproefkader moet een zo natuurgetrouwe afspiegeling vormen van de doelpopulatie. Afwijkingen: In de eerste plaats kunnen er onderzoekselementen in de doelpopulatie zitten die niet zijn terug te vinden in het steekproefkader: Onderdekking; denk bijvoorbeeld aan geheime telefoonnummers. Het kan ook gebeuren dat er onderzoekselementen in het steekproefkader zitten die niet thuishoren in de doelpopulatie: Overdekking; bij onderzoek naar gezinnen, kun je uit een telefoonboek ook nummers van winkels of bedrijven trekken. Peildatum verschillen kunnen ontstaan omdat de streekproef voor een peildatum wordt getrokken en de verzameling van de gegevens gebeurt vaak daarna. In de tussentijd kunnen er alweer veranderingen hebben voorgedaan.

 

Het steekproefontwerp--   Voor het op verantwoorde wijze trekken van een steekproef is naast een steekproefkader ook een steekproefontwerp nodig. Deze legt de trekkingkansen van de onderzoekselementen in de doelpopulatie vast. In de praktijk zal de gekozen steekproefomvang meestal een compromis zijn tussen kosten en nauwkeurigheid. Meestal werkt het lotingmechanisme zo dat elk element in de populatie dezelfde kans heeft om in de steekproef te komen. Het is echter ook mogelijk, en soms heel zinvol, om de steekproef met ongelijke kansen te trekken.

 

            Enkelvoudige aselecte steekproef--  Dit is de eenvoudigste vorm. Er kan worden gekozen voor met teruglegging of zonder teruglegging. Aan de laatste wordt meestal de voorkeur gegeven zodat het risico van meervoudige trekking niet bestaat.

 

            Schattingen van de populatiewaarde--   Een schatter is een recept dat aangeeft hoe een schatting van de populatiegrootheid wordt berekent. Twee eisen: 1. De schatter moet zuiver zijn zodat nooit systematisch wordt overschat of onderschat. 2. De schatter moet nauwkeurig zijn, de variatie in de mogelijke uitkomsten moet zo klein mogelijk zijn. De nauwkeurigheid wordt bepaald door de omvang van de steekproef, De nauwkeurigheid is onafhankelijk van de omvang van de populatie.

 

            De systematische steekproef--  Dit is een variant op de enk. Aselecte steekproef. Er wordt een willekeurig startpunt genomen en dan steeds stappen van bijvoorbeeld 5 door het bestand genomen, net zolang totdat het gewenst aantal elementen is verkregen. Je moet dit alleen gebruiken als redelijkerwijs kan worden aangenomen dat de volgorde van het steekproefkader willekeurig is en de stapgrootte niet een deler is van het totale bestand, anders krijg je steeds dezelfde mensen. Denk aan stappen van 7 voor de dagen van de week, dan kom je steeds op dezelfde dag uit.

 

            Steekproeven met ongelijke kansen--  In de praktijk wordt trekken met ongelijke kansen gerealiseerd door te zoeken naar een hulpvariabele die en sterke samenhang vertoont met de doelvariabele, en vervolgend de trekkingskansen te baseren op de waarde van die hulpvariabele. Bijvoorbeeld kans op winkeldiefstal is afhankelijk van totale vloeroppervlak. Dus grotere winkels krijgen een grotere kans om getrokken te worden.

 

            Gestratificeerde steekproef--  Dit is gebaseerd op het principe van het aanbrengen van een onderverdeling van de populatie in subgroepen (strata). Uit elk stratum wordt apart een steekproef getrokken. De schattingen voor de strata worden tenslotte gecombineerd tot een schatting voor de gehele populatie. Stratificatie kan alleen worden uitgevoerd als van te voren voor elk element in de populatie bekend is in welk stratum het thuishoort.

 

            Clustersteekproeven--  De doelpopulatie wordt geacht te zijn opgesplitst in clusters, en de steekproeftrekking bestaat eruit dat een aantal clusters wordt geloot. Van elke geselecteerde cluster worden alle onderzoekselementen onderzocht. Er is bijvoorbeeld wel voor elke gemeente een bevolkingsregister, maar er is geen centraal register voor de gehele bevolking. Er kan echter clustereffect optreden en dit leidt tot een laag rendement.

 

            Tweetrapssteekproeven--  Clustersteekproef, maar nu worden niet alle, maar slechts een deel van de onderzoekselementen genomen. Eerst worden dan bijvoorbeeld gemeenten geloot, daarna wordt uit de geselecteerde gemeenten weer mensen geloot.

 

            Quotasteekproef--  De populatie wordt op grond van enkele demografische kenmerken in groepen verdeeld. Er is van te voren vastgesteld hoeveel van elke demografische groep geïnterviewd moet worden. Niet thuis….dan naar een volgend adres net zolang totdat je de quota per groep gehaald hebt. Het lijkt alsof er dus geen non-respons optreed, maar de non-respondenten worden vervangen door respondenten die daar niet op hoeven te lijken dus er kan een vertekend beeld optreden.

 

            Opsporingssteekproef--  Er wordt een flink grote steekproef getrokken uit de gehele populatie. Van de geselecteerde onderzoekselementen wordt dan vastgesteld of ze behoren tot de betreffende deelpopulatie. Met name als de deelpopulatie relatief klein is vergeleken met de totale populatie is dit een erg inefficiënte aanpak. Gekozen kan worden voor een Netwerk-steekproef. Bijvoorbeeld: Onderzoek naar mensen met aangeboren afwijkingen. Zodra een patiënt is gevonden, kunnen familieleden van deze patiënt worden ondervraagt.

 

3.3 Fouten bij de selectie van onderzoekselementen.

 

            Systematische en onsystematische afwijkingen--  Meetverstoringen veroorzaken afwijkingen in de schattingen van populatiegrootheden: foutenbronnen. De afwijking die ze met zijn allen veroorzaken wordt de totale fout genoemd. Systematische afwijking: er is een systematische onder of overschatting, dit wordt de vertekening genoemd.

 

            Een foutentypologie--  De totale fout wordt gevormd door Steekproeffout en Niet steekproeffout. De steekproeffout is een fout die ontstaat doordat niet de gehele populatie wordt onderzocht maar slechts een beperkt deel daarvan (de steekproef). Niet steekproeffout is de afwijking die ontstaat door verschijnselen die ook zouden zijn opgetreden indien een integraal onderzoek was gehouden. Trekkingsfout: trekkingskans van de onderzoekselementen is niet gelijk aan de kansen waarvan wordt uitgegaan bij de berekening van de schatting. Schattingsfout: Toevallige onderzoekselementen worden in de steekproef getrokken. Deze wordt gekwantificeerd in de variantie of standaardfout van de schatter.

 

            Niet Steekproeffouten--  (bekijk schema 3.3.1 voor overzicht van de fouten, blz. 135) Kan worden gesplitst in waarnemingsfout en niet waarnemingsfout. Waarnemingsfout ontstaat door op incorrecte wijze verkrijgen, vastleggen of verwerken van de gegevens. Niet waarnemingsfout ontstaat doordat het onmogelijk is de waarneming te verrichten. Meetfout: Gegevens die van de steekproefonderzoekselementen na waarneming en verwerking beschikbaar komen niet met de werkelijkheid overeenkomen. Verwerkingsfout: Ontstaat door verstoringen bij de verwerking van de gegevens, interpretatie of het fout intypen van codes. Ook overdekking is een waarnemingsfout. Overdekking is een niet-waarnemingsfout. Non-respons ontstaat als van een onderzoekselement geen of niet alle gegevens kunnen worden verkregen.

Twee van de beschreven fouten, de meetfout en de verwerkingsfout, hebben te maken met het vaststellen van de waarde van variabelen. De andere vijf hebben met de selectie van elementen te maken.

 

Behandeling van non-respons--  Totale non-respons betekent helemaal geen info over het onderzoekselement. Partiele non-respons ontbreekt de waarde van een of meer variabelen. Non-respons leidt tot een geringer aantal onderzoekseenheden dan was gepland, maar dat hoeft op zich niet tot verkeerde conclusies te leiden. De situatie is ernstiger wanneer de non-respons selectief is. Dan zijn er bepaalde groepen onder of oververtegenwoordigd. Dit leidt tot een vertekening in de uitkomsten.

 

De oorzaken van non-respons--  Er is een onderscheid tussen actieve en passieve non-respons. Bij actieve wordt de medewerking bewust geweigerd. Daar bestaan weer permanente en tijdelijke weigeraars. Bij de laatste komt het tijdstip bijvoorbeeld ongelegen. Bij passieve non-respons blijkt een vraaggesprek niet mogelijk door omstandigheden buiten de wil van de ondervraagde persoon om. Bijvoorbeeld de niet-thuis-gevallen. Ook niet kunnen vinden van een adres of niet kunnen bereiken vallen hieronder. Er zijn ook mensen die niet in staat zijn aan het onderzoek mee te werken, door bijvoorbeeld handicap of taalbarrière.

 

Definitie van non-respons--  Het gaat om ontbrekende gegevens van onderzoekselementen die in de steekproef zijn en tot de doelpopulatie behoren. De fractie non-respons wordt verkregen door het aantal onderzoekselementen in de steekproef waarvan de gewenste info niet werd verkregen, maar die wel behoren tot de doelpopulatie, te delen door het totaal aantal onderzoekselementen in de steekproef.

 

Selectieve non-respons--   Hoe kan worden nagegaan of non-respons selectief is? Met behulp van de beschikbare info over de doelvariabele is het niet mogelijk een uitspraak te doen over een vertekening. Non-respondenten zeggen immers niets over hun waarde van de doelvariabele. Gekeken wordt dan naar hulpvariabelen die gemeten zijn en waarover extra info bekend is. Stel dat een bepaalde hulpvariabele sterk samenhangt met de doelvariabele. Er doen zich dan twee mogelijkheden voor:

1.                  Er is een sterke samenhang tussen hulpvariabele en responsgedrag. Dan zal er ook samenhang zijn tussen de doelvariabele en responsgedrag, dit is selecte respons.

2.                  Er is geen samenhang tussen hulpvariabele en responsgedrag. Dan zal er vermoedelijk weinig of geen samenhang bestaan tussen doelvariabele en responsgedrag. Geen selecte respons.

 

Correctie van non-respons--  Een van de meest gebruikte technieken om de steekproef te corrigeren voor de nadelige effecten van non-respons, is ongetwijfeld wegen. Dan wordt er aan elk record met gegevens een bepaalde wegingsfactor toegekend. Hier speelt representativiteit mbt. hulpvariabelen een belangrijke rol. Het wegen van een steekproef heeft twee grote voordelen:

1.      Indien de doelvariabele weinig varieert binnen de categorieën van de hulpvariabele, of indien de non-respons niet select is binnen de categorieën van de hulpvariabele, dan wordt door herweging een vertekening ten gevolge van non-respons gereduceerd.

2.      Indien de doelvariabele weinig varieert binnen de categorieën van de hulpvariabele, dan wordt de nauwkeurigheid van de schatter groter. Het zal duidelijk zijn dat de effectiviteit van een wegingsprocedure in hoge mate wordt bepaald door aanwezigheid van geschikte hulpvariabelen. Daarom is het van groot belang al bij de opzet van het onderzoek rekening te houden met het optreden van non-respons. Zorg ervoor dat deze hulpvariabelen worden meegenomen in het onderzoek.