Evaluatie van een mixed mode survey design. (Koen Beullens)

Mixed mode designs zijn een relatief nieuw concept in de academische en commerciële wereld waar surveys een veelgebruikt instrument zijn om informatie te verzamelen. Zoals de benaming ervan laat vermoeden bedienen dergelijke survey designs zich niet langer van slechts één modus van dataverzameling. De redenen hiervoor kunnen uiteenlopend zijn. Als belangrijkste motivatie kan het optimaliseren van de responsgraad aangestipt worden. Schriftelijke modi van dataverzameling vertonen over het algemeen een hogere uitval dan mondelinge interviews. Deze face-to-face aanpak is daarentegen vaak tijd- en geldrovend. Een combinatie van verschillende modi kan dus bevredigende oplossingen bieden. Naast deze problemen van non-respons zijn er ook dekkingsproblemen waar mixed mode designs een oplossing voor kunnen bieden. Zo komt het voor dat over onderzoekseenheden slechts beperkte persoonlijke informatie voorhanden is. Indien van sommige potentiële surveydeelnemers alleen het e-mailadres en van anderen alleen het adres of het telefoonnummer gekend is, ligt het voor de hand dat men verschillende kanalen zal moeten gebruiken om de doelgroep te bereiken.

Deze greep uit mogelijke oplossingen voor problemen bij dataverzameling laat zien dat mixed mode surveys heel wat voordelen hebben. Desalniettemin duiken er ook nadelen op. Elke modus van dataverzameling heeft kenmerken die niet voor andere modi gelden. De aanwezigheid van een interviewer is zo’n kenmerk dat alleen aan mondelinge interviews kan worden toegeschreven. Het valt dan ook niet te verwonderen dat deze verschillende kenmerken ook verschillen in antwoordgedrag van respondenten kunnen uitlokken.

Deze voor- en nadelen zullen het voorwerp van nader onderzoek uitmaken in deze verhandeling. In het bijzonder wordt aandacht geschonken aan het probleem van de non-respons waaraan mixed mode designs willen verhelpen en tevens zullen verschillende vormen van modus-effecten de revue passeren.

De empirische ondersteuning wordt verleend door een onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten. Het design van dit onderzoek bestaat erin in een eerste fase twee schriftelijke modi van dataverzameling (een post- en een websurvey) in te zetten om het grootste deel van de onderzoekselementen te realiseren. Vervolgens werden de weigeraars uit deze twee modi opgevangen door een tweede fase van dataverzameling. Dit laatste gebeurde in de vorm van een mondeling interview.

In het eerste hoofdstuk wordt dieper ingegaan op het begrip van mixed mode surveys. Zowel de ontwikkelingen die zich op dit domein in de loop van de laatste decennia hebben voltrokken, de theoretische achtergrond ervan en de problemen die zich in verband met mixed mode designs kunnen voordoen worden hier nader toegelicht. Tevens zal er ook het onderzoek naar milieubesef bij Leuvense studenten besproken worden. Na de concrete probleemstelling zal aandacht worden geschonken aan een model om het mixed mode design dat voor het onderzoek naar milieubesef werd gebruikt te evalueren. Dit model maakt een onderscheid tussen de evaluatie van de gerealiseerde steekproef enerzijds, hetgeen verwijst naar het probleem van non-respons en de evaluatie van de geregistreerde antwoorden anderzijds, wat betrekking heeft op de modus-effecten. Deze paragraaf gaat ook uitvoerig in op de hypothesen die op basis van gegevens uit de literatuur kunnen geformuleerd worden.

Het onderscheid tussen de evaluatie van de gerealiseerde steekproef en de geregistreerde antwoorden zal ook meteen de basis vormen voor het tweede en het derde hoofdstuk. Deze hoofdstukken zijn vooral empirisch van aard. De hypothesen die in het eerste hoofdstuk gestipuleerd zullen worden zullen er aan de hand van de onderzoek naar milieubewustzijn getoetst worden. Concreet wil hoofdstuk twee gestalte geven aan het probleem van de non-respons. Ook afgeleide onderwerpen zoals responssnelheid en systematische uitval op basis van achtergrondkenmerken zijn hier aan de orde. Ook zal worden nagegaan of er in verband met milieubesef als inhoudelijke variabele verschillen zijn tussen de drie modi. Het derde hoofdstuk behandelt, zoals gezegd, de modus-effecten of meetfouten. De indicatoren die hiervoor worden gebruikt zijn achtereenvolgens item non-respons, het gebruik van extreme antwoorden, differentiatie tussen items, volgzaamheid of acquiescence en sociale wenselijkheid.

In 1978 werd de surveywereld voorzien van een geïntegreerde strategie om responspercentages op surveys te verhogen. Het was toen al langer bekend dat een aantal factoren bijdragen tot het succes van een survey. Het gaat voornamelijk om het belang van en de interesse in het onderwerp, het enthousiasme dat de naam en faam van de opdrachtgever opwekt en het aantal follow-ups (liefst voorzien van een persoonlijke aanspreking). Het was onder meer Dillman die op dit domein de debatten voerde, eerst met de Total Design Method (1978), recent opgevolgd door de Tailored Design Method (2000). De eerste formule had voornamelijk betrekking op postsurveys. Hij stelde een procedure voor om de responsgraad van postenquêtes op te voeren tot het niveau van face-to-face interviews, uiteraard mits het consequent toepassen van een aantal regels. Zo raadde hij aan om de correspondentie tussen onderzoeker en respondent persoonlijk te maken. Het formaat, de volgorde van de vragen, het uitzicht en de plaatsing van de antwoordmogelijkheden, etc. verdiende volgens hem veel zorg en aandacht. Er werden drie herinneringen voorzien: de eerste na een week voor iedereen die nog niet heeft geantwoord en een briefkaart als dank voor de anderen. Na drie à vier weken moet dan nog eens dezelfde procedure worden herhaald. Na zeven weken kan er eventueel een aangetekend schrijven volgen. Deze laatste stap kan om begrijpelijke redenen op heel wat kritiek rekenen.

De theoretische kern van de Total Design Method werd gevonden bij de sociale ruiltheorie van Homans (Billiet & Waege, 2003, 408-410; Dillman, 2000, 14-23). Ook de Tailored Design Method volgt dit perspectief. De theorie stelt dat het sociaal handelen bepaald wordt door de voordelen die men denkt te halen door een bepaalde handeling te stellen. Op het eerste gezicht wordt de mens hier als een rationeel wezen voorgesteld dat georiënteerd is op voor- en nadelen. Maar de sociale ruiltheorie behelst niet alleen materiële stimuli, ook emotionele of sociale voordelen zoals status kunnen het menselijk handelen bepalen. Indien we dit inzicht toepassen op een survey komen we tot de volgende postulaten: ten eerste moeten de kosten voor de respondent om te antwoorden zo laag mogelijk zijn, de beloningen zijn, ten tweede, best zo hoog mogelijk. Ten derde moet de respondent erop kunnen vertrouwen dat hij of zij ook daadwerkelijk de beloning zal krijgen. Het uiteindelijk deelnemen aan de survey is het gevolg van een gunstige balans van de drie genoemde criteria in vergelijking met de gedragsalternatieven. Voor een aantrekkelijk onderwerp bijvoorbeeld is de kost voor de respondent relatief laag en de beloning groot. Een respondent kan zich ook gewaardeerd voelen indien hij of zij kan antwoorden op de vragen van een invloedrijke of bekende opdrachtgever. De kosten voor de respondent kunnen tevens gereduceerd worden door minder lange of makkelijke vragenlijsten op te stellen. De follow-up contacten kunnen bij de kandidaat-respondent de indruk wekken dat het echt om een belangrijk onderzoek gaat. Door ook telkens bij elke herinnering een nieuwe vragenlijst bij te voegen, worden eveneens de kosten voor de respondent gereduceerd. Een persoonlijke beloning zoals een kopie van het onderzoeksrapport kan een positieve bijdrage leveren.

Sinds de eerste versie van Dillmans methode is er heel wat gewijzigd (Dillman, 2000, p. 7). Over het algemeen vreest men dalende responsgraden. Deze vrees is ook voor een groot gedeelte terecht, zo wijst internationaal onderzoek uit, al kunnen landen onderling sterk verschillen (de Heer, 1999, pp. 127-142). Dit wil echter niet zeggen dat de surveywereld aan zijn lot wordt overgelaten. Mits de nodige inspanningen zijn bevredigende responsgraden nog steeds haalbaar. Wanneer survey designs, veldwerkstrategieën en andere organisationele factoren in rekening worden gebracht, zijn deze verschillen tussen landen snel geduid. Volgens de Heer is er dan ook geen sprake van een groeiende kern van hardnekkige weigeraars.

Waar in de jaren ’70 de meeste surveys werden doorgevoerd met behulp van face-to-face interviews, is het zwaartepunt vanaf de jaren ‘80 gaan liggen bij de post- en telefoonsurveys. De postvariant vereist geen getrainde interviewers, zodat dit onderzoeksinstrument ook gemakkelijker kan worden ingezet door organisaties die enkel sporadisch surveys uitvoeren. De verspreiding van de telefoon was dan weer een reden om meer telefonisch te gaan peilen. De technologische vooruitgang op het gebied van telefonie en informatica zorgde voor nieuwe uitdagingen. Een van de eerste nieuwigheden die voor surveys ingezet werd, was het computer-assisted telephone interviewing (CATI). Hier werd onder meer gebruik gemaakt van het automatisch selecteren van telefoonnummers. Niettemin zijn voor schriftelijke surveys ook veel technologische vernieuwingen weggelegd, zoals de websurvey (Dillman, 2000, pp. 7-9).

Buiten deze technologische veranderingen zijn er ook culturele verschuivingen merkbaar die de nieuwe modi van dataverzameling in een nieuw kleedje hebben gestoken. Deze verschuivingen zouden vooral schriftelijke vragenlijsten ten goede komen. Dagdagelijkse activiteiten waarvoor vroeger directe sociale interactie vereist was, kunnen nu meer en meer rekenen op technologische bijstand zoals zelf de bankzaken beheren door home- en phone-banking, het vernieuwen van abonnementen op dagbladen, vliegtuigtickets bestellen, enz. Een andere culturele verschuiving is nefast voor het telefonisch interviewen. In tijden waar nog geen antwoordapparaten bestonden was een rinkelende telefoon niet te negeren. Een gemist telefoontje kon belangrijk geweest zijn. Maar veel bedrijven die de telefoon als marketinginstrument inzetten, maken dit medium minder populair. De telefoon werd meer en meer als indringend beschouwd. De opkomst van privé-nummers en antwoordapparaten is daar wellicht niet vreemd aan. De telefoon heeft daardoor veel aan effectiviteit verloren op het gebied van wetenschappelijk onderzoek. Zelf in te vullen vragenlijsten zoals post- of websurveys winnen daardoor weerom aan belang (Dillman, 2000, pp. 7-9).

Niet alleen de cultuur verandert, ook de vaardigheden van de mensen veranderen (Dillman, 2000, p. 8). Veel hooggekwalificeerd werk vereist computergeletterdheid. Dit alles zorgt ervoor dat schriftelijke vragenlijsten als maar populairder zijn en zullen worden.

De hamvraag blijft wel welke methoden er zijn om met een veelheid aan schriftelijke dataverzamelingsmodi (post, web, e-mail, enz.) een optimale respons te bereiken. Ten tijde van de Total Design Method heerste het principe “one-size-fits-all”. Deze benadering waarbij iedereen op dezelfde wijze behandeld wordt, paste nog wel in het tijdsbeeld en de technologische toestand van weleer, maar omwille van de zojuist geschetste verschuivingen zal een gedifferentieerde aanpak meer adequaat zijn. Een opiniepeiling naar kiesintenties moet snel gebeuren, bezoekers van een tentoonstelling moeten persoonlijk worden aangesproken bij de in- of uitgang om naar hun smaak te vragen, enz. Het is omwille van deze reden dat Dillman een overgang maakt van de Total Design Method naar Tailored Design Method. De bedoeling daarbij is de manier van dataverzameling op maat van de te bevragen populatie te maken.

Mixed mode surveys zijn voor het principe ‘Tailoring to the situation’. Onder een mixed mode survey wordt verstaan dat binnen één onderzoek meerdere modi van dataverzameling worden ingezet teneinde de respons te optimaliseren. In het licht van de sociale ruiltheorie kan gesteld worden dat kosten en baten voor de respondent worden geoptimaliseerd door een aan hem of haar aangepaste modus van dataverzameling aan te bieden.

Dillman onderscheidt een vijftal verschillende types van mixed mode surveys (2000, pp. 219-222). De postenquête blijft vaak het uitgangspunt. Dit kan worden uitgebreid met andere modi van dataverzameling zoals webvragenlijsten, interviews via de telefoon of face-to-face.

Bij een eerste type worden dezelfde gegevens verzameld van verschillende steekproefeenheden door verschillende modi. Dit is tevens de meeste gebruikte vorm van het mixed mode survey. De respondenten worden eerst voltallig benaderd door éénzelfde modus. Respondenten die geen medewerking verlenen worden vervolgens door een tweede modus opnieuw gecontacteerd, daarna door een derde, etc. De drijvende kracht achter deze strategie is kostenminimalisatie. De eerst ingezette modus is de goedkoopste (bijvoorbeeld een post- of een websurvey), daarna kan de onderzoeker voor een telefonische peiling kiezen, en tenslotte worden de weigeraars door face-to-face interview opgevangen.

Het tweede alternatief heeft betrekking op panelonderzoek. Indien een onderzoeker één steekproef meerdere keren wil ondervragen, kan men voor de verschillende fasen van het onderzoek kiezen voor verschillende modi. Dit is bijvoorbeeld relevant indien men alleen beschikt over telefoonnummers. De telefonische enquête (eerste fase) tracht dan ook de adressen van de respondenten te verzamelen, zodat bij het tweede contact met de respondent een postsurvey kan ingezet worden, wat mogelijk ook een kostenvoordeel kan opleveren.

Men kan ook tijdens één dataverzamelingsperiode meerdere modi gebruiken. Dit is aangeraden bij bijvoorbeeld persoonlijke of intieme vragen die ongepast kunnen overkomen bij een face-to-face interview. In dat geval is een schriftelijk additionele vragenlijst een geschikt instrument.

Er bestaat tevens de mogelijkheid om verschillende populaties met verschillende modi te benaderen. Dit alternatief kan een oplossing bieden wanneer van respondenten niet steeds dezelfde contactgegevens beschikbaar zijn. Respondenten waarvan alleen het telefoonnummer gekend is, worden telefonisch gepeild, indien alleen het e-mailadres gegeven is laat men een websurvey lopen, etc.

In een laatste geval gebruikt men een eerste modus als introductie voor een volgende modus. Een call center kan bijvoorbeeld een groep respondenten benadering en hen uitnodigen voor een schriftelijke vragenlijst. Op die manier worden meteen de juiste adressen en eventueel e-mailadressen verzameld van de steekproefeenheden.

Het mag ondertussen duidelijk zijn dat mixed mode surveys een aantal voordelen met zich meebrengen. Een verhoogde respons is daar één van, het verlagen van de onderzoekskosten een ander. Doordat de ene modus respondenten opvangt die voor een andere modus niet bereikbaar zijn, of - in de woorden van de sociale ruiltheorie gezegd - te veel kosten en te weinig beloningen voor de respondent opleveren, lijken mixed mode surveys ook tegemoet te komen aan dekkingsproblemen. Aan de andere kant kunnen mixed mode surveys ook veel zorgen met zich meebrengen. Mode-effecten zijn wellicht de grootste plaag voor de wetenschappelijke waarde van dergelijke onderzoeksmethoden (Dillman, 2000, p. 225). De belangrijkste verschillen tussen modi hebben betrekking op het al dan niet aanwezig zijn van een interviewer, visuele versus auditieve communicatie en de respondent versus de interviewer die de vraagstimulus controleert. Indien er een interviewer aanwezig is, kan de situatie andere normatieve verwachtingen stellen dan wanneer er geen interviewer aanwezig is. Dit kan leiden tot het vertonen van sociaal wenselijk gedrag of volgzaamheid. De stimuluscontrole die bij de respondent dan wel bij de interviewer ligt en het auditieve of visuele karakter van de stimuli vergen van de respondent ook verschillende cognitieve vaardigheden. Het gevolg hiervan is dat verschillende modi van dataverzameling ook verschillende antwoordpatronen kunnen genereren zoals primacy of recency effecten of vraagvolgorde-effecten.

In de latere hoofdstukken is het de bedoeling om de bevindingen in verband met de literatuur te confronteren met concrete data. De evaluatie van een mixed mode design zal dan gebeuren aan de hand van de dataset ‘milieu’. Deze onderzoeksgegevens worden hieronder verder toegelicht (Verbelen, Heerwegh & Loosveldt, 2001, pp. 2-15).

Het onderzoek werd deels door de studenten van de tweede en enige kandidatuur sociologie uitgevoerd in het kader van een begeleid leeronderzoek binnen het vak ‘Practicum Sociologie’. In het academiejaar 2001-2002 werd gekozen voor een onderzoek rond het thema ‘milieubewustzijn bij studenten’. Inhoudelijk werd aansluiting gevonden bij de empirische onderzoekstraditie die voornamelijk in Nederland is uitgebouwd (Becker, van den Broek, & M. Nas, 1996; Ester, Seuren & Nelissen, 1994; de Hart; 1993). Ook Vlaams onderzoek werd geraadpleegd (Waege, 1993; Ackaert & Swyngedouw, 1998).

In wat volgt wordt eerst het mixed mode design van dit onderzoek toegelicht. Vervolgens worden de vragenlijsten zowel vormelijk als inhoudelijk besproken.

De onderzoeksgroep werd gedefinieerd als de generatiestudenten van de eerste kandidatuur aan de Katholieke Universiteit Leuven, academiejaar 2001-2002. Het ging tevens om kotstudenten. De lijst van de volledige onderzoekspopulatie werd afgeleverd door de Dienst studentenbeleid en LUDIT van de K.U.Leuven en bestond uit 3036 studenten. Het onderzoek werd opgevat als een mixed mode onderzoeksopzet waarbij verschillende methoden van dataverzameling elkaar aanvullen. In een eerste fase werden respondenten bevraagd middels een post- en webenquête. Beide onderzoeksgroepen werden onafhankelijk van elkaar en aselect samengesteld. 750 studenten werden zo geselecteerd voor de postmodes, 900 voor de websurvey. Voor de beide modi werd een gestratificeerde proportionele systematische toevalssteekproef getrokken, waarvan de strata de 13 faculteiten van de K.U.Leuven waren. De non-respondenten werden vervolgens benaderd door een face-to-face modus. Het design was er dus op gericht om de respons te verhogen door aan de hand van een derde modus de non-respons op te vangen. Figuur 1 biedt een schematisch overzicht van dit proces van dataverzameling.

Figuur 1: Schematische weergave van het proces van dataverzameling van het onderzoek naar milieubesef

Voor de postsurvey werd gekozen om te werken met één herinnering, die tevens vergezeld was van een nieuwe vragenlijst. Op vier december 2001 werd de postenquête verstuurd. De herinnering volgde op 17 december en de dataverzameling werd afgesloten op drie april 2002. De uitnodigingen om deel te nemen aan de websurvey werden eveneens op vier december 2001 verzonden. Elke respondent kreeg een gepersonaliseerde e-mail toegezonden waarin een login en paswoord werd meegedeeld om aan de survey deel te nemen. Ook hier werd gewerkt met één herinnering. Deze e-mail werd verstuurd op 11 december 2001. Uit de populatie non-respondenten (van de post- en websurvey) werd vervolgens een toevallige steekproef getrokken voor een face-to-face interview, gestratificeerd naar de faculteit, met uitzondering van 70 weigeraars van de webmodus en 68 respondenten die de webvragenlijst slecht gedeeltelijk invulden. Het aantal respondenten dat zou bevraagd worden, werd hier bepaald door het aantal beschikbare interviewers. De 41 interviewers waren de studenten van de tweede en enige kandidatuur sociologie, van het academiejaar 2001-2002. Elk van de studenten zou 10 interviews afnemen, wat resulteerde in een steekproef van 410 elementen. De elementen werden op die manier toegewezen zodat elke interviewer vijf non-respondenten van de postsurvey en vijf non-respondenten uit de websurvey kreeg. De face-to-face ronde vond plaats in maart 2002. In geval van vervanging werd erop gelet dat het reserve-element een zo groot mogelijke gelijkenis vertoonde met de oorspronkelijke respondent, met als prioritaire aandachtspunt de aanvangsmodus van bevraging (post of web). Alvorens de interviewer persoonlijk contact opnam met de respondent, werd eerst een introductiebrief verzonden, waarin ook werd verwezen naar de eerste fase van het onderzoek. Van de contactprocedure werd de registratie bijgehouden door middel van contactbladen. Zo konden onder meer het aantal contacten en de eventuele redenen van weigering worden vastgelegd.

De vragenlijsten telden 45 vragen. De eerste vragen gingen over de respondent zelf, zoals het geslacht en of men al dan niet een kotstudent was. Daarna volgde een reeks attitudevragen die verwijzen naar de concepten ‘need for cognition’, materialisme/postmaterialisme, sociaal-economisch conservatisme, utilitair individualisme, culturele affiliatie, cultureel conservatisme en etnocentrisme. Ook werd gepeild naar de deelname aan het verenigingsleven, de betrokkenheid op maatschappelijke thema’s en in welke mate men zich links of rechts op het politieke spectrum bevindt. Verder werd in het kader van het onderzoek naar milieubesef gevraagd naar het milieubewustzijn en de offerbereidheid en de actiebereidheid van de studenten om een beter leefmilieu te bekomen, het werkelijke gedrag dat men daartoe stelt en de mate waarin men aan milieuvervuiling is blootgesteld. Vervolgens werd er gevraagd naar de situatie van het ouderlijk gezin. Deze vragen peilden naar de samenstelling van het gezin, de arbeidsituatie, het inkomen en het opleidingsniveau van vader en moeder. Daarna volgde een reeks vragen over het gebruik van het internet van de respondent. Hier kwamen de frequentie waarmee men op het internet surft en de frequentie waarmee men zijn of haar e-mailberichten controleert aan bod. Tot slot werden een zestal vragen gesteld over de enquête zelf. De respondent mocht aangeven in welke mate hij of zij deze aangenaam, wetenschappelijk, zinvol, representatief, vertrouwelijk en geloofwaardig achtte.

Er werd naar gestreefd om de vragenlijsten van het web, de post en de mondelinge modus zo veel mogelijk op elkaar te doen lijken. Dit wil zeggen dat de volgorde van de vragen voor de drie modi dezelfde is, alle items op dezelfde manier verwoord zijn en de antwoordcategorieën altijd dezelfde zijn. In de mondeling modus werd daarom gewerkt met antwoordkaartjes. Deze kaartjes zorgen ervoor dat de respondent min of meer dezelfde visuele stimuli kreeg als in de schriftelijke tegenhangers. Enkel voor de concepten sociaal-economisch conservatisme (acht items), utilitair individualisme (zeven items), culturele affiliatie (vier items) en milieubesef (21 items) werd hierop een uitzondering gemaakt. De antwoordkaartjes van de face-to-face bevraging waren hier niet voorzien van een expliciete ‘geen mening’-filter, hoewel de antwoorden wel alsdusdanig gecodeerd konden worden door de interviewer.

De webmodus beschikte over een aantal technische hulpmiddelen. De vragenlijst was onderverdeeld in zes blokken. Tussen elk blok werden de antwoorden van de respondent door gestuurd naar de server. Op regelmatige tijdstippen kon de respondent ook zien hoe ver hij of zij al was gevorderd aan de hand van een klein staafje aan het begin van elk nieuw vragenblok. De doorverwijzingen werden in de webmodus ondersteund door links waarop de respondent enkel hoefde te klikken. In de mondelinge modus was het de interviewer die dit traject begeleidde. Alleen in de postmodus moesten de respondenten zelf hun weg zien te vinden aan de hand van instructies. Deze doorverwijzingen waren alleen toepasselijk bij de vragen over de tewerkstelling, inkomen en onderwijsniveau van de ouders. Voor het overige diende de respondent alle vragen in te vullen.

Aangezien de mondelinge modus gebruikt werd om weigeraars uit de schriftelijke modi op te vangen, werd hier gepeild of deze weigeraars de uitnodiging om deel te nemen aan de schriftelijke vragenlijst hadden ontvangen en geopend. Vervolgens konden de respondenten ook aangeven, door middel van een open vraag, waarom ze niet hadden deelgenomen aan de eerste ronde van dataverzameling.

De drie vragenlijsten, de antwoordkaarten van de mondelinge modus en het codeboek zijn opgenomen in de bijlagen

Mixed mode designs voor surveys zijn een relatief nieuw instrument voor onderzoek binnen de academische of commerciële wereld. Zowel het theoretische inzicht omtrent deze designs als de empirische ondersteuning ervan zijn nog niet ten volle ontwikkeld, vooral op het gebied van de meetfouten (Dillman, 2000, pp. 225-226). Deze fouten bestaan erin dat respondenten verschillend antwoorden naargelang de modus van dataverzameling waarlangs ze hun antwoorden laten registreren. Het is de intentie van deze verhandeling om hiertoe een bijdrage te leveren.

Mixed mode surveys hebben vooral de bedoeling om het hoofd te bieden aan tegenvallende responsgraden. Het design zoals in de vorige paragraaf is voorgesteld geeft de mogelijk om respondenten die in eerste instantie hun medewerking niet verlenen nog een tweede kans te geven. Doordat een tweede contact met deze respondenten in de vorm van een mondeling interview plaatsvindt, stijgt ook de kans dat de respondent uiteindelijk zal meewerken. Ten eerste zal worden nagegaan in hoeverre de mondelinge modus van dataverzameling in staat is weigeraars te overhalen om hun medewerking te verlenen aan de survey. Deze sequentiële aanpak is echter niet zonder gevaar. Respondenten die geneigd zijn om snel deel te nemen aan een peiling zijn niet steeds vergelijkbaar met respondenten die eerder terughoudend staan tegenover dergelijke bevragingen. Zowel naar achtergrondkenmerken als naar kenmerken waarnaar de vragenlijst juist peilt (in dit geval milieubewustzijn) kunnen op dit gebied verschillen verwacht worden. Ook binnen de eerste ronde van dataverzameling, waar kandidaat-respondenten op toevalsbasis aan de post- of de webmodus toegewezen worden, zijn deze verschillen te verwachten.

Met betrekking tot de gerealiseerde steekproef geldt over het algemeen de hypothese dat een sequentiële aanpak leidt tot een verhoogde responsgraad. Ook de snelheid van dataverzameling ligt hoger bij deze gemengde aanpak dan wanneer enkel mondelinge interviews plaatvinden. Als nadeel van mixed mode designs wordt als hypothese gestipuleerd dat verschillende modi van dataverzameling niet steeds hetzelfde publiek van respondenten aantrekt.

De literatuur omtrent mixed mode designs is reeds behoorlijk ver gevorderd op het gebied van de te bereiken responsgraad. De datakwaliteit die een dergelijke methode opleverd is echter minder uitvoerig beschreven. Het zwaartepunt van deze verhandeling zich zal dan rond deze problematiek situeren. Om dit thema te benaderen zal grotendeels het theoretisch model van Dillman gevolgd worden (Dillman, 2000, p. 224-229). Hier wordt het onderscheid tussen schriftelijke en mondelinge modi van dataverzameling als voornaamste bron van verschillen in antwoorden van respondenten aangegeven. Twee achterliggende factoren kunnen volgens dit model voor modusverschillen zorgen, namelijk normatieve of sociale factoren enerzijds en cognitieve of psychologische factoren anderzijds. Naast Dillman zal ook een beroep gedaan worden op het ‘satisficing’-begrip zoals Krosnick dit definieert (1991, pp. 213-236). Met deze deze term wordt bedoeld dat respondenten allerlei strategieën kunnen aanwenden om vragenlijsten af te werken waarbij ze hun inspannigen reduceren.

De algemene verwachting luidt dat de schriftelijke modi van dataverzameling, omwille van hun intrinsieke overeenkomsten, grote gelijkenissen zullen vertonen wat betreft de datakwaliteit. Deze twee modi zouden dan verschillen van het mondelinge interview. De indicatoren van datakwaliteit die hier zullen gebruikt worden zijn item non-respons, het gebruik van extreme antwoorden, differentiatie tussen items, acquiescence of volgzaamheid en het geven sociaal wenselijke antwoorden. De verwachting luidt dat de vertekening van de antwoorden door acquiescence en sociale wenselijkheid het grootst zal zijn in de mondelinge modus omwille van de normatieve of sociale factoren die in een sociale interactie aan de orde zijn. Over de overige indicatoren zijn weinig of inconsistente bevindingen geformuleerd wat het moeilijker maakt om concrete hypothesen te fomuleren. Een voorzichtige stellingname aangaande deze laatste indicatoren zal in de volgende paragrafen aan bod komen, alsook een verdere uitwerking van de hypothesen die hier kort werden voorgesteld.

Om een evaluatie te maken van een mixed mode survey zijn er een aantal onderscheiden nodig om de probleemstelling inzichtelijker te maken. Zulk een kader wordt aangeboden door Loosveldt en Carton (2001, 11-43). Hun kader maakt een onderscheid tussen de kwaliteit van dataverzameling in brede zin en in enge zin. Anders gezegd: de kwaliteit van de behaalde respons versus de kwaliteit van de geregistreerde antwoorden. Het volstaat niet de kwaliteit van dataverzameling te duiden aan de hand van de bekomen resultaten (dit laatste wordt aangeduid met de term outputevaluatie), ook de manier waarop data verzameld werden kan binnen de grenzen van een dergelijke evaluatie vallen. Dit laatste kan dus begrepen worden als een procesevaluatie. Voor de evaluatie van het onderzoek naar milieubewustzijn bij Leuvense studenten zal vooral de outputevaluatie aan bod komen. Gevevens over het proces waarlangs de steekproef is gerealiseerd zijn eerder schaars te noemen. In het bijzonder zal alleen het effect van de herinneringsprocedure aan bod kunnen komen. Ook wordt er zal er kort aandacht worden geschonken aan de introductieprocedure, hetgeen concreet verwijst naar de brief of e-mail die de respondenten ontvingen als uitnodiging om aan de survey deel te nemen.. De gegevens met betrekking tot het proces waarlangs de antwoorden van de respondenten zijn verkregen zijn eveneens bescheiden. Het gaat hier over de tijd die is verstreken tussen het begin en het einde van de afgenomen vragenlijst, en dit enkel voor de websurvey en de mondelinge modus van dataverzameling. Omwille van het feit dat er slechts weinig informatie beschikbaar is over het onderzoeksproces, zal het onderscheid tussen output- en procesevaluatie niet langer volgehouden worden.

Wat de evaluatie van de gerealiseerde steekproef aangaat, zijn voornamelijk (non-)responscijfers, vergelijking van respondenten en non-respondenten op basis van populatie- en steekproefgegevens (b.v. socio-demografische variabelen) aan de orde. Ook de tijd die verstrijkt tussen het uitsturen van vragenlijsten en het terug binnenstromen ervan, verdient voor post- en websurveys extra aandacht.

Over naar de evaluatie van de geregistreerde antwoorden. Hier zijn de meetfouten aan de orde. Deze meetfouten kunnen zich manifesteren onder de vorm van acquiescence of volgzaamheid, sociale wenselijkheid, vraagvolgorde-effecten en effecten van primacy en recency (Dillman, 2000, pp. 224-229). Deze lijst kan worden aangevuld met item non-respons, het geven van extreme antwoorden, differentiatie tussen items en ‘mental coin flipping’ (Krosnick, 1991, pp. 213-236).

Het overzicht dat geboden wordt in tabel 1 zal in wat nu volgt diepergaander worden besproken.

In navolging van de Total Design Method stelde Dillman de Tailored Design Method in om survey respons te optimaliseren. Eén van de ideeën erachter bestaat erin eerst het leeuwendeel van de data te verzamelen door middel van goedkopere modi. Hier komen post- en websurvey voor in aanmerking. Alleen de moeilijk te overtuigen respondenten worden vervolgens door interviewers benaderd, bijvoorbeeld door eerst een telefonische actie te ondernemen en tenslotte face-to-face te bevragen. De zojuist geschetste techniek is slechts één van de alternatieve procedures die men kan volgen indien men met mixed mode survey designs werkt. Men kan ook simultaan verschillende modi aanbieden. De respondent kiest dan zelf welk medium hem of haar het best uitkomt. De simultane strategie blijkt minder efficiënt te werken dan de sequentiële. Onderzoek wijst uit dat indien respondenten alleen via een postmodus kunnen antwoorden een respons van 70% wordt gerealiseerd. Een vergelijkbaar survey waarbij de respondent de keuze had tussen post en telefoon leidt eveneens tot 70%, geen verbetering dus (Dillman e.a, s.d., p. 32). In een ander opzet werd getest of het sequentieel aanbieden van modi tot een hogere responsgraad zou leiden. De eerste golf van vragenlijsten via de post resulteerde in 75% teruggestuurde antwoorden. De non-respondenten werden opgevangen met een telefonische opvolger die de responsgraad tot meer dan 82% verhoogde. Dit is een stijging van acht procentpunten. Een mixed mode formule waarbij eerst het web werd ingezet en daarna een telefonische bevraging de non-respondenten opving resulteerde in een respons van 13% (web) en een verhoging tot 45% door de vervolgmodus. De substantiële bijdrage van een tweede sequentiële modus van dataverzameling lijkt dus groter te zijn indien de respons in de eerste fase laag is (Dillman e.a., s.d., p. 32).

Zoals aangegeven verschillen de responsgraden tussen post- en websurveys. Ook Kwak en Radler (2002, pp. 262-263) wijzen op verschillen tussen post- en websurveys wat betreft de responsgraad. Weliswaar is de kloof tussen beide modi bij hen minder groot. Binnen een studentenpopulatie (men beschikte over zowel adressen als e-mailadressen van de studenten) werd een respons van 42% (post) en 27% (web) vastgesteld. Onderzoek bij Leuvense studenten in 2001 (Verbelen, e.a. p. 18) leert dat een responsgraad voor een webenquête van 46,5% (en nog eens 4,1% partieel afgewerkte vragenlijsten) haalbaar is. Deze hoge respons kan te wijten zijn aan het feit dat een studentenpopulatie erg vertrouwd is met computers en internet (Verbelen, e.a., pp. 17-18).

Met betrekking tot het onderzoek naar milieubewustzijn bij Leuvense studenten zal dan ook verwacht worden dat in de eerste ronde van dataverzameling de postenquête qua respons beter scoort dan de webvariant. De meerwaarde van de interviews (die de non-respondenten opvangen) zal groter zijn bij de webmodus.

De responsgraad is geen volwaardige indicator voor de kwaliteit van de gerealiseerde steekproef. Uitval is namelijk zelden toevallig. De impact van de non-respons op de datakwaliteit is een functie van de hoeveelheid non-respons in combinatie met de mate waarin respondenten afwijken van non-respondenten in hun antwoorden. Onderzoek leert dat socio-demografische variabelen van belang zijn in het gebruik van nieuwe technologieën. Internetgebuikers zouden bijvoorbeeld rijker, jonger en hoger opgeleid zijn dan niet-gebruikers. (Dillman, e.a., s.d., p. 26; Kwak, e.a., 2002, p. 259). Ook kan verwacht worden dat er genderverschillen optreden. Mannen zouden intensiever het internet gebruiken dan vrouwen, hoewel de penetratiegraad dezelfde is (Bucy, 2002). Niet alleen zijn er verschillen te verwachten tussen internetgebruikers en niet-gebruikers, ook onderling kunnen er tussen internetgebruikers nuances worden aangebracht wat responsgedrag betreft. Zo verwachten Kwak e.a. (2002, p. 259) dat sommige groepen van internetgebruikers gemakkelijker zullen deelnemen aan weburveys dan aan postsurveys. Weerom gaat het om mannen, jongeren en hoger opgeleiden.

In het onderzoek naar milieubewustzijn bij Leuvense studenten zijn echter niet alle bovengenoemde variabelen beschikbaar. Leeftijd en opleidingsniveau blijven nagenoeg constant. Geslacht, studierichting en internetgebruik zullen dus de voornaamste criteria zijn om respondenten van beide modi te vergelijken. Geslacht en studierichting zijn variabelen die aan het origineel steekproefkader kunnen getoetst worden. Voor verschillen inzake internetgebruik of inhoudelijke variabelen is het mogelijk om respondenten en weigeraars van de schriftelijke modi te vergelijken. Respondenten van de mondelinge modus zullen dan het statuut van weigeraar toebedeeld krijgen.

Er mag dan wel verwacht worden dat de postvariant hogere responsgraden haalt dan de webvariant binnen mixed mode surveys, onderzoek toont wel aan dat peilingen via het internet sneller resultaat opleveren. Zo melden Kwak e.a. (2002, pp. 257-273) een gemiddelde responstijd van 9,3 dagen voor de post en 2,2 dagen voor het web.

In het verlengde van de evaluatie van de non-respons kan hierbij wel de veronderstelling gemaakt worden dat degenen die later antwoorden beter gelijken op de non-respondenten (Billiet e.a., 2003, pp. 411-414). Meer dan waarschijnlijk heeft dit ook gevolgen voor de inhoudelijke antwoorden die respondenten geven. Zo werd gevonden dat degenen die vroeg antwoorden op een postenquête vaker ook vrijwilliger zijn of meer sociaal engagement tonen dan degenen die laat antwoorden. Een korte survey bij weigeraars onthulde dat deze minder sociaal engagement vertoonden (Lauwerysen & Verhalle, 2000). Op die manier wordt sociaal engagement in surveys dus systematisch overschat. Of dit tijdselement ook voor alle modi gelijklopend is, is in de literatuur niet teruggevonden.

Algemeen kan gesteld worden dat de onderzoeker een maximum aan inspanningen levert om in contact te komen met de respondent en deze te overtuigen om deel te nemen aan de survey. Hiet wordt kort ingegaan op de uitnodiing die de onderzoeker kan versturen naar de kandidaat-respondenten en de herinneringsprocedure.

Zoals al werd aangegeven in de inleiding houdt Dillman vast aan een gepersonaliseerde uitnodiging, eventueel gevolgd door herinneringen indien er niet meteen respons komt. De introductie zelf is best kort en in een normale taal. ‘Technotaal’ wordt dus best vermeden (Heerwegh & Loosveldt, 2001, p. 33). Deze principes gelden zowel voor post als web. Aangezien de introductiebrief over de drie modi nagenoeg dezelfde is, is het weinig zinvol hier verregaande analyses over uit te voeren. Wel kan gezegd worden dat de introductiebrief niet onbelangrijk is in het verkrijgen van de medewerking (Groves & Couper, 1998, pp. 20-22). Vooral de vermelding van de organisator van het onderzoek en de inhoud van de brief zijn voorname stimulansen om zijn of haar medewerking te verlenen. Officiële instanties zouden het wat dit laatste betreft beter doen.

In het onderzoek naar milieubewustzijn bij eerstejaarstudenten werd gewerkt met een introductiebrief of e-mail. Deze introductiebrieven werden voor de schriftelijke modi bijgevoegd bij de vragenlijst. De e-mail voor de webrespondenten was voorzien van deze introductie, inclusief de link, de gebruikersnaam en paswoord voor deelname. Voor de mondelinge survey werd enkele dagen voor de respondent persoonlijk door de interviewer werd gecontacteerd een introductiebrief op het kotadres van de kandidaat-respondent gepost.

Na de uitnodiging en de introductie is de tijd aangebroken om de eerste vraag te stellen. Deze is best aanmoedigend en makkelijk te begrijpen. Bovendien moet ze van toepassing zijn voor alle respondenten. Speciaal voor de websurvey is het het vermelden waard dat de eerste vraag duidelijk zichtbare antwoordmogelijkheden heeft. Indien meteen van start wordt gegaan met een selecteermenu, is de kans groot dat een deel van de respondenten niet meer precies weet wat van hen wordt verwacht, wat een reden kan zijn om met de vragenlijst te stoppen. In het onderzoek naar milieubesef bij Leuvense studenten ging de eerste vraag over het geslacht van de student, de tweede vraag peilde naar het het feit of de respondent op kot zat of niet.

Dillman wijst in zijn Total Design Method reeds op het belang van herinneringen. Een zeer groot deel van de respons zou immers gemist worden indien men slechts één keer de respondent aanzet tot antwoorden. Dit melden ook Kwak e.a. (2002, pp. 262-263). Zij rapporteren een totale respons van 42% voor een postsurvey, waarvan 24,2% initieel werd gerealiseerd, de eerste herinnering haalde nog 14,1% binnen en de tweede herinnering nog eens 11,7%. Voor hun websurvey haalden ze een totale respons van 27,4%, waarvan 18,1% initieel, 7,5% na de eerste herinnering en 4,0% na de tweede herinnering. De responstijd, ongeacht of het om een initieel verzoek tot medewerking of een herinnering ging, bedroeg voor de postsurvey tussen de zeven en de negen dagen. Voor de webvariant bedroeg dit op nagenoeg consistente wijze twee dagen. Op dit vlak is de websurvey dus consistent vier keer sneller dan de postsurvey.

In het onderzoek naar milieubewustzijn werd voor beide modi gewerkt met slechts één herinnering. De analyse hiervan zal dus enigszins beperkter zijn. Het effect van de herinneringsprocedure zal in de evaluatie samen met de responssnelheid worden behandeld.

De evaluatie van de geregistreerde antwoorden heeft betrekking op meetfouten. In het bijzonder worden deze meetfouten hier gerelateerd aan de verschillende modi. Zo zal bijvoorbeeld gesteld worden dat de kans op antwoorden die gekleurd zijn door sociale wenselijkheid, groter is bij een interviewsituatie dan bij een schriftelijke survey. Een probleem bij het analyseren van deze meetfouten is dat deze niet los kunnen gezien worden van fouten door non-observatie. Webenquêtes trekken nu eenmaal een ander publiek aan dan postenquêtes. Het valt dan ook te verwachten dat dezelfde vraag voor de twee modi andere antwoorden en antwoordverdelingen oplevert. De cruciale vraag is dan of deze verschillen tot stand komen door de verschillen tussen het publiek dat een bepaalde modus aantrekt of door meetfouten inherent aan de modi. Het antwoord op deze cruciale vraag is moeilijk in te schatten. Dillman (e.a., s.d., pp. 23-28) argumenteert, na experimenteel onderzoek, dat mode-effecten wel degelijk bestaan.

In de survey over milieubewustzijn bij studenten werd gewerkt met een relatief homogeen publiek. Alle respondenten zijn van dezelfde generatie, hebben allemaal net middelbaar onderwijs achter de rug en zijn tevens allemaal kotstudenten. Dit laatste is een argument om verschillen in antwoordpatronen toe te schrijven aan meetfouten, eigen aan de modus van dataverzameling en minder aan fouten door non-observatie. Daarenboven zal vaak gewerkt worden met multivariate modellen. Dit biedt het voordeel dat er telkens gecontroleerd wordt voor bepaalde kenmerken van de respondenten. Dit maakt dat meetfouten ook zuiverder tot uiting kunnen komen in de evuluatie van de geregistreerde antwoorden.

Hier zal voornamelijk de theoretische toon van Dillman gevolgd worden (2000, pp. 224-229). Deze laatste ziet drie mogelijke bronnen van verschil met betrekking tot de verkregen antwoorden: auditieve versus visuele stimuli, aanwezigheid of afwezigheid van een interviewer en de respondent of de interviewer de controle over het vraagproces heeft.

Mondelinge interviews veronderstellen interactie met een andere persoon, wat ertoe leidt dat de respondent sociale normen in acht neemt zodat cultureel aanvaard antwoordgedrag hier makkelijker uitgelokt wordt. Bovendien verhoogt deze aanwezigheid ook de kans dat respondenten het sneller eens zijn met de interviewer, zelfs indien dit tot inconsistente antwoordprofielen zou leiden. Dit laatste noteren we als volgzaamheid of acquiescence. Ook zorgt de aanwezigheid van een interviewer ervoor dat van de respondent verwacht wordt hij of zij een norm van fairplay volgt. Het is voor een geïnterviewde niet aangeraden om een gegeven antwoord nog te veranderen in het licht van nieuw gestelde vragen. Dit laatste is niet alleen een normatief effect maar heeft ook andere gronden. De geïnterviewde kan niet teruggaan naar vorige vragen of vooruitlopen in de vragenlijst omdat hij of zij simpelweg het vraagproces niet controleert. Tot slot zijn er nog de auditieve stimuli die in het mondeling interview terug te vinden zijn, versus de visuele stimilu, eerder eigen aan schriftelijke modi van dataverzameling. Bij strikt auditieve surveys zoals het telefooninterview komt het voor dat respondenten uit een reeks van antwoordalternatieven alleen het laatste kunnen onthouden en bijgevolg deze antwoorden meer geven. Respondenten uit schriftelijke modi zouden dan weer vaker het eerste of een van de eerste antwoordalternatieven geven. De cognitieve arbeid die de respondent in een schriftelijke enquête verricht zou verzwakken naarmate hij of zij verder in de antwoormogelijkheden vordert. Dit onderscheid tussen visuele en auditieve stimuli spoort met het primacy en recency effect. Bij het primacy efect worden antwoorden die bij het begin van een vragenlijst geformuleerd worden vaker gekozen en komt vaker voor in schriftelijke modi van dataverzameling. Het recency effect, waarbij meer antwoorden van het einde van een reeks mogelijkheden worden gekozen, komt meer voor bij mondelinge vragenlijsten. Desalniettemin levert onderzoek terzake niet geheel consistente resultaten op (Dillman, 2000, pp. 228-229).

Bij Krosnick (1991, pp. 213-236) vinden we een andere invalshoek om meetfouten te benaderen. Volgens hem kunnen respondenten allerlei strategieën ontwikkelen om met zo weinig mogelijk cognitieve inspanningen toch een bevredigend antwoordpatroon neer te zetten. De algemene term ‘satisficing’ waarnaar deze strategieën verwijzen kent volgens hem een zachte en een harde vorm. De zachte vorm van satisficing zijn strategieën waarbij respondenten een antwoord geven dat nog min of meer aansluiting vindt bij hun houdingen of gedragingen, maar er geen optimale weergave van zijn. Bij harde satisficing valt zelfs dit laatste weg en geeft men alleen antwoorden die als redelijk of plausibel overkomen. Hier volgen kort een aantal strategieën die respondenten kunnen gebruiken.

Respondenten selecteren het eerste antwoord dat hun redelijk lijkt, zonder de lijst van andere antwoordmogelijkheden te overdenken. De volgorde van de antwoordmogelijkheden is in dit verband dan ook belang. Deze vorm van ‘satisficing’ houdt verband met de primacy en recency effecten die Dillman aanhaalt. Verschillen zijn dan ook te verwachten tussen auditief en visueel georiënteerde surveys. Een andere mogelijke zachte strategie bestaat erin dat respondenten alleen hun attituderichting te kennen geven zonder een bijkomende inspanning te nemen om ook de sterkte ervan mee te delen.

Onder de categorie harde satisficing valt onder meer acquiescence. In plaats van een doordacht antwoord te geven, bevestigt de respondent simpelweg hetgeen de vragenlijst hem of haar voorlegt. Andere harde vormen van satisficing zijn te snel maatschappelijke inertie of status quo goedkeuren, er niet in slagen om verschillen tussen indicatoren of concepten te onderscheiden, overschakelen op de ‘geen mening’-filter en toevalsgewijs antwoorden aanduiden. Dit laatste wordt ‘mental coin flipping’ genoemd.

Niet altijd is satisficing even waarschijnlijk. Onder bepaalde omstandigheden zouden dergelijke antwoordstrategieën vaker kunnen voorkomen. Krosnick onderscheidt een drietal factoren die satisficing bevorderen. Ten eerste is er de moeilijkheidsgraad van de taak die de respondent moet afwerken. Het hoeft nauwelijks te verwonderen dat bijvoorbeeld vragen met complexe zinsconstructies of vragen over het verleden van de respondent moeilijkheden opleveren in het antwoordproces. Ten tweede moet ook de bekwaamheid van de respondent in acht genomen worden. Aangeboren kwaliteiten en levenservaring of de bekendheid met het gegeven onderzoeksonderwerp zijn daarvan de deelaspecten. Deze tweede initiator van satisficing valt geenszins te onderschatten, zeker indien men weet dat ongeveer 40% van de Vlamingen de nodige moeite heeft met het lezen van bijsluiters van geneesmiddelen, weerberichten of ondertitels bij anderstalige televisieprogramma’s (Van damme, Van de Poele & Verhasselt, 1997, pp. 57-61). Motivatie maakt de derde factor die bijdraagt tot het mogelijk ondermaats antwoorden op surveyvragen. Een belangrijk onderdeel hiervan is de ‘need for congition’, ofwel de intrinsieke beloning voor mentale arbeid. Respondenten die hiervoor laag scoren zouden meer satisficing vertonen. Naast het appreciëren van moeilijke denkactiviteiten is ook de betrokkenheid van de respondent op het onderwerp van belang, de mate waarin de respondent het onderzoek als belangrijk percipieert, het interviewergedrag en de mate waarin het interview of de vragenlijst is gevorderd. In het begin van de peiling zijn respondenten vaak meer gemotiveerd dan op het einde.

Vanuit de idee van satisficing zijn in de literatuur niet meteen expliciete verwijzingen naar modusverschillen terug te vinden tussen schriftelijke en mondelinge vragenlijsten. Het is nochtans toch mogelijk om deze hypothesen af te leiden vanuit andere gegevens. Zo vonden Holbrook, Green en Krosnick (2002, pp. 79-125) opmerkelijke verschillen tussen telefoon en face-to-face interviews. De mate waarin satisficing voorkomt ligt voor telefonische peilingen hoger dan voor face-to-face interviews. De auteurs schrijven deze verschillen toe aan de tijdsdruk die voor telefonisch interviewen hoger ligt. Dit zorgt ervoor dat respondenten ook geneigd zijn sneller een antwoord te geven. Dit antwoord heeft dan ook vaker het karakter van een suboptimaal antwoord. Een telefonische stilte kan ervaren worden als lastig of ongepast, terwijl dit eerder normaal is voor face-to-face interactie. Welnu, bij schriftelijke vragenlijsten is er zelfs geen sprake van een directe interactie tussen twee personen, zodat de tijdsdruk op de respondent nog meer verlaagt (Ayidiya & McClendon, 1990, pp. 229-247). Niet alleen kan de respondent langer stilstaan bij vragen, maar ook kan deze de vragenlijst afwerken op momenten die hem of haar beter uitkomen. Over het algemeen wordt dan ook verwacht dat antwoorden van schriftelijke vragenlijsten minder satisficing vertonen.

Gezien het beperkte bestek van deze bijdrage zullen niet alle mogelijke meetfouten het voorwerp van evaluatie zijn. Een selectie dringt zich dus op. In hoofdstuk drie gaat de aandacht vooral naar item non-respons, volgzaamheid en vertekening van de data door sociale wenselijkheid. Ook zal aandacht geschonken worden aan het al dan niet geven van extreme antwoorden het differentiëren tussen items. Een aantal mogelijke meetfouten zal dus niet in de evaluatie aan bod komen. Zo zullen primacy of recency effecten niet gepresenteerd worden. Dit heeft onder meer te maken met het feit dat het onderscheid tussen auditieve en visuele stimuli niet naadloos aansluit op het onderscheid tussen de schriftelijke en de mondelinge vragenlijst. In het mondelinge interview werd namelijk gewerkt met antwoordkaartjes, hetgeen deze modus niet geheel als auditief laat typeren. Ook effecten van de vraagvolgorde zijn niet aan de orde. Dit komt omdat er geen variabiliteit is opgenomen in de vragenlijst. De zogenaamde ‘split ballot’ vragenlijsten hadden dit wel mogelijk gemaakt.

1.6.2. Actie tot het voorkomen van modus-effecten: Unimode construction van de vragenlijst

Om tegemoet te komen aan modusverschillen stelt Dillman (2000, pp. 232-240) voor om vragenlijsten op die manier op te stellen dat ze aan respondenten, ongeacht de ingezette modus, steeds dezelfde stimuli aanbieden. Een negental principes kunnen gebruikt worden als handige richtlijnen.

Ten eerste moeten de antwoordcategorieën voor alle modi dezelfde zijn. Bovendien moeten deze categorieën ook op dezelfde wijze terug te vinden zijn in de vraagtekst. Vooral de ‘geen mening’-optie staat hier in de kijker. Het al dan niet aanbieden van deze mogelijkheid kan tot aanzienlijke verschillen leiden (Billiet, 2000, p. 248). Voor de eenvoud is het aangeraden de ‘geen mening’-categorie expliciet aan te bieden.

Het gebruiken van dezelfde vraagstructuur is het tweede principe. Het is soms gebruikelijk om batterijen van vragen in tabelvorm bij een in te vullen vragenlijst om te zetten in afzonderlijke vragen voor een telefooninterview. In het eerste geval moet de respondent dan aanduiden wat voor hem of haar van toepassing is, in het tweede geval moet hij of zij met ja of nee antwoorden. De ja/nee structuur is voor mixed mode surveys een aanrader.

Als derde richtlijn wordt een klein aantal antwoordcategorieën vooropgesteld. Het probleem stelt zich vaak dat voor schriftelijke of face-to-face interviews meer antwoordcategorieën gepresenteerd worden (b.v. een negenpunt schaal) dan bij het telefonisch equivalent (b.v. een vijfpunt schaal). Dit strookt niet met de idee van uniformiteit. Daarom is het beter om voor alle modi hetzelfde, en dus gereduceerde, aantal antwoordcategorieën te gebruiken.

Ten vierde wijst Dillman erop dat de informatie van de vraag niet te sterk mag afhangen van de extra aangeboden visuele prikkels in de vraag. Zo moet het labelen van antwoordalternatieven best steeds op dezelfde manier gebeuren.

Het vijfde principe uit het voorgestelde unimode design heeft betrekking op rangschikkingvragen. De vraag die men daarbij kan stellen is of men de respondent items moet laten rangschikken (meestal bij schriftelijke vragenlijsten) of men moet overgaan tot het inschalen van de items (meestal bij telefonische bevragingen). Het wordt aangeraden om eerst de inschalingsvraag te stellen om vervolgens naar de rangschikking te peilen.

Vaak zijn ook doorverwijzingstructuren aan de orde in surveys. Dit kan voornamelijk problemen geven voor schriftelijke vragenlijsten. De respondent moet hier immers vaak veel moeite doen om te weten naar welke vraag hij of zij moet gaan. Bij websurveys ligt dit eenvoudiger. Bij de webmodus kan het traject dat de respondent dient te volgen doorheen de vragenlijst geprogrammeerd worden door de onderzoeker. De boodschap is dus om doorverwijzingen niet al te complex te maken.

Ten zevende oppert Dillman om vragen niet in stappen te stellen. Een eerste keer vraagt men of iemand voor of tegen een bepaalde uitspraak is en vervolgens vraagt men in welke mate dat het geval is. Op die manier komt men tot bijvoorbeeld een zevenpunt schaal. Voor de eenvoud is het dus beter om de vraag in één keer te stellen.

Teneinde primacy/recency-effecten op te sporen is het raadzaam een split ballot door te voeren waarbij telkens voor elke modus de helft van de antwoordcategorieën omgekeerd worden.

Als negende en laatste richtlijn raadt Dillman aan om vragenlijsten grondig aan een voortoetsing voor te leggen. Vaak worden problemen met vragenlijsten door interviewers gerapporteerd, terwijl schriftelijke vragenlijsten deze kans niet krijgen.

Hoewel de negen aanbevelingen wellicht leiden tot een betere datakwaliteit, moet worden vastgesteld dat er slechts geringe specifieke aandacht is voor websurveys als vertekenaar van data. De hoger genoemde principes hebben vooral betrekking op verschillen tussen de klassieke modi van dataverzameling, met name telefonische bevragingen, face-to-face interviews en schriftelijke dataverzameling zoals de postenquête. Een kwaliteitsperspectief gericht op websurveys staat dus blijkbaar nog in de kinderschoenen.

Desalniettemin bestaan er invalshoeken om het proces van dataverzameling via het internet te evalueren. Opnieuw is het Dillman die ter zake een reeks aanbevelingen doet (Dillman, 2000, pp. 352-412). Centraal in zijn vertoog staat de gebruiksvriendelijkheid van een websurvey. De technologische vooruitgang van het internet kan dan wel bijzonder snel zijn, toch volgen niet alle gebruikers deze ontwikkelingen op de voet. Eenvoud geldt dus opnieuw als uitgangspunt. Daarenboven kunnen ook een aantal concrete aanbevelingen worden besproken.

1. Zoals al eerder vermeld werd, zijn websurveys idealiter sterk gelijkend op andere modi van dataverzameling voor wat betreft de lay-out. Zowel de nummering van de vragen als het gebruiken van witruimten en vetgedrukte letters worden door dit principe geschraagd.

2. Of de onderzoeker kiest om na elke vraag een verbinding met de server op te zetten (het antwoord op de vraag wordt teruggezonden en een nieuwe vraag wordt vervolgens vanuit de server aan de respondent voorgelegd) of hij beter kiest voor een eenmalige verbinding waarbij op het einde van de vragenlijst alle data teruggestuurd worden, is thans nog een onduidelijke kwestie. Beide alternatieven staan in elk geval bloot aan specifieke nadelen. In het eerste geval kan het de respondent veel tijd kosten om telkens heen en weer contacten met de server te leggen (dit is zeker nadelig voor trage internetverbindingen). In het andere geval riskeert de onderzoeker het om met lege handen achter te blijven indien de respondent voor het beëindigen van de vragenlijst afhaakt. Het middenalternatief zou erin bestaan de vragenlijst in te delen in een aantal blokken, zodat de transfers tussen respondent en de server eerder gering zijn en de onderzoeker toch nog antwoorden van de respondent heeft ontvangen, zelf als deze laatste de vragenlijst niet helemaal tot het einde invult. Deze aanbeveling werd ook goed gevolgd bij het onderzoek naar milieubewustzijn. Het totaal van 45 vragen werd onderverdeeld in zes vragenblokken. Nadat de respondent een blok had afgewerkt, werd telkens een verbinden met de server gemaakt om de gegeven antwoorden op te slaan en een nieuw blanco vragenblok naar de respondent te sturen.

3. Teneinde zich ervan te verzekeren dat de respondent alle informatie van de vraag opneemt, is het aan te raden om de vraag zo kort mogelijk te houden. Bovendien is het om technische redenen ook goed om vragen niet te lang te maken. Afhankelijk van de instellingen van de browser van de webrespondent worden zinnen al dan niet afgekapt aan het rechtse eind van het scherm. Lange zinnen lopen zo het risico om buiten het computerscherm van de gebruiker te verdwijnen. Daarom geniet het werken met tabellen de voorkeur. Deze tabellen kunnen zo worden ingesteld dat ze voor elk beeldscherm in dezelfde weergave resulteren.

4. Een respondent dwingen om te antwoorden is wel technisch haalbaar, maar daarom niet aanvaardbaar. Als je hem of haar dwingt te antwoorden, tegen de wil in en om welke reden dan ook, kan dit aanleiding geven om met de enquête te stoppen.

5. Een respondent die een postenquête invult heeft vaak een goede indicator die aangeeft hoe lang de vragenlijst nog zal duren. Hij of zij hoeft alleen maar de resterende pagina’s te tellen. Bij websurveys kan dit een probleem zijn. Zo kan het gebeuren dat de respondent het opgeeft, net voor hij of zij enkel nog de laatste vraag moest beantwoorden. Een oplossing kan erin bestaan om een indicator in te bouwen. Bij websurveys waar de ganse vragenlijst in zijn geheel op het scherm verschijnt, dient de scroll-bar als indicator. In andere gevallen kan er een indicator worden geprogrammeerd. De effecten van deze indicator zijn niet eenduidig.

6. Doorverwijzingen. Zoals bij websurveys wel meer het geval is, is het ook hier weer een moeilijke zaak om ‘do’s’ en ‘don’t’s’ van elkaar te onderscheiden. Hoger werd al aangegeven dat de onderzoeker bij een websurvey elke vraag of elk item afzonderlijk naar de respondent kan sturen, waarna elk antwoord ook afzonderlijk terug naar de server gestuurd wordt. Het voordeel van dit systeem is dat daardoor het doorverwijzingsysteem achter de schermen opereert en de respondent zich hier dus niet mee moet inlaten. Maar anderzijds werd aangegeven dat dit voor de respondent een tijdsintensieve bezigheid kan zijn, aangezien telkens informatie heen en weer tussen server en computer moet worden gestuurd. Bovendien vergt dit laatste systeem ook intensiever programmeerwerk omdat het systeem er ook op moet voorzien zijn om bij een niet-substantieel of geen antwoord een volgende vraag te kunnen aanbieden. In het andere geval, indien de vragenlijst in zijn geheel of minstens in grote blokken aan de respondent wordt toevertrouwd, volgt de doorverwijzingproblematiek dezelfde logica als de postenquête. Nu moet de respondent er immers een taak bijnemen. De onderzoeker kan hem of haar hier het best bij helpen door de doorverwijzingen duidelijk aan te geven. Anderzijds kunnen doorverwijzingen hinderlijk zijn voor respondenten die de doorverwijzingen niet moeten volgen. Het moge duidelijk zijn dat het laatste woord over de doorverwijzingkwestie nog niet is gezegd.

7. Antwoordmogelijkheden worden best onder elkaar gepresenteerd. Indien dit niet kan moet men ze toch op een zinvolle manier groeperen, om te vermijden dat de respondent te veel aandacht aan de linkse categorie schenkt. Werken met compacte matrices is niet altijd een aanrader. Niet alle respondenten zijn daar even vaardig in, met alle gevolgen voor de responsgraad van dien. Met betrekking tot het satisficing-probleem is het aangeraden om de respondent niet te vragen items aan te duiden die voor hem of haar van toepassing zijn (bijvoorbeeld uit een relatief lange lijst van items). Het gevaar bestaat dat er een primacy effect optreedt en de eerste items uit de lijst ten onrechte meer worden aangeduid dan de latere items. Beter is dus om elk item afzonderlijk te bevragen. Cognitief moeilijkere taken zoals het selecteren van drie items uit een lange lijst of de vraag ‘Hoeveel procent van uw vrije tijd spendeert u aan welke bezigheden? Zorg dat het totaal 100% bedraagt.’ kunnen voor moeilijkheden zorgen. Al deze problemen zijn uiteraard vooral van toepassing voor schriftelijke vragenlijsten.

8. Dat websurveys technisch een grote voorsprong hebben op hun postvariant, betekent geenszins dat dit noodzakelijkerwijs ook voordelen zou opleveren. Eerder werd al aangegeven dat de gebruiksvriendelijkheid van een survey voorop staat. Het overladen van websurveys met video- of geluidsfragmenten is dus geen aanrader indien men niet wil riskeren dat een deel van de respondenten de vragenlijst niet kan openen.

Om de evaluatie met betrekking tot de geregistreerde antwoorden van het onderzoek naar milieubewustzijn zinvol te maken, is het met andere woorden raadzaam om de ‘unimode construction’ van de vragenlijsten als uitgangspunt te nemen. Zoniet zijn de eventuele verschillen tussen de modi van dataverzameling niet zuiver genoeg om van echte modus-effecten te kunnen spreken. Indien de vragenlijsten van de verschillende modi echter op een verschillende manier zijn opgesteld, wordt het moeilijk te achterhalen of eventuele verschillen in antwoordpatronen ook echt te wijten zijn aan verschillen inherent aan de modi. Het zal dus zaak zijn alvorens met de evaluatie van de geregistreerde antwoorden van start te gaan, eerst een evaluatie te maken van de vragenlijsten met het oog op de ‘unimode construction’ ervan.

Een blik op de verschillende vragenlijsten leert dat behoorlijk goed is voldaan aan de eisen van de ‘unimode construction’. Telkens is dezelfde volgorde van de vragen en de antwoorden gerespecteerd. Ook het uitzicht van de vragen en antwoormogelijkheden is telkens quasi identiek. Het enige noemenswaardige verschilpunt tussen de vragenlijsten is de expliciete ‘geen mening’-filter. Deze filter is niet expliciet aangeboden in de face-to-face modus voor de concepten economisch conservatisme, utilitair individualisme, culturele affiliatie en milieubesef. In de vragenlijsten van de post- en de webmodus is dit wel het geval. Een tweede afwijking van de raad tot uniformiteit is te vinden in de webvragenlijst. De antwoordmogelijkheden bij de vragen die pijlen naar de betrokkenheid op bepaalde maatschappelijke thema’s, stellingen in verband met het onderscheid naar materialisme/postmaterialisme en de tewerkstellingsector en het inkomen van vader en moeder werden hier weergegeven in de vorm van een selecteermenu. Deze menu’s houden de antwoordmogelijkheden onzichtbaar totdat de respondent het menu aanklikt met de muis. De postvragenlijst en de andere vragen uit de webvragenlijst maakte gebruik van ‘radio-buttons’. Dit zijn kleine cirkelvormige invoerelementen die, wanneer men er op klikt, het gekozen antwoord aangeven. Uiteraard volstond het voor de respondenten uit de postmodus om deze ‘radio-buttons’ met een pen of een potlood aan te kruisen. De mondelinge modus maakte gebruik van antwoordkaartjes waar de antwoormogelijk op vermeld waren. Het was vervolgens aan de interviewer om de antwoorden te coderen op een vragenlijst die sterk gelijkt op die van de postsurvey.

Het correct toepassen van de raadgevingen inzake uniformiteit van de vragenlijstconstructie maakt een grondige procesevaluatie van de geregistreerde antwoorden ietwat overbodig. Daarom zullen de gevolgen van het al dan niet opnemen van de expliciete ‘geen mening’-filter opgenomen worden in hoofdstuk drie, de evaluatie van de geregistreerde antwoorden.

Deze bijdrage behandelt een evaluatie van een mixed mode survey design aan de hand van onderzoek naar milieubewustzijn bij studenten eerste kandidatuur. In dit hoofdstuk zal de evaluatie van de gerealiseerde steekproef aan bod komen.

Concreet wordt aandacht geschonken aan een drietal problemen. Ten eerste is er de totale respons. Deze wordt vergeleken per onderzoeksmodus. Ter herinnering: het design waarvan hier sprake is bestaat uit een web- en postsurvey waarvan een steekproef van de weigeraars werd opgevangen door een face-to-face luik. Ten tweede wordt de systematische uitval van de post- en websurvey behandeld. Daar zal voornamelijk worden gekeken naar achtergrondkenmerken van respondenten zoals geslacht of de faculteit waaraan men studeert. Ook zou het internetgebruik een rol kunnen spelen met betrekking tot de deelname aan de websurvey. Op de derde plaats zal ook aandacht geschonken worden aan inhoudelijke afwijkingen. Komt milieubesef meer voor bij respondenten uit de eerste fase van de dataverzameling? Deze drie problemen worden steeds ingeleid aan de hand van gegevens uit de onderzoeksliteratuur.

Over het algemeen zijn de responsgraden voor elektronische bevragingen kleiner dan traditionele surveys met pen en papier, hoewel er nauwelijks sprake is van consistentie op dit gebied. Dit valt ook nauwelijks te verwonderen aangezien de toegang tot het wereldwijde web voortdurend verandert (Yun, 2000; Sax, Gilmartin, Bryant, 2001).

De responsgraden van de twee startmodi voor het onderzoek naar milieubewustzijn bij studenten zijn weergegeven in tabel 2. Zowel de post- als de webvariant scoren hoog wat betreft respons. De webrespons is zelfs opvallend hoog in vergelijking met een gelijkaardig Amerikaans onderzoek eveneens bij studenten (53,56% t.o.v. 27%). Ook in vergelijking met de websurvey bij Leuvense studenten over hetzelfde onderwerp van een jaar eerder is er een stijging merkbaar (53,56% t.o.v. 46,5%). Deze stijging zou zijn oorsprong kunnen vinden in de toegenomen penetratiegraad en gebruiksintensiteit van informatica en internet in de leefwereld van de student. Dit zorgt ervoor dat de websurvey qua respons dicht bij de postsurvey aanleunt.

Tabel 2: Overzicht van de respons van de web-en de postsurvey voor het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Tabel 3 bericht over de bijdrage van de tweede stap in de procedure van dataverzameling (namelijk de face-to-face bevraging) naargelang de startmodus. In deze tweede stap werden de weigeraars van de eerste fase opgevangen. Dit geldt voor alle 231 weigeraars van de postenquête en 279 van de 349 weigeraars van de webenquête. 70 weigeraars werden dus niet meer opgevolgd. Deze selectie gebeurde aselect.

Tabel 3: Resultaat van contacten met weigeraars van post- en websurveys tijdens face-to-face fase bij het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Deze tabel leert dat de verschillen in bijdrage aan de respons van face-to-face interviews tussen web- en postsurveys miniem zijn (chi²= 5,81; df= 3; p= 0,1208). Mogelijk is het uitblijven van een duidelijk verschil te verklaren door de reeds hoge respons op de websurvey uit de eerste fase van het onderzoek. In elk geval is het de face-to-face modus die de beste responscijfers kan voorleggen. Zelfs indien een weigerachtig publiek wordt aangesproken om deel te nemen aan de mondelinge vragenronde, wordt een respons van 70% to 75% gerealiseerd.

Er wordt vastgesteld dat de verwachte verschillen tussen de post- en webmodus eerder gering zijn, alleszins wat de responsgraden betreft. Bijgevolg zal de meerwaarde van de volgende stap in het mixed mode opzet (in dit geval een face-to-face luik) voor beide modi ook meer vergelijkbaar zijn. Voor de postsurvey werd vastgesteld dat, nadat de weigeraars werden opgevangen via een face-to-face bevraging, een totale responsgraad van 85% werd bereikt. Aangezien niet alle weigeraars van de webvariant werden opgevolgd in het face-to-face luik, vergt de berekening van de totale responsgraad hier enige voorzichtigheid. Van de 279 geselecteerde weigeraars van de webmodus, toonden er 209 zich bereidwillig mee te werken aan het face-to-face interview. Dit is een respons van nagnoeg 75%. Indien de 70 niet-geselecteerde weigeraars uit de webmodus wèl geselecteerd zouden zijn voor het face-to-face luik, kan verwacht worden dat van deze niet-geselecteerde elementen ook 75% meewerkte. Dit brengt het totaal aantal weigeraars uit de webmodus die zouden deelgenomen hebben aan de mondelinge opvolging op 262 eenheden. Bovendien werden de respondenten uit de webmodus die slechts de vragenlijst partieel invulden niet meer opgevolgd. Van deze 68 eenheden kan eveneens verwacht worden dat 75% zou deelnemen aan de mondelinge fase. Het eindresultaat is een geschatte responsgraad van 88% bij het web als vertrekmodus na de mondelinge opvolging.

Samengevat kan gesteld worden dat in de eerste fase van dataverzameling de postsurvey beter scoort dan de webvariant (63,5% t.o.v. 53,5%). In de tweede fase echter, wordt de achterstand die de websurvey had opgelopen, weer goedgemaakt door de face-to-face modus. Hierbij dient wel verondersteld te worden dat de 70 niet-geselecteerde weigeraars en de 68 partieel ingevulde vragenlijsten uit de webconditie wel werden opgenomen in de face-to-face modus.

Stilaan wordt duidelijk dat het mixed-mode design een bevredigende respons haalt. De beide vertrekmodi vertonen een nagenoeg identiek eindresultaat van ongeveer 85% respons na face-to-face opvolging. Dit wil echter niet zeggen dat het proces waarbij de respons tot stand komt ook identiek is. In de eerste fase van dataverzameling preseteert de webmodus minder goed dan de postvariant. Deze achterstand wordt dan weer goedgemaakt in de tweede fase van dataverzameling. Aangezien de respons van de mondelinge fase van het onderzoek hoger ligt dan de twee schrifttelijke modi, kan verwacht worden dat de totaal gerealiseerde respons hoger zou liggen wanneer alleen mondelinge interviews werden ingezet voor de dataverzameling. Het mixed mode design bereikt dus een suboptimaal resultaat op het gebied van de gerealiseerde steekproef. Dit hoeft niet meteen als nadelig beschouwd worden. Het inzetten van de twee schriftelijke modi van dataverzameling levert wellicht een besparing van tijd en kosten op. Met name de responssnelheid komt in de volgende paragraaf aan bod.

In verband met de behaalde respons blijkt de postmodus het beter te doen dan de webmodus. Indien men de snelheid in acht neemt waarmee respondenten hun vragenlijst afwerken en terugsturen zal naar alle waarschijnlijkheid een omgekeerde vaststelling gedaan worden (Verbelen e.a., 2002, pp. 5-6; Schaefer & Dillman, 1998, pp. 389-390; Kwak e.a., 2002, pp. 258-259; Schuldt & Totten, 1994, pp. 36-39; Weible & Wallace, 1998, 10-25). Enerzijds wordt de tijd voor het verzenden van de vragenlijst van de onderzoeker naar de respondent en omgekeerd tot een minimum gereduceerd in de webmodus. Anderzijds vraagt het verzenden van de webvragenlijst minder inspanningen aan de respondent. Een simpele klik op de ‘verzenden’-knop is voldoende. Een postsurvey vraagt meer van de respondent, zoals de envelop dichtkleven en naar de brievenbus lopen. Ook de verzending zelf kan enige tijd in beslag nemen.

De verwachting dat websurveys sneller worden beantwoord dan postsurveys, kan bevestigd worden door het onderzoek naar milieubesef[2]. Na 24 uur werd reeds de helft van de totale webrespons gerealiseerd. Voor de postsurvey was het hiervoor 13 dagen wachten. Figuur 2 toont dat in de eerste dagen na de lancering van de websurvey de respons zeer snel toeneemt. Na ongeveer zeven dagen is reeds 39% van het steekproefkader gerealiseerd. Op dat moment werd een herinneringsmail gestuurd naar de studenten die de webvragenlijst nog niet hadden teruggestuurd. Vanaf dat moment is duidelijk een toemame te zien van de respons. Wat betreft de postsurvey is het moeilijk uit te maken welke momenten belangrijk zijn in het verloop van de responsgraad over de tijd. Als storend element kan wellicht aangevoerd worden dat de registratie van de binnengekomen vragenlijsten manuele arbeid vergt. Dit verklaart waarom er na 18 dagen plots geen nieuwe vragenlijsten meer binnenlopen. De kerstperiode die omstreeks die periode aanvatte, is wellicht de reden. Dat er geen postbediening is in het weekend is ook af te lezen in de figuur. Op dag vier en vijf na de lancering van de postvragenlijst stagneert de respons. Het is niet toevallig dat deze juist een zaterdag en een zondag zijn. Een week later is opnieuw hetzelfde plateau te zien. Dertien dagen na de aanvang van de postsurvey werd een herinneringsbrief naar de betrokken studenten gestuurd. Omwille van de reeds aangehaalde kerstperiode is het effect van deze herinnering moeilijk uit de figuur af te leiden.

Figuur 2: Evolutie van de respons van de post- en webmodus doorheen de tijd voor het onderzoek naar milieubewustzijn bij eerstejaarsstudenten (2001-2002)

De responsgraad is geen volwaardige indicator voor de kwaliteit van de gerealiseerde steekproef. Uitval is trouwens zelden toevallig. Met betrekking tot het verschil tussen web- en postsurveys leert onderzoek dat socio-demografische variabelen van belang zijn in het gebruik van nieuwe technologieën. Gebruikers van het internet zouden bijvoorbeeld rijker, jonger en hoger opgeleid zijn dan niet-gebruikers. (Dillman, e.a., s.d., p. 26; Kwak, e.a., 2002, p. 259). Ander onderzoek geeft aan dat mannen, stedelingen en blanken het meest toegang hebben tot het internet (Wilson, Wallin & Reiser, 2003, 133-143).

In het onderzoek naar milieubewustzijn is de enige noemenswaardige achtergrondvariabele gender, naast studierichting. Deze variabele verdient dan ook extra aandacht. Onderzoekers veronderstellen dat de genderkloof (mannen zijn gretiger internauten) het gevolg is van culturele stereotypen die aangeven dat computers en internet (of technologie in het algemeen) een mannenzaak zijn (Wilson e.a., 2003). Geavanceerde technologie is een kwestie van voornamelijk mannelijke waarden. Dit leidt ertoe dat wanneer vrouwen zich op het wereldwijde web wagen, zij geconfronteerd worden met software en websites die niet naar hun behoeften en interesses ontworpen zijn. Nochtans bestaan er aanwijzingen dat de genderkloof op dit gebied gedicht wordt (Lin, 1998). Anno 2001 bedraagt de penetratiegraad voor het internet in de Verenigde Staten voor beide geslachten ongeveer 54%, terwijl vier jaar eerder ongeveer 25% van de mannen op internet surfte tegenover 20% vrouwen (NTIA, 2002). Dit laatste handelt enkel over het al dan niet gebruiken van internet. Diepgaander onderzoek leert dat vrouwen meer geneigd zijn het internet te gebruiken om op zoek te gaan naar thema’s die verband houden met religie, tewerkstelling en gezondheid. Mannen daarentegen zijn als internauten meer geïnteresseerd in actualiteit (Monière, 2002, pp. 38-39). Mannen zouden het internet ook intensiever gebruiken dan vrouwen, hoewel de penetratiegraad dezelfde is (Kwak e.a., 2002).

Niet alleen zijn er verschillen te verwachten tussen internetgebruikers en niet-gebruikers, ook onderling kunnen er tussen internetgebruikers nuances worden aangebracht wat responsgedrag betreft. Zo verwachten Kwak e.a. (2002, p. 259) dat sommige groepen van internetgebruikers gemakkelijker zullen deelnemen aan websurveys dan aan postsurveys. Over het algemeen wordt aangenomen dat resultaten tussen web- en postsurveys niet verschillen, hoewel er wel verschillen in respondentprofiel tussen respondenten en niet-respondenten van websurveys vast te stellen zijn (Thorpe, 2002). Heel wat onderzoek hieromtrent gebeurde bij universiteitstudenten. Studies over systematische uitval bij websurveys vertonen uiteenlopende resultaten (Sax, e.a., 2001). Over het algemeen zijn mannen meer dan vrouwen geneigd om deel te nemen aan websurveys. Ook binnen studentenpopulaties is dit niet anders, uiteraard rekening houdend met de nodige uitzonderingen. Naar aanleiding van hun onderzoek naar tevredenheid van studenten rapporteren Tomsic, Hendel en Matross (2000) een responsgraad voor mannelijke studenten van 22,7% en 8,8% voor hun vrouwelijke collega’s. Aangezien twee jaar voordien dezelfde survey georganiseerd werd, konden de auteurs besluiten dat voor zowel mannen als vrouwen, de responsgraden in deze tijdspanne verdubbeld waren. In dezelfde lijn liggen de resultaten van Forsman en Varedian (2002). Zij bevonden gender significant verschillend tussen web- en postsurveys, waarbij het webalternatief vooral mannen aantrok en de postvariant vooral vrouwen. Terzelfdertijd rapporteren andere auteurs dan weer tegengestelde resultaten. Een evaluatie van vakken door studenten middels een websurvey werd significant meer afgelegd door vrouwen dan mannen (Thorpe, 2002, p. 4).

Specifiek Vlaams onderzoek over deze genderthematiek is terug te vinden bij Broos en Roe (2002). Zij stellen dat mannen gemakkelijker toegang hebben tot nieuwe media zoals het internet. Ook de frequentie waarmee mannen surfen en e-mailen ligt hoger dan bij vrouwen. Verder hebben mannen meer positieve attitudes ten aanzien van deze nieuwe media, terwijl vrouwen hier tegenover meer gevoelens van angst hebben. Dat de genderkloof in Vlaanderen zou krimpen kon niet bevestigd worden.

Naast gender zijn er nog achtergrondkenmerken die samenhangen met het al dan niet deelnemen aan web- of postsurveys binnen studentenpopulaties. Studierichting is daar één van. De studenten exacte wetenschappen of technologie hebben meer kans om deel te nemen aan een websurvey (Sax, e.a., 2001; Tomsic e.a., 2000). Ook zal het vertrouwen dat de respondent in het onderzoek en de anonimiteit ervan stelt bepalend kunnen zijn (Thorpe, 2002. p 1). Vooral bij surveys middels e-mail bestaat het gevaar dat de respondent de vertrouwelijkheid gaat betwijfelen (Dillman, 2000, p. 369).

Een eerste manier om na te gaan of er een systematische uitval is met betrekking tot het verschil tussen post- en websurveys, kan aan de hand van gegevens uit het steekproefkader. De gegevens met betrekking tot milieubewustzijn bij studenten zijn in dit opzicht eerder beperkt. Variabelen als leeftijd en opleidingsniveau zijn hier voor alle respondenten nagenoeg gelijk. Alleen de faculteit waaraan men studeert en het geslacht van de respondenten kunnen hier worden opgenomen.

Van de 900 geselecteerde kandidaat-respondenten voor de web- en de 750 kandidaat-respondenten voor de postsurvey zijn de gegevens over de faculteit waaraan men studeert beschikbaar. Deze 1650 kandidaten kunnen beschouwd worden als de pilootbevolking waaraan de gerealiseerde steekproef kan getoetst worden. Voor de websurvey geeft tabel 4 hiervan een overzicht. Indien men alleen de websurvey in beschouwing neemt stelt men vast dat sommige faculteiten oververtegenwoordigd zijn zoals Godgeleerdheid, Economie, Psychologie en Pedagogische Wetenschappen en Sociale Wetenschappen. Rechten, Geneeskunde en Lichamelijke Opvoeding en Kinesitherapie zijn daarentegen ondervertegenwoordigd. Een chi²-waarde van 29,76 en 12 vrijheidsgraden onthult dat de nulhypothese verworpen dient te worden. De gerealiseerde websurvey is bijgevolg niet representatief naar de faculteit waaraan men studeert. Als mogelijke verklaring voor deze verschillen kan gedacht worden aan de vertrouwdheid met internet en computers naargelang de faculteit (Verbelen, e.a, 2001, pp. 20-21).

Tabel 4: Representativiteit naar faculteit voor de websurvey[3] in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

De tweede fase van het onderzoek gebeurde aan de hand van een mondeling interview. Het is daarbij zaak na te gaan in hoeverre de afwijking met betrekking tot de websurvey wordt gecompenseerd door deze mondeling modus van dataverzameling. De chi²-waarde daalt tot onder de kritische waarde waarbij de nulhypothese moet verworpen worden. De enige noemenswaardige faculteit die afwijkt van het steekproefkader is Lichamelijke Opvoeding en Kinesitherapie, zij het met een minieme afwijking. Er kan dus besloten worden dat de mondelinge modus van dataverzameling een corrigerend effect heeft op de representativiteit naar de faculteit waaraan de student studeert. Dit is bijvoorbeeld te zien bij de faculteit Rechten of Economie waar de verschillen tussen verwachte en gerealiseerde steekproef slechts toevalsfluctuaties zijn geworden.

Deze analyse kan ook voor de kandidaat-respondenten voor de postmodus gemaakt worden. Tabel 5 is daar de neerslag van.

Tabel 5: Representativiteit naar faculteit voor de postsurvey in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Over het algemeen is de postsurvey representatief naar faculteit hoewel men kan inbrengen dat de faculteit Wetenschappen ondervertegenwoordigd is, terwijl de faculteit Psychologie en Pedagogische Wetenschappen oververtegenwoordigd is. Net zoals bij de webvariant worden ook deze verschillen na tussenkomst van de mondelinge modus nog verder gereduceerd.

Net zoals bij het testen van de representativiteit naar faculteit, kan ook worden nagegaan of de verdeling van geslacht over de modi van dataverzameling een getrouwe weerspiegeling is van het steekproefkader. Hiervoor zijn echter alleen geaggregeerde gegevens voorradig. 54,57% van de studenten uit het steekproefkader zouden vrouwen zijn[4]. Zowel de gerealiseerde steekproeven van de post[5]- als van de websurvey[6] verschillen enkel van dit steekproefkader door toevalsfouten. De postsurvey telt 55,97% vrouwen, 56,85% van de webrespondenten zijn vrouw. Ook na tussenkomst van de mondelinge modus blijven deze proporties gerespecteerd. 57,16% van de web[7]- en 53,45% van de postsurvey[8] zijn vrouwelijke studenten.

Tot hiertoe werd de meeste aandacht geschonken aan responsgraad en aan systematische uitval. Dit laatste gebeurt vaak aan de hand van achtergrondkenmerken van respondenten. Deze ‘onafhankelijke’ variabelen zijn doorgaans gemakkelijk te vinden, maar ze zijn meestal niet direct relevant voor de gevoerde studie. De verdeling van de kenmerken van de onderzoekspopulatie die het sterkst aan het onderzoeksthema kunnen gekoppeld worden, zijn doorgaans de ‘afhankelijke’ variabelen, of beter gezegd, de onbekende variabelen waarvoor juist het onderzoek wordt opgezet. Het is dus meestal onmogelijk om respondenten en niet-respondenten te vergelijken op basis van precies die variabelen waarin het onderzoek geïnteresseerd is (Dillman, 1991, p. 229). Het gevolg hiervan is dat de onderzoeker eventuele fouten met betrekking tot systematische uitval enkel kan corrigeren op basis van de socio-demografische variabelen waarover hij of zij informatie heeft (bijvoorbeeld uit het steekproefkader). Daarbij wordt wel verondersteld dat de bereidheid tot medewerking van de respondent niet correleert met zijn of haar antwoorden op inhoudelijke survey-vragen of dat weigeraars dezelfde antwoorden zouden geven als deelnemers, onder controle van bovengenoemde socio-demografische variabelen. Beschikbare gegevens hieromtrent laten verstaan dat deze assumptie niet houdbaar is. Interesse in het onderwerp van onderzoek kan de kans op deelname verhogen (Dillman, 1991, p. 239). Hetzelfde geldt voor de betrokkenheid op het onderwerp (Van Goor, Stuiver, 1998, p. 482). Ook attitudes van respondenten verschillen vaak van deze van niet-respondenten. Respondenten hebben sterkere en gunstigere opinies dan weigeraars (Pearl, Fairly, 1985, pp. 553-560). Respondenten en niet-respondenten kunnen ook verschillen in gedrag. Onderzoek terzake geeft aan dat succesvolle individuen makkelijker deelnemen aan een survey. Minder succesvolle individuen beschouwen surveys vaak als bedreigend, hetgeen hen niet meteen tot deelname aanzet (O’Neill, 1979, pp. 218-232).

De vaststelling dat ook inhoudelijke variabelen systematisch verschillen is niet meteen van belang voor het verschil tussen post- en websurveys, maar wel voor de sequentiële aanpak in mixed mode designs. Zo zou kunnen verwacht worden dat in de eerste fase van dataverzameling (post en web) de meest geïnteresseerde studenten respondent zijn, terwijl in de tweede fase de eerder weigerachtigen aan bod komen.

Het voorgaande maakte al duidelijk dat uitval niet zomaar toevallig is. De vraag die we dan kunnen stellen luidt of bepaalde profielen van respondenten meer kans maken om deel te nemen aan een post- of websurvey.

Indien er helemaal niets is geweten over de non-respondenten, kan men ze nog een laatste kort interview voorleggen. Het onderzoek naar milieubewustzijn kent een tweede fase van dataverzameling die werd opgestart na de fase waarbij post- en websurvey werden ingezet. Die tweede fase gebeurde door face-to-face interviews, wat ook het opzet was in het kader van het mixed mode design. Welnu, deze interviews kunnen gezien worden als een tweede contact met de weigeraars van de eerste fase.

Om te bepalen welke factoren bijdragen tot het al dan niet deelnemen aan de survey (opgesplitst naar web en post), zal gewerkt worden met een logistisch regressiemodel. In zulke modellen is de afhankelijke variabele een dichotomie. In het geval van het onderzoek naar milieubewustzijn kan gewerkt worden met twee logistische regressiemodellen die het al dan niet deelnemen aan de websurvey of de postsurvey trachten in te schatten aan de hand van onafhankelijke variabelen. Dit opzet komt tegemoet aan de hoger aangehaalde onderzoeksvragen. Ten eerste kunnen de twee modellen naast elkaar gelegd worden om na te gaan of er verschillen bestaan in responsprofielen tussen de web- en de postsurvey. Daarenboven wordt ook inzicht verworven in de verschillen tussen respondenten en weigeraars (in dit geval de deelnemers van de mondelinge modus). Zowel in het onderzoek van Sax e.a. (2001) als bij Romano en Himmelman (2002) wordt dezelfde methode ingezet. In beide gevallen was het de bedoeling om de kans te modelleren die inschat of studenten zouden meewerken aan een web- en/of postonderzoek.

Wat de onafhankelijke variabelen betreft wordt hierna een kort overzicht geboden. Niet alle variabelen die in het literatuuroverzicht werden aangehaald zullen in de analyse worden opgenomen. Zo is leeftijd een afwezige in het onderzoek naar milieubesef. De onafhankelijke variabelen die zullen gebruikt worden zijn het geslacht van de student (als proxi-variabele van gender), het opleidingsniveau van de ouders en de groep waaraan de student studeert en frequentie waarmee men zijn of haar studenten-e-mailadres raadpleegt. Deze variabelen worden aangevuld met de inhoudelijke variabele milieubesef. Tabel 6 geeft de resultaten van deze twee logistische regressiemodellen weer. Merk op dat alleen de groep waaraan men studeert de enige variabele is die rechtstreeks uit de gegevens van het steekproefkader komt. De overige variabelen zijn bevraagd in de drie modi van dataverzameling. Dit laatste heeft tot gevolg dat van weigeraars van de mondelinge modus geen informatie beschikbaar is en deze dus ook niet zijn opgenomen in de analyse. Ook de partieel ingevulde vragenlijsten van de webmodus zijn in de analyse buiten beschouwing gelaten.

Tabel 6: Parameterschattingen[9] voor web- en postdeelname naar gender, opleiding ouders, groep waaraan men studeert, frequentie waarmee men e-mails controleert en mate van milieubesef in het onderzoek naar milieubesef bij Leuvense eerstejaarsstudenten (2001-2002)

Op basis van deze gegevens kan gesteld worden dat humane wetenschappen de meeste kans maken op een deelname aan de websurvey in vergelijking met biomedische wetenschappen. Exacte wetenschappen houden het midden. Het opleidingsniveau van de ouders werd niet significant bevonden. Van het grootste belang is de frequentie waarmee men op zijn of haar K.U.L.-e-mailadres controleert. De postsurvey kent geen verschillen in achtergrondkenmerken tussen deelnemers en weigeraars.

Het geslacht van de respondent blijkt uit deze analyse niet van belang te zijn voor web- of postdeelname. Ook toen de representativiteit naar geslacht van beide surveys werd nagegaan, kwam dit al tot uiting (zie supra). Hoewel qua webdeelname geen genderverschillen te constateren zijn, zijn er toch verschillen tussen mannen en vrouwen te constateren aangaande de manier waarop zij met het internet omgaan. Zo surft de helft van de ondervraagde mannelijke studenten dagelijks op het internet, voor vrouwen geldt hier slechts 31%. Minder dan één procent van zowel mannen als vrouwen zegt nooit op het internet te surfen. Dit laatste ondersteunt de hypothese dat de penetratiegraad van internetgebruik niet verschilt tussen mannen en vrouwen. De intensiteit daarentegen is wel genderspecifiek.

Wat de deelname aan de web- en de postenquête betreft, kan gesteld worden dat hiermee voornamelijk een hoge mate van milieubesef samenhangt. Dit laatste verdient extra aandacht. De hypothese komt erop neer dat weigeraars minder minder geneigd zijn antwoorden te geven die getuigen van meer milieubesef (zie supra). In wat volgt worden een tweetal testen uitgevoerd om na te gaan of deze hypothese verder kan ondersteund worden, aangezien het niet onmiddellijk duidelijk is of deze verschillen het gevolg van de niet-deelname aan de eerste fase van het onderzoek enerzijds, of het gevolg zijn van modus-effecten anderzijds. Dit laatste wijst op een effect als gevolg van het onderscheid tussen schriftelijke en mondelinge modi van dataverzameling.

In de mondelinge vragenlijst werd aan de respondenten gevraagd of zij de uitnodiging voor de post- of websurvey hadden gelezen. Degenen die dit niet hadden gedaan, kwamen als het ware tijdens de face-to-face bevraging voor het eerst in contact met de vragenlijst. Het kan dus betwijfeld worden of deze respondenten ook echt als weigeraars kunnen beschouwd worden. Indien deze groep antwoorden geeft die meer blijk geven van milieubesef dan de groep respondenten die de introductie wel hadden gelezen maar niet reageerde, kan de bovengenoemde hypothese dat weigeraars minder milieubewust zijn dan deelnemers ondersteund worden. Zoniet kan er een modus-effect actief zijn die aan de basis van de vastgestelde verschillen ligt. Uit de gegevens blijkt dat respondenten uit de mondelinge modus die de uitnodiging tot deelname aan de web- of de postenquête niet hadden gelezen niet significant verschillen van de respondenten die de uitnodiging wel lazen[13]. De criticus kan hier echter wel opmerken dat de vraag in verband met het lezen van de introductiebrief zou vertekend kunnen zijn door sociale wenselijkheid. Deze kritiek ontkrachten is uiteraard niet mogelijk bij gebrek aan bijkomende gegevens. Het dient echter wel gezegd dat van de 370 respondenten uit de mondelinge modus 198 elementen (53,51%) toegaven dat ze zich konden herinneren dat ze de uitnodiging wel hadden geopend, maar niet waren overgegaan tot de deelname aan één van de twee schriftelijke surveys.

Indien men er van uitgaat dat trage respondenten antwoorden geven die dichter aanleunen bij de antwoorden van weigeraars (Lauwereysen, e.a., 2000, Billiet, 2003, pp. 411-414), kan men nagaan of respondenten die de web- of postsurvey relatief laat terugstuurden, minder gunstig scoren voor milieubesef. Web- en postrespondenten werden daarom telkens in twee groepen ondergebracht. Snelle postrespondenten stuurden hun vragenlijst terug binnen de 13 dagen na de verzending, trage postrespondenten deden er langer dan 13 dagen over. Bij de webrespondenten ligt deze grens op twee dagen. Op die manier werd ervoor gezorgd dat de groep van trage respondenten ongeveer even groot was dan de snelle respondenten. De analyse geeft aan dat zowel voor de web[14]- als voor de postsurvey[15] geen significante verschillen te noteren zijn voor milieubesef tussen trage en snelle respondenten.

Deze resultaten laten vermoeden dat milieubesef als afhankelijke variabele niet verschilt tussen respondenten en weigeraars. Waarom er dan toch een verschil tussen de schriftelijke en de mondelinge modi van dataverzameling wordt vastgesteld voor wat betreft milieubesef wordt verder uitgediept in het hoofdstuk over de evaluatie van de geregistreerde antwoorden (zie infra).

Non-respons is een ernstig en hardnekkig probleem binnen het survey onderzoek. Binnen de analyse van de non-respons zijn een drietal benaderingen van dit probleem te herkennen. Ten eerste zijn er methoden ontworpen om de responsgraad te maximaliseren. Goede voorbeelden hiervan zijn Dillmans Total Design Method (1978) en Tailored Design Method (2000). Ten tweede hebben vele onderzoekers getracht om de mate van systematische uitval te beschrijven. Dit gebeurt dan vooral op basis van socio-demografische variabelen. Deze onafhankelijke variabelen zijn wel relatief gemakkelijk te verkrijgen, maar zijn voor het onderwerp van het onderzoek vaak niet het meest relevant. Daarom valt ook de aandacht op een derde benadering van non-respons. Deze laatste wordt gekenmerkt door de vergelijking van de afhankelijke variabelen van het onderzoek tussen respondenten en non-respondenten.

In deze analyse werd aandacht geschonken aan deze drie invalshoeken. Wat de globale respons betreft, kan - zij het met enige mate van voorzichtigheid - gesteld worden dat de postsurvey (64%) het nog altijd beter doet dan het webalternatief (54%), hoewel de afstand tussen beide steeds geringer blijkt te worden. Face-to-face interview overtreffen de schriftelijke modi op dit gebied met een responsgraad van 70% tot 75%. De verdienste van de mondelinge survey in dit sequentieel mixed mode survey design is dat het de weigeraars van de eerste fase van dataverzameling opvangt en zo de totale responsgraad op ongeveer 85% weet te brengen. Websurveys mogen dan wel minder respons opleveren, ze zijn ongetwijfeld veel sneller in dataverzameling dan de postsurvey. Vooral de eerste twee dagen na het lanceren van de websurvey werd reeds de helft van de totale webrespons gerealiseerd. De postsurvey had hiervoor 13 dagen nodig.

De vergelijking van respondenten met niet-respondenten onthulde dat, zoals werd verwacht, in mindere mate de postsurvey maar vooral de websurvey een specifiek publiek aantrekken. Zo werd vastgesteld dat webrespondenten met meer regelmaat de e-mails controleren. Ook de faculteiten waaraan de respondenten studeren blijken niet in verhouding over de websurvey verdeeld te zijn. Ruw gesteld zijn studenten humane wetenschappen meer geneigd deel te nemen aan de websurvey. Ofschoon er wel genderverschillen werden vastgesteld inzake internetgebruik, had dit geen effect op de deelname aan de websurvey.

In het mixed mode opzet van dit onderzoek was voorzien dat een tweede fase van dataverzameling de weigeraars van de eerste ronde zou opvangen. Dit gebeurde opdat de respons zou verhogen. Maar daarenboven is zulk een strategie ook interessant om na te gaan welke de verschillen zijn tussen respondenten en weigeraars. In eerste instantie werden zulke verschillen vastgesteld met betrekking tot milieubesef. Na diepgaander onderzoek bleek het wellicht niet om een verschil tussen respondenten en weigeraars te gaan, maar meer waarschijnilijk om een modus-effect. Dit zal in het volgende hoofdstuk uitvoeriger aan bod komen.

De oorspronkelijke en voornaamste motivatie om mixed mode designs te gebruiken voor surveys is het verhogen van de responsgraad. De evaluatie van de gerealiseerde steekproef laat zien dat deze motivatie ook gegrond is. Niettemin bestaat de vrees dat dataverzameling door middel van verschillende modi niet steeds vergelijkbare antwoorden van respondenten oplevert. Dit hoofdstuk behandelt dan ook de potentiële meetfouten van een mixed mode opzet.

De stimuli die web-, post-, of face-to-face respondenten moeten verwerken zijn immers niet altijd dezelfde. De verwachting luidt dat de datakwaliteit in het algemeen tussen websurveys en postsurveys weinig verschillen zal vertonen. De stimuli die respondenten in beide gevallen aangereikt krijgen zijn gelijkend. Het gaat voornamelijk om visuele stimuli, waar geen interviewer aan te pas komt. Dat maakt dat er geen face-to-face interactie tussen de actoren plaatsvindt, wat de druk op sociale controle verlaagt. Bovendien beheerst de respondent het antwoordproces bijna volledig. Deze drie categorieën van stimuli zijn uiteraard de tegengestelden van de mondelinge surveys. Hier zijn voornamelijk auditieve prikkels aan de orde, hoewel dit niet noodzakelijk zo hoeft te zijn (zoals het werken met antwoordkaartjes bij face-to-face bevragingen). Verder worden deze prikkels bemiddeld door de interviewer, wat zijn gevolgen heeft voor de sociale druk en het tempo dat in het vraag-antwoordproces wordt gezet (Dillman, 2000, p. 225).

Met een begrip als ‘satisficing’ willen we er tevens de aandacht op vestigen dat respondenten verschillende antwoordstrategieën kunnen aanwenden tijdens het afwerken van de vragenlijst. Individuele bekwaamheid, motivatie en de moeilijkheidsgraad van de te verwerken taak zijn daarbij de factoren die dergelijke antwoordstrategieën kunnen conditioneren. Deze strategieën kunnen variëren naargelang het om een schriftelijke of een mondelinge survey gaat. Bij schriftelijke modi heeft de respondent de controle over de vragenlijst wat hem of haar in staat stelt om het tempo waarmee de vragenlijst wordt afgewerkt zelf te bepalen.

In wat volgt komen achtereenvolgens item non-respons, het geven van extreme antwoorden, de mate van differentatie tussen items, volgzaamheid of acquiescence en sociaal wenselijke antwoorden aan bod. Telkens zal worden nagegaan of deze verschijnselen zich manifesteren en vervolgens, in de mate van de mogelijkheden, geduid worden volgens achtergrondkenmerken van respondenten en volgens de modus van dataverzameling. Daarenboven zal ook aandacht worden geschonken aan de vraagcontext en de vraaginhoud.

Eén van de meest gebruikte criteria om datakwaliteit te evalueren is de item non-respons. Hiervan is sprake wanneer respondenten er niet in slagen het antwoord te geven dat ze verwacht worden te geven. Dit kan een gevolg zijn van het niet optimaal of niet vlot verlopen van het antwoordproces (Loosveldt e.a., 2001, p28). Mogelijke obstakels in dit antwoordproces zijn te moeilijke, te bedreigende of oninteressante vragen. De respondent kan dan zijn toevlucht nemen tot de het ‘weet niet’- of ‘geen mening’-alternatief. Vaak hoort het overslaan van de vraag ook tot de mogelijkheden. Lage item non-respons is bijgevolg vaak een indicator voor goede datakwaliteit (Kwak e.a., 2002, pp. 260-261; Schaefer e.a., 1998, pp. 278-397). Deze laatste redenering is echter niet rechtlijnig. Bij attitude- of opinievragen bestaat het risico dat respondenten zonder mening toch een substantieel antwoord geven indien een ‘geen mening’-filter is ingevoerd, voornamelijk als het om onduidelijke vragen gaat (Krosnick & Fabrigar, 1997, pp. 152-158)

Voor een mixed mode design is het belangrijk na te gaan in hoeverre modi van elkaar verschillen inzake item non-respons. Verschillen inzake item non-respons zouden kunnen worden toegeschreven aan het gemak waarmee de respondent de vragenlijst kan afhandelen (Schaefer e.a., 1998, p. 382). Dit onderstreept het belang van het ontwerp van de vragenlijst. Hoe gebruiksvriendelijker de vragenlijst, hoe minder item non-respons. Dit verklaart waarom er vaak tegenstrijdige resultaten worden bekomen wanneer de responsgraad van items wordt vergeleken tussen web- en postsurveys (Schaefer e.a., 1998, p. 382; Yun e.a., 2000). Sommige onderzoeken stellen dat websurveys hogere item non-respons opleveren dan postsurveys (Bachmann, Elfrink & Vazzana; 1996, p. 33; Sproull, 1986, p. 164). Anderen menen dan weer dat de verschillen op dit gebied in het voordeel van websurveys pleiten (Schaefer e.a., 1998, pp. 388-389; Kwak e.a., 2002, pp. 266-267; Smee & Brennan, 2000). Vaak wordt geargumenteerd dat websurveys een voordeel kunnen boeken dat niet tot de mogelijkheden van schriftelijke surveys behoort. In websurveys kunnen allerlei technische middelen worden ingezet zoals helpfuncties of automatische doorverwijzingen die het de respondent makkelijker maken om de vragenlijst af te werken (Kiesler & Sproul, 1986, p. 405; Schmidt, 1997, pp. 274-279). Deze mogelijkheid tot interactiviteit biedt dus vergelijkbare voordelen zoals die ook voor face-to-face interviews gelden.

Naast gebruiksvriendelijkheid kan ook vertrouwelijkheid worden ingeroepen om item non-respons te duiden. Vooral voor gevoelige vragen over bijvoorbeeld het maandelijks inkomen kan het gepercipieerde vertrouwen in het onderzoek van belang zijn. Daarom wordt verwacht dat surveys die middels het web of e-mails plaatsvinden voor deze gevoelige vragen hogere item non-respons zal worden vastgesteld. Respondenten zijn immers niet in staat om de vragenlijst via het web volledig anoniem terug te sturen (Schaefer e.a., 1998, p. 382). Onderzoek daarentegen wijst uit dat dit probleem eerder bescheiden is (Couper, Blair & Triplet, 1999, pp. 49-51).

Open vragen zouden uitgebreider worden beantwoord in een websurvey dan in een postsurvey (Schaefer e.a., 1998, p. 382; Yun e.a., 2000; Kwak e.a., 2002, p. 266). Antwoorden door middel van een toetsenbord zou vollediger informatie moeten opleveren dan middels pen en papier. Tot nu toe is er een algemene consensus dat post- en webrespondenten even vaak ingaan op een verzoek om een open vraag te beantwoorden, webrespondenten formuleren wel langere antwoorden.

Niet alleen tussen de verschillende modi van dataverzameling zijn er verschillen in item non-respons te verwachten. Aangezien in het onderzoek naar milieubewustzijn gewerkt wordt met een design waarbij weigeraars uit de eerste fase van dataverzameling (post en web) werden opgevangen door een face-to-face bevraging, kan de vraag gesteld worden of weigeraars niet überhaupt meer item non-respons vertonen (Van Goor, e.a., 1998, p. 488). Indien zou blijken dat het face-to-face luik meer item non-respons genereert, wordt het zaak na te gaan of deze is ingegeven door ofwel een moduseffect ofwel een effect dat het gevolg is van de follow-up van weigeraars.

Niet-substantiële antwoorden kunnen ook het gevolg zijn van technische beperkingen van een bepaalde modus. In een face-to-face vragenlijst bestaat vaak de mogelijkheid om de ‘geen mening’-categorie niet expliciet op te nemen in de antwoordmogelijkheden, hoewel deze wel kunnen worden ingevoerd door de interviewer of de codeur. Deze optie is minder relevant voor schriftelijke surveys. Het hoeft dan ook niet te verbazen dat zulke verschillen een effect hebben op de frequentieverdelingen van de desbetreffende vraag (Billiet, 2003, pp. 319-323; Verbelen e.a., 2001, pp. 23-24). Items waarvoor deze optie niet expliciet is gegeven vertonen doorgaans minder item non-respons.

In wat volgt zullen eerst enkele globale vaststellingen in verband met item non-respons worden gedaan met betrekking tot het onderzoek naar milieubesef bij Leuvense eerstejaarsstudenten. Daarna wordt dieper ingegaan op specifieke thema’s zoals het effect van de ‘geen mening’-filter.

In eerste instantie zal worden nagegaan hoeveel niet-substantiële antwoorden werden genoteerd op alle soorten vragen uit zowel de post-, de web als de interviewmodus, gesteld aan alle respondenten. Voor 1329 respondenten zal aldus nagegaan worden hoe zij reageerden op 168 vragen.

Gemiddeld worden per respondent 7,19 vragen niet adequaat beantwoord. Dit correspondeert met 4,28%. Er zijn nochtans wel verschillen tussen de modi vast te stellen. De face-to-face modus scoort het best met 4,59 niet-substantiële antwoorden en de postvariant het slechtst met 9,20. De webmodus houdt het midden met 7,20. De drie modi verschillen onderling van elkaar op een niveau van 0,01 (Wilcoxon two sample test).

Hierachter schuilt wellicht wel een probleem van outliers. Enkele steekproefelementen kunnen er immers voor zorgen dat dit gemiddelde in item non-respons in de hoogte gestuurd wordt. Zo worden zowel bij de webmodus als bij de postmodus telkens drie respondenten terug gevonden die meer dan 100 vragen onbeantwoord lieten. Echter, indien deze niet in de analyse worden opgenomen, zouden nog steeds dezelfde verschillen tussen de modi geconstateerd worden. Ondanks de outliers wordt de bovenstaande analyse dus toch stabiel bevonden. Dit is niet consistent met de bevindingen uit vergelijkbaar onderzoek (Verbelen, e.a., 2002 p. 25). Hier werd vastgesteld dat item non-respons, na weglating van outliers, lager ligt in het websurvey dan in het face-to-face luik.

Om na te gaan of er significante verschillen bestaan tussen de verschillende modi op het gebied van opinievragen, werden 50 vragen geselecteerd[16]. In het algemeen krijgt 5,26% van de items een niet-substantiële waarde. Weeral is het de postsurvey die de hoogste item non-respons genereert. Op een totaal van 50 vragen blijven 3,28 vragen onbeantwoord. Voor de webmodus geldt hier 2,71 en de mondelinge modus telt 1,68 niet-substandiële antwoorden op opinievragen per respondent. De Wilcoxon two sample test acht de postsurvey significant verschillend van zowel het web- als het face-to-face equivalent op een niveau van 0,001. Eenzelfde test vindt het verschil in item non-respons voor opinievragen tussen de websurvey en de face-to-face modus slechts randsignificant (p = 0,05). Bijkomende analyses waar outliers werden weggelaten leverden dezelfde stabiele resultaten op.

Bij de 168 vragen in de survey waren vijf items die als kennisvragen kunnen gecategoriseerd worden[17]. 23,3% van de antwoorden hiervan zijn niet-substantieel. Hier worden verschillen in item non-respons vastgesteld tussen de post- en websurvey, maar slechts op het niveau van 0,05. De twee overige paarsgewijze vergelijkingen leveren geen significante verschillen op. Deze resultaten zijn eveneens stabiel na het weglaten van outliers. Een respondent uit de postmodus laat gemiddeld 1,28 van de vijf kennisvragen onbeantwoord, een webrespondent 1,15 en per respondent uit de mondelinge modus zijn 1,05 niet-substanstiële antwoorden te noteren.

Voor deze analyse werden 12 items opgenomen[18]. Hier kregen gemiddeld 2,43% van de antwoorden een niet-substantiële waarde. Paarsgewijze vergelijkingen geven aan dat de web- en postsurvey niet van elkaar verschillen, maar wel meer item non-respons vertonen dan de mondelinge modus op een niveau van 0,01 of lager. Het gaat weerom om stabiele resultaten. In de webmodus werden op 12 gedragsvragen 0,36 niet-substantiële antwoorden per respondent geteld. Voor de postsurvey bedraagt dit 0,38 en de voor de mondelinge modus werden slechts 0,09 niet-substantiële antwoorden vastgesteld.

In het onderzoek naar milieubewustzijn werd de vraag naar het inkomen van de vader en de moeder gesteld. Deze vraag diende enkel te worden beantwoord indien de ouder werkt of ooit gewerkt heeft[19]. Verwacht werd dat de studenten op dit gebied iets terughoudender zouden zijn, net omwille van het gevoelige karakter van deze vragen. In de drie modi hadden de respondenten de mogelijkheid om te antwoorden met ‘weet niet’. Algemeen kan gesteld worden dat 41,69% van de respondenten geen adequaat antwoord gaf op de vraag naar het inkomen van vader of moeder. Van deze twee vragen laat een gemiddelde webrespondent er 0,91 onbeantwoord, een gemiddelde postrespondent 0,78 en de respondenten uit de mondelinge modus houden het op 0,79.

De websurvey verschilt op dit gebied van de postsurvey en de face-to-face survey, hoewel dit slechts randsignificant is (p < 0,10). Er werden geen verschillen vastgesteld tussen de face-to-face modus en de postmodus.

Voor zowel de post- als de websurvey sloot de vragenlijst af met een de vraag of de respondent nog opmerkingen of bedenkingen had bij de enquête. De voornaamste commentaren van de respondenten waren dat de vragenlijst te lang was. Ook hadden de respondenten vaak kritiek op de vraagverwoording. Desondanks zijn hier ook positieve reacties te noteren. Twee vragen dringen zich hier op. Ten eerste wordt nagegaan of post- en webrespondenten even vaak een open vraag beantwoorden. De tweede vraag luidt of webrespondenten een langer antwoord formuleren op open vragen.

Uit het onderzoek naar milieubesef bij studenten blijkt dat de item non-respons op open vragen niet verschilt[20] tussen de web- en postmodus. Slechts 23,57% van de respondenten geeft een opmerking of bedenking aan het eind van de vragenlijst. Tegen de verwachting in is de lengte van de antwoorden voor de twee modi niet significant verschillend. Gemiddeld gebruikt een respondent die een opmerking maakt aan het einde van de vragenlijst 190 karakters om zich uit te drukken. Ondanks het feit dat deze gegevens ook af te rekenen hebben met outliers, blijven de bevindingen stabiel. Indien deze outliers worden weggelaten, zodat de 10 hoogste waarden worden weggelaten, daalt het gemiddeld aantal karakters zienderogen naar een niveau van 155 karakters.

Teneinde een overzicht te bieden voor de item non-respons worden in tabel 7 de verschillende vraagsoorten gecombineerd met de drie modi. Zowel wat betreft opinievragen als kennisvragen verschillen de websurvey en de postsurvey van elkaar inzake niet-substantiële antwoorden, hetgeen tegen de verwachtingen ingaat. Alleen voor gevoelige vragen en gedragsvragen gaat de eerder gestipuleerde hypothese op. Verwacht werd ook dat web en post niet van elkaar zouden verschillen voor het al dan niet antwoorden op open vragen. Ook deze hypothese kan door de data bevestigd worden.

Tabel 7: Overzicht van de niet-substantiële antwoorden per vraagsoort en modus van dataverzameling in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Daarenboven kan worden geconstateerd dat de verschillende vraagsoorten niet altijd een vergelijkbaar patroon van item non-respons genereren. Uit de gegevens blijkt dat opinievragen en gedragsvragen nog wel tot hetzelfde niveau van item non-respons kunnen gerekend worden[23]. De laatste twee genoemde vraagsoorten verschillen onderling wel met kennisvragen[24]. Ook voor gevoelige vragen ligt de item non-respons gevoelig hoger dan voor opinievragen of kennisvragen[25].

Voor zowat alle vraagsoorten scoort de face-to-face survey lager dan de twee andere modi. Nochtans zijn deze respondenten uit de face-to-face modus weigeraars uit de post- of webmodi. De hypothese dat deze weigeraars meer item non-respons vertonen gaat dus niet op, tenzij uiteraard het intrinsieke effect van een face-to-face bevraging een zodanig reducerende werking heeft op de item non-respons dat het effect van weigeraars op item non-respons gecamoufleerd wordt.

Vooreerst kan gesteld worden dat er opvallende verschillen zijn tussen de soorten vragen onderling. De verklaring hiervoor ligt vaak voor de hand. Verschillende soorten vragen eisen van de respondent immers een verschillende activiteit (Billiet, 2003, pp. 300-356). Om te beginnen kan een onderscheid gemaakt worden tussen vragen naar feiten, gebeurtenissen en gedragingen enerzijds en opinievragen anderzijds. In het eerste geval bestaat er een ‘waar antwoord’, dat in principe via andere bronnen kan gecontroleerd worden. Tot deze categorie horen ook de kennisvragen. De voornaamste foutenbronnen hebben betrekking op een falend geheugen of sociale wenselijkheid. Gevoelige of bedreigende vragen zoals die die peilen naar het gezinsinkomen kunnen vanzelfsprekend aanleiding geven tot onderrapportering. Opinievragen daarentegen kennen geen ‘waar antwoord’. Het is hier zelfs mogelijk dat een opinie onbestaande is terwijl toch een antwoord gegeven wordt. De formulering van de vraag, de vraagcontext en de aangeboden antwoordmogelijkheden zijn hier wellicht de grootste bronnen voor fouten (Billiet, 2003, pp. 300-356).

3.1.3.2. Verklaringen voor verschillen tussen de modi van dataverzameling

De voornaamste bezorgdheid is niet zozeer een verklaring voor de verschillen tussen de vraagsoorten, dan wel de geconstateerde verschillen tussen de modi van dataverzameling die in de vorige paragraaf aan bod kwamen. De volgende paragrafen behandelen een poging tot deze verklaringen.

a. Verschillen als gevolg van niet-uniforme antwoordmogelijkheden bij opinievragen

Vaak is een modus van dataverzameling in mogelijkheden beperkt. Zo kan het zijn dat de respondent niet expliciet de mogelijkheid krijgt om ‘weet niet’ of ‘geen antwoord’ als optie te nemen, terwijl dit wel als dusdanig kan gecodeerd worden door de interviewer. In het onderzoek naar milieubewustzijn bij Leuvense studenten van de eerste kandidatuur stelt zich de mogelijkheid dit thema aan te snijden. Alle opinievragen die hier werden opgenomen werden zowel in de post- als in de webvariant voorzien van een expliciet ‘geen mening’-alternatief voor de respondent. Bij de face-to-face versie lag dit enigszins anders. Enkel de batterijen vragen die peilden naar cultureel conservatisme (vier items) en etnocentrisme (zes items) boden de respondenten uit de mondelinge modus een expliciete mogelijkheid om te antwoorden met ‘geen mening’. Andere batterijen opinievragen zoals sociaal-economisch conservatisme, utilitair individualisme, culturele affiliatie en milieubesef bevatten deze optie niet. Tabel 8 laat zien dat indien de expliciete ‘geen mening’-mogelijkheid bij de face-to-face modus niet aanwezig, de item non-respons daalt van 5,59% naar 2,79%, terwijl de twee andere modi relatief stabiel blijven[26].

Tabel 8: Item non-respons voor opinievragen met en zonder 'geen mening' mogelijkheid volgens modus in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Een paarsgewijze vergelijking van de drie modi, waarbij in deze drie gevallen een ‘geen mening’-alternatief werd aangeboden, toont weliswaar wel aan dat ondanks de uniforme antwoordmogelijkheden nog steeds een verschil in item non-respons tussen de webmodus en de twee andere modi is vast te stellen[27].

Indien men weet dat in de mondelinge modus van de 50 items die werden opgenomen in de analyse van opinievragen er slechts 10 een expliciete ‘geen mening’-filter aanbieden zoals bij de andere twee modi voor alle opinievragen van toepassing is, is de rekening snel gemaakt. Omdat in de web- en de postsurvey vaker de ‘geen mening’-filter aan de orde is, presenteren deze ook meer item non-respons.

Uit de vorige paragraaf blijkt dat indien de respondenten in de drie modi dezelfde antwoordmogelijkheden aangeboden kregen, er nog wel degelijk verschillen blijven bestaan tussen de websurvey en de andere twee modi. Mogelijk zijn deze verschillen te wijten aan een verschillende samenstelling van de steekproef per modus. Uit het vorige hoofdstuk blijkt immers dat webrespondenten verschillen van face-to-face respondenten wat betreft geslacht, studierichting en de frequentie waarmee men zijn of haar e-mailadres gebruikt. Amerikaans onderzoek (Kwak e.a., 2002, pp. 266-267) rapporteert dergelijke interferenties met item non-respons. Daarin werd vastgesteld dat gunstiger datakwaliteit bij webrespondenten een gevolg kan zijn van meer interesse in computertechnologie. Het moet dan wel gezegd dat dit onderzoek ook handelde over computer- en internetgebruik. Ook leeftijd zou volgens deze onderzoekers interfereren met item non-respons.

Tabel 9 geeft de resultaten weer van een logistisch regressiemodel waarin item non-respons, de afhankelijke variabele, bij cultureel conservatisme en etnocentrisme dichotoom gehercodeerd is. Deze concepten werden voor deze analyse gekozen omdat ze voor de drie modi identieke antwoordmogelijkheden aanbieden, in het bijzonder is telkens de expliciete mogelijkheid om de ‘geen mening’-filter aan te vinken voorzien. Indien deze 10 items volledig adequaat beantwoord werden, krijgt de respondent de code “0”, zoniet wordt de code “1” toegekend[28]. De onafhankelijke variabelen zijn geslacht, frequentie waarmee men zijn of haar KUL-adres gebruikt en de groep waaraan men studeert. Met betrekking tot ‘satisficing’ werd in de inleiding al verwezen naar een begrip als ‘need for cognition’, ofwel de appreciatie die een respondent heeft voor mentaal moeilijke taken. Ook deze variabele is opgenomen in de analyse.

Tabel 9: Parameterschattingen[29] voor item non-respons voor opinievragen naar gender, modus van dataverzameling, groep waaraan men studeert, frequentie waarmee men e-mails controleert en need for cognition in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

De webmodus blijkt het minst item non-respons te vertonen onder controle van de opgenomen onafhankelijke variabelen. Indien de postmodus in het model de referentiecategorie wordt, wordt er geen verschil tussen de mondelinge modus en de nieuwe referentiegroep vastgesteld[32]. Uit de tabel blijkt tevens dat, naast de modus van dataverzameling, een structurerende werking uitgaat van de groep waaraan de student studeert. Humane wetenschappen studeren heeft een gunstig effect op item non-respons. Nochtans kan niet gesteld worden dat de groep waaraan men studeert, een bemiddelende rol speelt tussen de modus van dataverzameling en item non-respons. Indien de groep waaraan men studeert niet in de analyse wordt opgenomen, wijzigen de parameters van de modi nauwelijks. De parameter van de face-to-face modus verschuift van -0,3609 naar -0,4091 na weglating van de groep. Voor de postsurvey geldt een verandering van -0,3953 naar -0,4024. Ook indien een loglineair model wordt uitgewerkt met de modus van dataverzameling, de groep waaraan de student studeert en de dichotome variant van item non-respons voor de genoemde opinievragen, blijkt de interactieterm met deze drie variabelen onbetekenend[33]. Hierin kan een argument gezien worden dat de verschillende modi van dataverzameling intrinsieke kracht hebben om item non-respons te structureren. Tegen de verwachting in heeft internetgebruik geen effect. Ook is het effect van geslacht onbetekenend. Een sterk effect blijkt wel uit gaan van de ‘need for cognition’. Respondenten met veel belangstelling voor cognitief moeilijke taken rapporteren minder item non-respons.

Niettegenstaande de geobserveerde verschillen inzake item non-respons tussen de modus van dataverzameling, mogen deze niet overdreven worden. Deze verschillen zijn eerder banaal te noemen, zoals blijkt uit tabel 7.

Merk tot slot op dat sommige respondenten over het algemeen meer gevoelig zijn voor item non-respons dan anderen. Tabel 10 geeft de relaties weer tussen de verschillende vraagsoorten inzake item non-respons. De oorspronkelijke sommaties van item non-respons zijn telkens gehercodeerd tot dichotomieën. Indien voor een bepaalde vraagsoort voor een respondent geen item non-respons geldt, krijgt deze de waarde nul, in het andere geval is de waarde één meegegeven.

Tabel 10: Cramer’s V voor relaties tussen vraagsoorten met betrekking tot item non-respons in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Het ziet ernaar uit dat er een effect uitgaat van de modus van dataverzameling op de item non-respons, indien gecontroleerd wordt voor achtergrondkenmerken en de ‘geen mening’-filter. Over het algemeen komt de face-to-face modus het best uit de bus. Aangezien de web- en de postsurvey vergelijkbare stimuli aan de respondent aanbieden, werd verwacht dat deze twee modi nauwelijks van elkaar zouden verschillen. Deze bewering lijkt voor het onderzoek naar milieubesef slechts gedeeltelijk op te gaan. Alleen voor gedragsvragen werd gevonden dat post- en web niet verschillen en dat deze laatste twee wel verschillen met een mondeling interview. Nochtans zijn de verkregen verschillen eerder bescheiden.

De voornaamste structurerende bron voor item non-respons is ongetwijfeld de vraagsoort of de vraaginhoud zelf. Ook het aanbieden van een ‘geen mening’-filter genereert meer verschillen dan welke modus van dataverzameling ook. Tevens speelt de vraagverwoording een belangrijke rol. Een uitspraak als ‘Het menselijke vernuft zal verzekeren dat we de aarde niet tot een onleefbare plaats laten verworden’ behaalt een responsgraad van 90%. Wellicht is het de dubbele negatie en de complexe formulering van deze vraag die het voor de respondent niet erg gemakkelijk maakt om een adequaat antwoord te geven (Billiet, 2003, pp. 287-291). In dezelfde batterij die peilt naar het milieubesef van de studenten, is ook de stelling ‘De mensheid maakt ernstig misbruik van de natuurlijke omgeving’ terug te vinden. Deze uitspraak is daarentegen wel duidelijk en eenvoudig. Wellicht is het daarom dat hier slechts 2% van de respondenten deze vraag van een niet-substantieel antwoord voorziet.

Naast de vraagcontext en de modus van dataverzameling komen ook achtergrondkenmerken van de respondenten in aanmerking ter verduidelijking van item non-respons. Merk daarbij op dat de onderzochte doelgroep bijzonder homogeen is. Alle respondenten studeren immers aan dezelfde universiteit, zitten op kot en zijn als eerstejaars ongeveer even oud. Enkel de groep waaraan men studeert blijkt van belang te zijn voor item non-respons, waarbij humane wetenschappen minder item non-respons vertonen. Dat item non-respons vaak bij dezelfde respondenten voorkomt, neigt naar de stelling dat het hier om een persoonlijkheidskenmerk zou kunnen gaan. Daarentegen is het ook even goed mogelijk dat de interesse die een respondent koestert omgekeerd evenredig is met het onvolledig invullen van de vragenlijst. Gedemotiveerde of vermoeide respondenten kunnen hun antwoordstrategie zodanig instellen dat ze vaker naar de eenvoudigste antwoordmogelijkheden teruggrijpen. In de lijn hiervan ligt de vaststelling dat respondenten die een hoge mate van ‘need for cognition’ vertonen minder niet-substantiële antwoorden laten optekenen. Een andere antwoordstrategie voor deze respondenten kan erin bestaan enkel na te denken over de riching van hun attitude, maar niet over de sterkte ervan. Dit laatste zal in de volgende paragraaf verder uitgewerkt worden.

In het vorige hoofdstuk kwam aan bod dat de mate van milieubesef samenhing met de modus van dataverzameling. Aanvankelijk scheen de hypothese op te gaan dat respondenten uit de mondelinge modus lager scoorden voor milieubewustzijn. Deze redenering zou, zoals hier zal blijken, genuanceerd moeten worden. De waargenomen verschillen zijn eerder te wijten aan de intrinsieke kenmerken van de modi van dataverzameling. Naar alle waarschijnlijkheid is het geven van extreme antwoorden op de gebruikte vijfpunt schalen verschillend voor schriftelijke en mondelinge modi van dataverzameling. Eerst zullen de waarnemingen verder worden toegelicht, waarna naar een verklaring wordt gezocht vanuit de literatuur.

Uit de analyse blijkt dat respondenten uit de schriftelijke modi hoger scoren voor milieubewustzijn dan respondenten uit de mondelinge modus. Op een schaal van één tot vijf waarbij één staat voor weinig besef en vijf voor veel besef, scoort de webmodus gemiddeld 4,07, de postmodus 4,01 en de mondelinge modus 3,84. Het verschil tussen web en post is eerder randsignificant te noemen[34], terwijl de verschillen tussen de mondelinge modus en de twee schriftelijke tegenhangers minder twijfelachtig[35] zijn. Deze laatste twee T-testen geven tevens aan dat de varianties niet gelijk zijn tussen de mondelinge en de schriftelijke antwoorden. Voor de post- en de websurvey bedragen deze respectievelijk 0,27 en 0,25. De mondelinge modus haalt slechts een variantie van 0,20. De oorzaak hiervan ligt wellicht bij het aantal extreme antwoorden die gegeven zijn. Op elf vragen die samen het concept milieubesef weerspiegelen geeft een respondent uit de webmodus gemiddeld 3,24 extreme antwoorden, met name ‘helemaal oneens’ of ‘helemaal eens’. Iets lager vinden we de postmodus terug met 2,92 en helemaal onderaan vinden we de face-to-face modus met slechts 1,58 extreme antwoorden.

De antwoorden op de elf items worden nu telkens gehercodeerd waarbij ‘helemaal oneens’ en ‘oneens’ samen worden genomen. Hetzelfde gebeurt voor de antwoorden ‘helemaal eens’ en ‘eens’ en het middenalternatief blijft gewoon behouden. In zekere zin blijft bij deze hercodering alleen de attituderichting overeind. De attitudesterkte wordt dus opgegeven. Vervolgens worden de elf items bij elkaar opgeteld (uiteraard rekening houdend met positief of negatief verwoorde items) en de gemiddelden opnieuw berekend.

De analyse geeft aan dat de verschillen nu nagenoeg verdwenen zijn. De gemiddelde scores voor de post- en de webmodus bedragen nu 3,73 en 3,74. De mondelinge modus laat een score van 3,69 noteren. De webmodus en de mondelinge peiling verschillen nu nog randsignificant van elkaar[36]. Dit verschil smelt echter verder weg indien achtergrondkenmerken in rekening worden gebracht.

We grijpen hier even terug naar de analyse van het hoofdstuk over de gerealiseerde steekproef, waarbij werd getest welke verschillen er bestaan tussen webrespondenten en weigeraars van de websurvey enerzijds, en een gelijkaardige analyse van de postsurvey anderzijds (zie supra). Hier bleek een significant verschil op te duiken tussen de schriftelijke modi en de mondelinge modus inzake milieubesef. Indien de gehercodeerde variabele in het logistisch model wordt ingebracht in plaats van de originele variabele, blijkt milieubesef plots niet meer te verschillen naargelang de modus van dataverzameling[37].

Om de zojuist geschetste bevindingen empirisch uit te breiden wordt beroep gedaan op een andere batterij van vragen uit het onderzoek naar milieubewustzijn. Het gaat om vier uitspraken[38] die samen verwijzen naar het achterliggende concept ‘cultureel conservatisme’. Aan de respondenten werd gevraagd om deze uitspraken te beoordelen aan de hand van het vijfpunt schaal gaande van ‘helemaal oneens’ tot ‘helemaal eens’. Dat de keuze hierop valt heeft vooral te maken met het feit dat in de drie modi telkens een expliciete ‘geen mening’-fliter is aangeboden, waarmee is voldaan aan de notie van uniforme vraagconstructie en uniforme antwoordmogelijkheden. In 5% van de gevallen werd deze ’geen mening’-filter door de respondenten aangevinkt, zonder dat er noemenswaardige verschillen tussen de modi te constateren zijn.

Ten eerste willen we nagaan of er, net zoals bij het concept milieubesef, verschillen zijn tussen de modi in gemiddelde itemscores en hun varianties en of deze verschillen wegsmelten indien gehercodeerd wordt zodoende dat alleen de attituderichting overblijft. Op de tweede plaats zal worden getest of deze mogelijke verschillen niet te wijten zijn aan het onderscheid respondenten of weigeraars.

Over de eerste vraag brengt tabel 11 verslag uit. Voor elk van de vier items worden eerst de gemiddelden gegeven waarbij de attitudesterkte is opgemonen. Hetzelfde gebeurt ook maar dan zonder attitudesterkte. Ook de varianties en het percentage extreme antwoorden zijn opgenomen in de tabel.

Tabel 11: Gemiddelden, varianties en percentages extreme antwoorden voor vier items van cultureel conservatisme, met en zonder opname van attitudesterkte voor het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

			Web	post	Face-to-face
Abortus (n=1286)	met attitudesterkte	Gemiddeld	1,78^a	1,85^a	1,89^a
		Variantie	0,73^a	0,75^a	0,56^b
		% extreme antwoorden	43%^a	40%^a	29%^b
	zonder attitudesterkte	Gemiddeld	2,18^a	2,23^a	2,15^a
	zonder attitudesterkte	Variantie	0,24^a	0,27^a	0,22^a
Softdrugs (n=1256)	met attitudesterkte	Gemiddeld	2,91^a	2,93^a	3,01^a
		Variantie	1,73^a	1,63^a	1,18^b
		% extreme antwoorden	31%^a	27%^a	14%^b
	zonder attitudesterkte	Gemiddeld	2,97^a	2,98^a	3,03^a
	zonder attitudesterkte	Variantie	0,81^a	0,81^a	0,76^a
Homo-huwelijk (n=1248)	met attitudesterkte	Gemiddeld	4,12^a	3,92^b	3,92^b
		Variantie	1,01^a	1,09^a	0,68^b
		% extreme antwoorden	44%^a	35%^b	22%^c
	zonder attitudesterkte	Gemiddeld	3,74^a	3,64^b	3,72^ab
	zonder attitudesterkte	Variantie	0,39^a	0,47^b	0,36^a
Euthanasie (n=1260)	met attitudesterkte	Gemiddeld	3,53^a	3,39^a	3,52^a
		Variantie	1,15^a	1,16^a	0,97^b
		% extreme antwoorden	22%^a	20%^a	12%^b
	zonder attitudesterkte	Gemiddeld	3,38^ab	3,28^a	3,44^b
	zonder attitudesterkte	Variantie	0,62^a	0,64^a	0,63^a
Percentages met een dezelfde letter verschillen niet significant (p =,05) van de andere percentages uit dezelfde rij Bron: eigen verwerking

Over het algemeen kan gesteld worden dat in het geval waar attitudesterkte is opgenomen, er geen verschil is in gemiddelden voor de vier items. De varianties zijn voor de mondelinge modus kleiner dan voor de schriftelijke modi. Dit laatste is een gevolg van de hogere percentages extreme antwoorden die in de schriftelijke modi gegeven worden. Ook blijkt dat wanneer enkel de attidtuderichting in beschouwing wordt genomen, deze varianties in de drie modi geen verschillen meer vertonen.

Mogelijk dient men ermee rekening mee te houden dat de vastgestelde verschillen te wijten zijn aan het feit dat de mondelinge modus de weigeraars uit de schriftelijke modi opving. Zo kan men ervan uitgaan de weigeraars minder gemotiveerd om naast de richting van hun attitude ook nog de sterkte ervan aan te duiden. Opnieuw zal hier gebruikt gemaakt worden van de vraag of respondenten uit de mondelinge modus de introducutiebrief of -e-mail hadden gelezen die ze ontvingen om deel te nemen aan de schriftelijke modus. De respondenten die de uitnodiging wel lazen maar niet deelnamen aan de survey worden beschouwd als weigeraars, de anderen niet. De analyse laat zien dat het al dan niet extreem antwoorden voor geen van de vier items van cultureel conservatisme verschilt naargelang men de introductie brief wel of niet heeft gelezen. Van de respondenten die de brief of de e-mail wel hadden geopend antwoordt 10,64% extreem tegenover 13,33% met een extreem antwoord in het geval waar de brief of de e-mail niet werd geopend. Ook tussen vroege en late respondenten uit de schriftelijke modi zijn geen verschillen in de mate waarin men extreme antwoorden geeft.

De antwoordschalen zoals die gebruikt worden in het onderzoek naar milieubesef zijn overwegend vijfpunt schalen. Hiermee kan de respondent zowel de richting als de sterkte van zijn of haar mening of attitude aangeven, hetgeen dus een dubbele cognitieve inspanning vergt (Loosveld e.a., 2001, pp. 32-33). Het is mogelijk dat respondenten hun motivatie verliezen om telkens beide inspanningen te leveren. Tenslotte doet de respondent al heel wat moeite zoals de vraag interpreteren, in zijn of haar geheugen de nodige informatie opzoeken, deze beoordelen en op basis daarvan een antwoord formuleren. Voor sommige respondenten kunnen deze cognitieve taken de motivatie hypothekeren zodoende dat wordt gezocht naar antwoordstrategieën die minder inspanningen vragen en tegelijkertijd antwoorden genereren die als redelijk of aanvaardbaar kunnen worden beschouwd. Dit fenomeen valt onder de noemer satisficing (Holbrook, e.a., 2003, p. 82; Krosnick; 1991, pp. 213-236; Krosnick e.a., 1997, p. 144). Dit verschijnsel kan verschillende vormen aannemen zoals antwoorden met ‘weet niet’ of ‘geen mening’, volgzaamheid en het aanduiden van het eerste antwoordalternatief. ‘Satisficing’ kan worden opgewekt indien de bekwaamheid of de motivatie van de respondent ontoereikend zijn of wanneer de taak voor de respondent moeilijker wordt. Dit laatste kan worden gedacht in termen van moduseffecten. Zo kan ten eerste de aanwezigheid van een interviewer een enthousiasmerend effect hebben op de respondent zodat deze laatste meer gemotiveerd geraakt. Minder gedreven interviewers kunnen uiteraard het omgekeerde effect bewerkstelligen. Ten tweede kan het tempo waarmee de vragen doorlopen worden een effect hebben op de antwoordstrategieën van de respondenten. In mondelinge interviews ligt dit tempo, dat mede door de interviewer wordt bepaald, vaak hoger. Respondenten die een vragenlijst schriftelijk afwerken, kunnen immers op hun eigen tempo en op het voor hen gepaste tijdstip met de enquête bezig zijn. Bij mondelinge interviews daarentegen komen interviewers niet altijd op het gepaste tijdstip en is het vooral de interviewer die het interview leidt en dus ook het tempo bepaalt (Ayidiya & McClendon, 1999, pp. 229-247). Dit laatste kan ervoor zorgen dat de tijdsdruk op de respondent vergroot zodat deze zijn toevlucht neemt tot antwoordstrategieën die aanvaardbare maar minder accurate antwoorden opleveren. Concreet kan gesteld worden dat respondenten uit mondelinge modi wel de moeite nemen om de richting van hun attitude geven, maar verzuimen er ook de sterkte van mee te delen aan de interviewer. Omdat de tijdsdruk in schriftelijke modi van dataverzameling minder hoog ligt, kan verwacht worden dat de respondent hier meer de neiging vertoont om extreme antwoorden te noteren.

Aangaande deze hypothese kan gesteld worden dat de websurvey in het onderzoek naar milieubesef gemiddeld 29 minuten duurde en het mondelinge interview gemiddeld 41 minuten in beslag nam[39]. Voor de postsurvey zijn geen gegevens beschikbaar. Het dient echter opgemerkt te worden dat de objectieve tijdsduur van het afnemen van de vragenlijst niet meteen de beste indicator is om na te gaan of de tijdsdruk op de respondent een invloed heeft op het geven van extreme antwoorden. Anders gezegd, tijd heeft voor de webmodus en het mondelinge interview een andere invulling. In de mondelinge modus is meer bepaald een interactie aan de gang die in de webmodus niet geldt. Zo hoeft een webrespondent niet te wachten op de vraag van de interviewer alvorens hij of zij in zijn of haar geheugen gegevens kan gaan ophalen om een antwoord te construeren. Ook valt het geven van een antwoord en het noteren ervan in de webmodus nagenoeg samen. Op dit gebied heeft de mondelinge modus ook weer meer tijd nodig. Aan de andere kant kan gesteld worden dat het voor webrespondenten mogelijk is om de vragenlijst in te vullen en tegelijkertijd allerlei andere activiteiten te verrichten. Zo zijn er webenquêtes geregistreerd die meer dan zes uur duurden. Kortom, om de invloed van tijdsdruk op de gerigistreerde antwoorden te onderzoeken is meer informatie nodig over het proces dat tijdens het afnemen van de vragenlijst geschiedt.

Het voorgaande geeft aan dat het geven van extreme antwoorden geconditioneerd is door de controle die de respondent over de vragenlijst heeft. Indien de respondent zijn of haar antwoord rustig kan overdenken, is het waarschijnlijker dat hij of zij niet alleen de attituderichting, maar ook de sterkte ervan aangeeft.

Daarenboven zou de interesse in het onderwerp de respondent eveneens kunnen aanzetten om zijn attitude meer kracht bij te zetten. Indien de motivatie van de respondent samenhangt met de interesse die hij of zij koestert voor het onderwerp, valt te verwachten dat respondenten die de milieuvervuiling een belangrijk maatschappelijk thema vinden, ook meer extreme antwoorden zullen geven. In het onderzoek naar milieubesef werd de respondenten immers de mogelijkheid gegeven om hun betrokkenheid op de milieuthematiek aan te vinken. Uit een lijst van 16 items, waaronder armoede, de verkeersdrukte, druggebruik, de migranten en euthanasie, konden de respondenten twee items kiezen waaraan zij het meest belang hechtten. Van de 1326 respondenten geven er 312 te kennen dat de milieuvervuiling voor hen een belangrijk maatschappelijk thema is. Gemiddeld lieten deze respondenten 3,83 extreme antwoorden op 11 vragen over milieubesef noteren. De overige respondenten hielden het slechts bij 2,31 extreme antwoorden. Dit verschil is significant[40]. Achtergrondkenmerken blijken weinig met de extreme antwoorden te maken te hebben. Dit komt naar voor in een logistisch regressiemodel waarbij de kans op het geven van minstens één extreem aantwoord op elf vragen in verband met millieubesef wordt gemodelleerd, gepresenteerd in tabel 12. Ook het al dan niet geven van extreme antwoorden bij de houding tegenover euthanasie is gemodelleerd. Beide modellen geven aan dat zowel de modus van dataverzameling als de betrokkenheid op het thema een goed deel van het extreme antwoordgedrag van de respondenten verklaart. Ook ‘need for cognition’ is werkzaam als verklarende factor, hoewel dit enkel significant is in het model waar milieubesef aan de orde is. Respondenten met veel belangstelling voor denktaken zijn dus geneigd tot het geven van meer extreme antwoorden op de milieuschaal. In het model in verband met euthanasie is ook geslacht werkzaam als verklarende factor. Mannen zijn hier meer geneigd tot het geven van extreme antwoorden. De groep waaraan men studeert is in beide gevallen irrelevant.

Tabel 12: Parameterschattingen voor het geven van extreme antwoorden voor milieubesef en houding tegenover euthanasie naar gender, modus van dataverzameling, groep waaraan men studeert, betrokkenheid op het thema en ‘need for cognition’ in het onderzoek naar milieubesef bij Leuvense eerstejaarsstudenten (2001-2002)

Onafhankelijke variabelen	Extreme antwoorden voor milibesef (1= ja; 0=nee) (n=1320)	Extreme antwoorden voor euthanasie (1=ja; 0=nee) (n=1259)
Gender (man =1; vrouw = 0)	n.s.	0,370*
Modus van dataverzameling[41] (ja = 1;nee = 0)
Web	0,9557**	0,7179**
Post	0,7499**	0,5839**
Groep[42] (ja = 1;nee = 0)
Humane wetenschappen	n.s.	n.s.
Exacte wetenschappen	n.s.	n.s.
Betrokkenheid op het onderwerp (ja = 1; nee = 0)	0,8481**	1,0916**
Need for cognition (1=laag; 5=hoog)	0,1954**	n.s.
Likelihood ratio (p-waarde)	< 0,0001	< 0,0001
Concordante paren	64,9%	60,1%
*: p < 0,01; : p < 0,05 n.s.: niet significant Bron: eigen verwerking

Het lijkt er dus op neer te komen dat de betrokkenheid op het thema meer extreme antwoorden genereert omdat er sprake is van meer motivatie aan de kant van de respondent. Dit blijkt ook uit de invloed die uitgaat van need for cognition. De schriftelijke modi maken het de respondent dan weer mogelijk op het eigen tempo de cognitieve taken af te werken.

Deze zojuist geschetste analyse kent meer datakwaliteit toe aan schriftelijk modi van dataverzameling in verband met het geven van extreme antwoorden. Deze extreme antwoorden zijn dan de reden waarom de variantie van een item of verschillende items groter wordt. Het is echter tot hiertoe nog niet duidelijk of respondenten uit de schriftelijke modi systematisch meer extreme antwoorden geven. Indien zou blijken dat deze respondenten steeds ‘helemaal eens’ of ‘helemaal oneens’ antwoorden, zonder oog te hebben voor nuanceverschillen in hun antwoordgedrag, is de datakwaliteit van deze modi minder goed dan op het eerste zicht blijkt. Zo kan een alternatieve hypothese geformuleerd worden die eveneens aansluiting vindt bij de notie van ‘satisficing’. Vaak wordt door onderzoekers geargumenteerd dat het voor de respondent aangenamer en gemakkelijker is om een batterij van uitspraken te evalueren indien telkens dezelfde antwoordschaal wordt opgegeven (Lavrakes, 1987, pp. 145-146). Concreet geeft dit er aanleiding toe dat in een vragenlijst vragen of uitspraken die over het zelfde onderwerp gaan of dezelfde antwoordmogelijkheden hebben samengebracht worden. Dit is echter niet zonder gevaar (Krosnick, 1991, p. 7). Onderzoekers kunnen vergeefs hopen dat respondenten een onderscheid maken tussen de verschillende aangeboden items. In de praktijk komt het er helaas vaak op neer dat de respondent bij het begin van een batterij vragen één punt uitkiest dat redelijk lijkt. Vervolgens vinkt de respondent de overige items van de batterij op dezelfde manier aan (Krosnick & Alwin, 1988, pp. 526-538). Deze antwoordstrategie die tevens van harde satisficing getuigt zou meer kunnen voorkomen in schriftelijke modi van dataverzameling. De respondent houdt in dit laatste geval de pen of de muis boven de set van vragen en hun bijhorende antwoordmogelijkheden en beweegt daarbij na elk item naar beneden waar een volgend item zich aandient. Indien de respondent nu de pen of de muis enkel naar beneden beweegt en niet naar links of rechts, kan hij of zij wel aanvaardbare antwoorden geven terwijl een minimum aan inspanningen moet geleverd worden. Bovendien is er geen interviewer aanwezig die met auditieve stimuli de respondent tot meer differentiatie tussen de items kan motiveren.

Om dit na te gaan wordt gewerkt met enkele items die utilitair indivualisme als gemeenschappelijk en achterliggend concept hebben. Met name gaat het over de eerste drie items van deze batterij uitspraken. Deze drie items zijn telkens in de dezelfde richting geformuleerd. Respondenten die zich akkoord verklaren met de stellingen getuigen telkens van meer utilitair individualsime[43]. Om de mate van differentiatie tussen de items vast te stellen werden de afstand tussen de laagste waarde en de hoogste waarde berekend over de drie items. Respondenten waarbij deze afstand nul bedraagt, differentiëren dus niet. Tussen de drie modi zijn hiervoor geen significante verschillen vast te stellen[44], zoals tabel 13 laat zien.

Tabel 13: Mate van differentiatie tussen drie verschillende items van het concept utilitair individualisme in het onderzoek naar milieubesef bij Leuvense eerstejaarsstudenten (2001-2002)

Op toevalsfouten na differentiëren respondenten uit de schriftelijke modi even sterk tussen de items dan de respondenten uit de mondelinge modus.

De mate van differentiatie tussen items is uiteraard alleen relevant als indicator van datakwaliteit indien de onderscheiden uitspraken ook inhoudelijk voldoende verschillend zijn. In het geval van de eerste drie items van utilitair individualisme zijn er ook sterke inhoudelijke gelijkenissen op te merken. Het is dan ook weinig verbazingwekkend dat 33% van de respondenten niet van antwoordmogelijkheid verandert over de drie betrokken items.

Een andere batterij waarvan de uitspraken inhoudelijk meer verschillend zijn, is de reeks van vier uitspraken die samen naar het concept cultureel conservatisme verwijzen. Deze werden al gebruikt bij de analyse in verband met extreme antwoordmogelijkheden. Deze vier items handelen respectievelijk over de houding tegenover abortus, softdrugs, het homohuwelijk en euthanasie. Omdat deze items inhoudelijk sterker verschillen dan de besproken items in verband met utilitair individualisme, valt ook te verwachten dat hier over het algemeen meer afstand zal zijn tussen antwoorden van de verschillende items.

Om de eenvoud te bewaren zal hier alleen gewerkt worden met de laatste drie items van de cultureel conservatismeschaal (houding tegenover softdrugs, het homohuwelijk en euthanasie). De reden hiervoor is dat deze drie items allen in dezelfde richting zijn geformuleerd[45]. Hoge waarden op deze items staan voor meer progressieve houdingen. De uitspraak in verband met abortus is conservatief geformuleerd[46].

Slechts 15% van de respondenten wijkt over de drie progressief geformuleerde items niet van antwoordmogelijkheid af. In het geval van utilitair individualisme bedraagt dit 33%. De afstand tussen de laagste en hoogste waarden over de drie items van cultureel conservatisme is verschillend voor de schriftelijke en de mondelinge modi. Zo blijkt dat de respondenten uit de schriftlijke modi meer differentiëren tussen de items dan de respondenten uit de mondelinge modus[47]. Tabel 14 geeft dit weer.

Tabel 14: Mate van differentiatie tussen drie verschillende items van het concept cultureel conservatisme in het onderzoek naar milieubesef bij Leuvense eerstejaarsstudenten (2001-2002)

Deze resultaten blijven stabiel onder controle van achtergrondkenmerken zoals geslacht of studierichting. Ook de need for cognition kan de modusverschillen niet ongedaan maken.

Het lijkt er dus op neer te komen dat de respondenten uit de schriftelijke modi meer differentiëren tussen de items.

Acquiescence of volgzaamheid is een effect dat inhoudt dat de respondent geneigd is te beamen wat anderen zeggen. Aanvankelijk dachten psychologen dat dit verschijnsel een persoonlijkheidskenmerk was. Tegenwoordig denkt men eerder in de richting van een cultureel verschijnsel (Billiet, Loosveldt & Waterplas, 1984, pp. 138-139; Dillman, 2000, p. 227). Vastgesteld wordt dat opleidingsniveau in relatie staat tot dit fenomeen. Laag opgeleide respondenten vertonen meer volgzaamheid dan hoog opgeleiden. Een eerste interpretatie legt de oorzaak hiervan bij een gebrekkig cognitief vermogen dat zowel speelt bij schriftelijk als mondelinge interviews. Volgzaamheid kan dan beschouwd worden als een tendens van laag opgeleiden om onkritisch te zijn tegenover algemene uitspraken en om gemakkelijk beïnvloedbaar te zijn bij gebrek aan voldoende referentiekaders. De tweede interpretatie heeft het over uiting van achting van lage statusgroepen tegenover de interviewer uit de middenklasse. Dit laatste pleit er dus voor dat volgzaamheid vaker voorkomt bij mondelinge interviews. Hoewel dit niet bevestigd wordt in empirisch onderzoek, formuleren Presser en Schuman (1996, pp. 203-230) dat het belang of de interesse van de respondent voor het onderwerp van onderzoek invloed kan hebben op volgzaamheid. Hogere interesse leidt dan tot minder volgzaamheid, aangezien de vraag voor de respondent dan meer betekenis heeft. Bemerk dat acquiescence betrekking heeft op opinies. Strikt genomen bestaan er geen ‘ware’ antwoorden op dit soort vragen. Als de respondent dan toch een antwoord moet geven, neemt hij of zij het meest voor de hand liggende. Voornamelijk in surveys bij heterogene steekproeven komt acquiescence vaker voor (Schuman e.a., 1996, pp. 203-230). De omvang van die fenomeen wordt geschat, in orde van grootte, tussen 10% en 25% (Schuman e.a., 1996, pp. 203-230).

De onderzoeksliteratuur hieromtrent laat uitschijnen dat er verschillen bestaan tussen post- en telefoonsurveys, waarbij de telefoon gevoelig meer volgzaamheid vertoont (Dillman, 2000, p. 227; Jordan, Marcus & Reeder, 1980, pp. 362-366). Nochtans moet vermeld worden dat de literatuur terzake niet geheel consistent is (Dillman, 2000, p. 227). Hoe dan ook, de verwachting luidt dat volgzaamheid vaker zal worden vastgesteld bij mondelinge interviews, omwille van de aanwezigheid van de interviewer. Deze aanwezigheid zorgt er volgens Dillman voor dat de respondent de neiging vertoont om het eens te zijn met wat de interviewer zegt. Anderen stellen dat de vertekening door volgzaamheid in mondelinge surveys vaker voorkomt dan in schriftelijke surveys omdat deze laatste manier van dataverzameling de respondent meer tijd schenkt om over zijn of haar antwoord na te denken (Ayidiya e.a., 1990, pp. 229-247). Voor dezelfde empirische bevindingen zijn dus meerdere interpretaties voorhanden.

Bij het vaststellen van volgzaamheid wordt vaak gewerkt met gebalanceerde schalen (Mc Clendon, s.d., pp. 6-7). Hiervan is sprake wanneer in een batterij van uitspraken (die uiteraard hetzelfde concept meten) de ene helft positief en de andere helft negatief geformuleerd is.

Een relatief eenvoudige methode om volgzaamheid vast te stellen gaat dan als volgt. De ‘scoring for acquiescence’ is de som van alle items in de gebalanceerde set waarmee de respondent akkoord gaat. Bij de ‘scoring for content’ krijgt de respondent één punt voor een positief verwoord item waarmee hij of zij het eens is en één punt voor een negatief verwoord item waarmee hij of zij het oneens is. Deze methode zal hier gebruikt worden. Ook voor ‘nee-zeggen’ kan dezelfde weg gevolgd worden, maar dan uiteraard in omgekeerde richting.

Naast deze relatief eenvoudige methode voor gebalanceerde schalen is het ook mogelijk om te werken met zogenaamde ‘split ballots’. De steekproef wordt dan verdeeld in twee equivalente delen, waarbij de ene groep een positief verwoord item krijgt en de andere groep de negatieve tegenhanger (Schuman, e.a., 1996, pp. 203-230).

Een derde manier om volgzaamheid op te sporen via gebalanceerde vragensets, zijn de structurele modellen (Billiet, 2000, pp. 272-275; Billiet & McClendon, 2000, pp. 608-628). Respondenten die de neiging hebben om het met alle of met een meerderheid van de uitspraken eens te zijn, verstoren de theoretisch verwachte covarianties tussen de indicatoren. Zij veroorzaken met andere woorden gemeenschappelijke residuele covarianties die niet vanuit inhoudelijke attitudevariabelen te duiden zijn. Op die manier kan men dus een stijlkenmerk in de geregistreerde antwoorden detecteren.

In het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten wordt onder meer aandacht geschonken aan hoe graag deze studenten denkwerk verrichten. Drie negatief verwoorde uitspraken[48] en drie positieve uitspraken[49] moesten op een vijfpuntenschaal beoordeeld worden van ‘heel kenmerkend voor mezelf’ tot ‘helemaal niet kenmerkend voor mezelf’. Een ‘geen mening’ alternatief werd in geen van de drie modi aangeboden. Deze zes items hebben als achterliggend concept ‘need for cognition’, wat ook al besproken werd in verband met ‘satisficing’.

De identificatie van de ‘volgzamen’ of de ‘dwarsliggers’ gebeurt als volgt. Voor de ‘need for cognition’ werd de som berekend van het aantal uitspraken dat beantwoord werd met ‘kenmerkend voor mezelf’ of ‘heel kenmerkend voor mezelf’. Deze ‘scoring for acquiescence’ kan ook als dichotoom worden voorgesteld. Indien de respondent vijf of zes uitspraken instemmend beantwoordt, krijgt deze de waarde één, anders de waarde nul. In het eerste geval heeft de respondent ook inconsistent geantwoord. Het spreekt voor zich dat de ‘scoring for content’ laag ligt bij een hoge ‘score for acquiescence’. Respondenten met één of meer ontbrekende antwoorden werden uit de analyse gehouden. Voor de ‘dwarsliggende’ student werd de omgekeerde redenering gevolgd. Het gemiddeld aantal antwoorden dat instemmend was op de ‘need for cognition’ bedraagt 1,37. Slechts vier respondenten (0,31%) van de 1294 scoren vijf of zes instemmende antwoorden. 83 respondenten (6,41%) daarentegen scoren vijf of zes ontkennende antwoorden. Het gemiddelde bedraagt 2,68. Dezelfde berekening voor etnocentrisme[50] en utilitair individualisme[51] levert de volgende resultaten op: 44 (4,37%) van de 1006 respondenten zijn te typeren als dwarsliggers op de etnocentrismeschaal. De gemiddelde score bedraagt 3,38. Voor de utilitair-individualismeschaal zijn 129 (11,22%) van de 1150 respondenten ‘nee-zeggers’. Hier werd een gemiddelde score van 2,28 opgetekend. Respectievelijk nul en vier respondenten zijn ‘ja-zeggers’. Studenten laten zich klaarblijkelijk niet als volgzamen kenmerken. Eerder de proporties ‘nee-zeggers’ zijn in het oog springend. Om die reden valt voortaan het accent op deze dwarsliggers.

De doorsneden tussen de groepen van dwarsliggers zijn relatief klein. De correlaties tussen de drie schalen die ‘nee-zeggers’ opsporen zijn zwak te noemen. Er werd alleen een significante positieve relatie (p = 0,0269) vastgesteld tussen ‘scoring for acquiescence’ voor de etnocentrismeschaal en de utilitair individualismeschaal. Dit ontkracht de hypothese dat ‘nee-zeggen’ een persoonlijkheidskenmerk is.

Tot nu toe is vastgesteld dat acquiescence of volgzaamheid niet of nauwelijks voorkomt in de onderzochte steekproef van eerstejaarsstudenten. Eerder het tegendeel is het geval. Tabel 15 toont een overzicht van de ‘nee-zeggers’ per modus van dataverzameling en per schaal. Het gemiddeld aantal ontkennende antwoorden is hierin opgenomen. Ook het feit of een expliciete ‘geen mening’-filter is opgenomen en het percentage item non-respons is in de tabel weergegeven. Voor de etnocentrismeschaal en de utilitair individualismeschaal zijn er geen verschillen vast te stellen tussen de modi[52]. De ‘need for cognition’ vertoont wel verschillen tussen de modi. De webmodus rapporteert hier gevoelig meer ‘nee-zeggers’ dan de overige twee modi.

Tabel 15: Gemiddelde aantal ontkennende antwoorden, expliciete ‘geen mening’-filter en percentage item non-respons per modus van dataverzameling voor ‘need for cognition’, etnocentrisme en utilitair individualisme in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarstudenten (2001-2002)

	Web	Post	face-to-face
Need for cognition (n=1294)
Gemiddeld aantal ontkennende antwoorden	3,01^b	2,81^a	2,73^a
Expliciete ‘geen mening’-filter	nee	nee	nee
Item non-respons	1,31%	1,78%	0,00%
Etnocentrismeschaal (n=1006)
Gemiddeld aantal ontkennende antwoorden	2,86^a	2,79^a	2,85^a
Expliciete ‘geen mening’-filter	ja	ja	ja
Item non-respons	5,53%	8,04%	5,86%
utilitair individualismeschaal (n=1150)
Gemiddeld aantal ontkennende antwoorden	3,24^a	3,31^a	3,30^a
Expliciete ‘geen mening’-filter	ja	ja	nee
Item non-respons	3,49%	4,02%	1,89%
gemiddelden met dezelfde letter verschillen niet significant (p = 0,05) van de andere gemiddelden uit dezelfde rij Bron: eigen verwerking

Omdat ‘nee-zeggen’ per modus van dataverzameling verschilt voor de ‘need for cognition’, duikt de vraag op of deze verschillen te verklaren zijn door verschillende achtergrondkenmerken van de respondenten. Uit het vorige hoofdstuk bleek al dat webrespondenten vooral mannen zijn, die vaker dan respondenten uit de mondelinge modus hun e-mailberichten controleren en bij voorkeur uit de groep humane wetenschappen komen. Tabel 16 stelt een multiple regressiemodel voor waar de score voor ‘nee-zeggen’ verklaard wordt door deze kenmerken. Gender, de frequentie waarmee men zijn of haar e-mailberichten controleert, de groep waaraan men studeert en modus van dataverzameling zijn aldus in het model opgenomen. Aangezien al in de inleiding werd aangehaald dat volgzaamheid klasse- of opleidingsgevoelig is, werd ook deze variabele opgenomen. Wat dit laatste betreft, is het niet het opleidingsniveau van de student zelf, maar dat van de vader dat werd ingevoerd. Zowel voor ‘need for cognition’, de etnocentrismeschaal als de utilitair individualisme schaal zijn deze meervoudige regressie-analyses uitgevoerd.

Tabel 16: Gestandaardiseerde parameterschattingen voor ‘scoring for acquiescence’ naar gender, opleiding vader, modus van dataverzameling, groep waaraan men studeert en frequentie waarmee men e-mails controleert voor ‘need for cognition’, etnocentrisme en utilitair individualisme in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudent (2001-2002)

	Need for cognition (n=1187)	Etnocentrismeschaal (n=929)	Utilitair individualisme-schaal (n=939)
Gender[53] (1=man;0=vrouw)	-0,0766*	n.s.	n.s.
opleiding vader[54]
hoog	n.s.	n.s.	n.s.
midden	n.s.	n.s.	n.s.
Modus[55] (1=ja; 0=nee)
post	-0,0925**	n.s.	n.s.
face-to-face	-0,1224**	n.s.	n.s.
Groep[56] (1=ja; 0=nee)
Biomedische wetenschappen	n.s.	n.s.	n.s.
Humane wetenschappen	0,0745*	n.s.	n.s.
KUL-adres consulteren (1 = nooit; 7 = dagelijks)	n.s.	n.s.	n.s.
Pr > F	<0,0001	0,1913	0,1091
R²	0,0282	0,0104	0,0121
*: p < 0,01; : p < 0,05; n.s.: niet significant Bron: eigen verwerking

De verklaringskracht van deze regressiemodellen is eerder gering. Slechts 1% tot 2,5% van de variantie van ‘scoring for acquiescence’ kan begrepen worden door de hier aangevoerde respondentkenmerken en de modus van dataverzameling. Het ‘nee zeggen’ in de utilitair individualismeschaal en de etnocentrismeschaal kan zelf op geen enkele manier door de beschikbare achtergrondgegevens verklaard worden.

Hoger werd al aangetoond dat de webrespondenten meer te typeren waren als ‘dwarsliggers’ voor ‘need for cognition’. Dit wordt opnieuw bevestigd in tabel 16, nu zelf indien voor andere achtergrondkenmerken gecontroleerd wordt. Verder verschillen hiervoor ook de humane wetenschappen van de exacte wetenschappen voor wat betreft ‘need for cognition’. In dit geval zijn meer ‘dwarsliggers’ in de humane wetenschappen te vinden. Mannelijke studenten tonen zich iets minder als ‘nee-zeggers’ dan hun vrouwelijke collega’s in ‘need for cognition’.

De modus van dataverzameling heeft weinig effect op het vastgestelde ‘nee-zeggen’. Enkel wat betreft ‘need for cognition’ wijkt de webmodus significant af van de overige twee modi. Voor de utilitair individualismeschaal en de etnocentrismeschaal is dit fenomeen voor de drie modi dezelfde. Ook het multiple regressiemodel brengt weinig soelaas om dit verschijnsel te verduidelijken aan de hand van achtergrondkenmerken van respondenten. Bij dit laatste mag men niet vergeten dat het echter om een zeer homogene steekproef gaat.

Mogelijk komt er meer duidelijkheid indien men de vraagcontext mee in rekening brengt. Tabel 15 geeft naast het gemiddeld aantal ontkennende antwoorden ook een overzicht van item non-respons en de ‘geen mening’-filter. Maar ook deze kenmerken bieden weinig inzicht. De etnocentrismeschaal scoort relatief hoog inzake item non-respons, maar scoort dan weer gemiddeld voor ‘nee-zeggen’ of dwarsliggen. ‘Need for cognition’ scoort laag op item non-respons, omdat er geen expliciete ‘geen mening’-filter werd opgenomen, maar scoort gemiddeld voor ‘nee-zeggen’. Tenslotte is utilitair individualisme een hoogvlieger inzake ‘nee-zeggen’, maar eerder gemiddeld in item non-respons. Het ontbreekt duidelijk aan regelmatigheden om hierachter enige logica te vinden.

Niettemin is het opvallend dat de concepten zelf onderling relatief sterk afwijken. Voor de etnocentrismeschaal noteren we een percentage ‘nee-zeggers’ van 4,37. Dit wijkt af van de utilitair individualismeschaal met 11,22%. ‘Need for cognition’ houdt het midden met 6,41%. ‘Nee-zeggen’ wijkt dus sterker af tussen de inhoudelijke concepten dan tussen de modi. Indien voor milieubesef[57] eenzelfde berekening wordt doorgevoerd, vinden we 19 van de 1169 (1,63%) respondenten die vijf of zes keer een uitspraak ontkennend aanvinken. Slechts twee respondenten werden geïdentificeerd als volgzaam. Afhankelijk van het gemeten concept kan het gedeelte ‘nee-zeggers’ dus bijna 10 procentpunten verschillen.

In mondelinge interviews spelen in het bijzonder normatieve elementen een rol. De sociale interactie veronderstelt dat de actoren zich uitdrukken op een manier die sociaal of cultureel aanvaard is (Dillman, 2000, 226-227). Omwille van deze interactiviteit tussen respondent en interviewer, wordt van mondelinge surveys verwacht dat ze meer sociaal wenselijke antwoorden produceren.

Hoewel er eensgezindheid bestaat over het feit dat sociale wenselijkheid één van de belangrijkste stoorzenders is, in voornamelijk mondelinge enquêtes, laat de conceptuele consensus erover vaak te wensen over (DeMaio, 1984, pp. 257-282). Een eenvoudig gedachtenexperiment maakt al gauw duidelijk waaraan deze onenigheid te danken is. Eenvoudig gesteld komt sociale wenselijkheid er op neer dat de respondent van zichzelf een gunstige impressie wil neerzetten in het bijzijn van derden, in dit geval de interviewer. Nochtans is de bron van iemands notie van wat sociaal acceptabel is ambigu. Aan de ene kant kan men ervan uitgaan dat de definitie van wat sociaal aanvaard is, is ingegeven door waarden en normen die in een samenleving als universeel gelden. Doorheen het socialisatieproces maken individuen zich deze waarden en normen eigen. Aan de andere kant is het niet altijd duidelijk wat deze waarden en normen precies zijn. Bovendien kunnen waarden en normen variëren naargelang regio, gender, leeftijd, sociale klasse, enzovoort.

Uit het voorgaand gedachtenexperiment mag blijken dat het geen sinecure is om sociale wenselijkheid te definiëren. Bijgevolg is ook het vaststellen ervan ook geen eenvoudige klus. Een poging om sociale wenselijk op te sporen in het onderzoek naar milieubesef bij studenten gebeurt hier aan de hand van twee items uit de vragenlijst. Vooreerst gaan we dieper in op de vraag hoe aangenaam de respondenten de enquête vonden. Het tweede item peilt naar de frequentie waarmee studenten erotische websites bezoeken. Telkens zal worden nagegaan of de drie modi (en in het bijzonder de mondelinge modus) van elkaar verschillen.

Aan het einde van de vragenlijst kregen de respondenten de kans de survey zelf te evalueren. Zo werd onder meer gevraagd hoe aangenaam de ervaring was van het invullen van de vragenlijst. Er waren vijf antwoordmogelijkheden gaande van ‘zeer aangename ervaring’ tot ‘zeer onaangename ervaring’, met een neutraal middenalternatief. Over het algemeen gaf 43,63% van de respondenten te kennen dat het een aangename of zeer aangename ervaring was. Bijna de helft (49,24%) koos voor ‘noch aangenaam, noch onaangenaam’. Een kleine minderheid dus vond de vragenlijst onaangenaam tot zeer onaangenaam. Bijna 70% van de respondenten uit de mondelinge bevraging vond het een aangename tot zeer aangename ervaring. Zoals tabel 17 aangeeft is dit ongeveer dubbel zoveel als in de overige twee modi. Merk wel op dat in er significante verschillen te noteren zijn tussen de post en de websurvey[58], hoewel deze verschillen miniem zijn.

De voornaamste bekommernis gaat echter uit naar de reusachtige verschillen met betrekking tot de mondelinge modus. Of deze verschillen te wijten aan zijn aan sociale wenselijkheid lijkt op het eerste zicht vanzelfsprekend. Nochtans is hier enige voorzichtigheid geboden. In feite gaat het hier om drie verschillende vragen. De webrespondenten gaven hun bevindingen over de ervaring met de webvragenlijst, de postrespondenten over de postvragenlijst en de respondenten van de mondelinge vragenlijst over de hun modus.

Er valt haast ontegensprekelijk te concluderen dat hier een moduseffect aan de orde is. Nochtans is het onduidelijk waaraan dit effect juist te wijten is. Ofwel is er sprake van sociale wenselijkheid, ofwel is het mogelijk dat mondelinge interviews nu eenmaal aangenamer zijn. Een combinatie van beide interpretaties staat natuurlijk ook nog open. Wie in deze casus voorstander is van een effect van sociale wenselijkheid, zal argumenteren dat er zekere interactieregels van kracht zijn in mondelinge interview. De respondent kan van zijn kant bedacht worden met de regel ‘Breng de interviewer niet in verlegenheid door te zeggen dat je zijn of haar enquête maar niks vindt’. Bovendien zou een dergelijke regel aanspraak maken op universaliteit. Het pleit dan ook in het voordeel van de verdedigers van sociale wenselijkheid dat slechts een handvol respondenten deze interactieregel niet volgen. Bovendien zijn er met betrekking tot achtergrondgegevens van de respondenten uit de mondelinge survey weinig verbanden te bespeuren. Noch de faculteit of de groep waaraan men studeert, noch het geslacht van de respondent maakt enig verschil. Ook het opleidingsniveau van vader of moeder heeft met deze vaststelling niets te maken. Voor de andere twee modi kan men stellen dat de interactieregels niet gelden. Voor de web- en de postsurvey noteren we respectievelijk 11,69% en 6,58% van de respondenten die de ervaring met het onderzoek onaangenaam of zeer onaangenaam beoordelen, hetgeen een veelvoud is van de mondelinge modus (1,89%). Als bijkomend argument kan gesteld worden dat bij de web- en postsurvey achtergrondkenmerken wel van belang zijn. Mannelijke respondenten die de vragenlijst via de post afwerkten zijn minder gunstig gestemd over hun ervaring[59]. Voor de webmodus zijn in dit verband geen significante verschillen vastgesteld. Ook wat betreft de groep waaraan men studeert zijn verschillen te noteren. Humane wetenschappers spreken zich met meer enthousiasme uit over hun ervaring met de vragenlijst. Dit geld zowel voor de web- als voor de postsurvey.

Tabel 17: Frequentieverdelingen voor het aangenaam beoordelen van vragenlijst naargelang de modus van dataverzameling in het onderzoek naar milieubewustzijn bij Leuvense studenten (2001-2002)[60]

De tweede mogelijkheid om deze moduseffecten te interpreteren bestaat erin dat de mondelinge vragenlijst op zich een aangenamer beoordeling krijgt. De respondent hoeft tijdens het interview alleen na te denken en antwoorden uit te spreken. De interviewer doet de rest en maakt het de respondent gemakkelijk. Het hoeft daarbij gezegd dat de mondelinge enquêtes gevoerd werden met een corps van 42 interviewers. Hoewel deze interviewers allemaal studenten sociologie waren uit de tweede of enige kandidatuur en bovendien allen dezelfde interviewtraining doorgemaakt hadden, kan niet ontkend worden dat er wezenlijke verschillen tussen deze interviewers blijven bestaan. Genderverschillen zijn daarvan een goed voorbeeld (Billiet, 2001, pp. 401-403). Ook blijkt dat interviewergedrag nooit volledig kan gestandaardiseerd worden (Loosveldt, e.a., 2001, pp. 11-43). Bovendien heeft een vraag als ‘Hoe aangenaam of onaangenaam vond je de ervaring met dit interview?’ rechtstreeks en voor een groot deel te maken met de prestaties en de kwaliteiten die de interviewer aan boord kon leggen ten aanzien van de respondent. Dit wil zeggen dat een respondent die is toegewezen aan een interviewer wiens kwaliteiten bescheiden zijn, ook een bescheiden evaluatie zal maken van het interview. Door middel van een multilevel model kan worden nagegaan of er een interviewereffect is op de antwoorden in verband met het al dan niet aangenaam zijn van het interview. De intra-classcorrelatie van dit model bedraagt 0,0060, hetgeen onbeduidend is[61]. Er is dus geen effect van de interviewer op beoordeling van de survey. Dit laatste steunt met andere woorden de hypothese dat de vastgestelde verschillen tussen de mondelinge en schriftelijke surveys te wijten zijn aan sociale wenselijkheid.

Naast deze uiteenzetting kan ook nog aangevoerd worden dat de respondenten die aan de face-to-face modus zijn toegewezen in feite weigeraars zijn van de andere twee modi. Paradoxaal genoeg zouden respondenten die eerst weigeren deel te nemen aan de survey nadien tijdens de mondelinge bevraging een aangename ervaring rapporteren.

De vraag of de survey al dan niet een aangename ervaring is voor de respondent, is op zich wel interessant om sociale wenselijkheid op te sporen. Desalniettemin is dit slechts een vraag die in de marge van het onderzoek naar milieubesef werd gesteld. Het wordt dus zaak om op zoek te gaan naar variabelen die ook inhoudelijk relevant zijn. Zo werd gepeild naar de frequentie waarmee studenten op het internet op zoek gaan naar erotiek. Niet dat dit item zo zeer te maken heeft met milieubesef, het is in elk geval wel een vraag die inhoudelijk betekenisvol kan zijn in het kader van internetgebruik door studenten. Onder de algemene benaming beschrijft Jeurissen (2003, pp. 14) cyberseks als een onlichamelijke of ingebeelde liefde. Door middel van webvragenlijsten ondervroeg ze eerste licentiestudenten van de KUL hierover. Goed één vierde van de genodigden gingen in op het verzoek om de vragenlijst af te werken. 79% van de studenten die de vragenlijst invulden, komt er grif voor uit dat ze het fenomeen cyberseks kennen en er gebruik van maken.

De operationalisering van het begrip cyberseks in het onderzoek naar milieubewustzijn gebeurde als volgt. De respondenten kregen een aantal zaken, waaronder erotiek, voorgelegd waarvoor het internet kan gebruikt worden. De zeven antwoordmogelijkheden die voor de drie modi expliciet dezelfde waren gingen van ‘bijna elke dag’ tot ‘bijna nooit of nooit’. Tot deze laatste categorie behoort 75,56% van de studenten wanneer het item in verband met erotiek werd aangesneden. Daarom werd er voor gekozen deze groep de waarde nul mee te geven. De overige zes categorieën kregen de waarde één mee, hetgeen erop wijst dat deze respondenten minstens enkele keren per jaar het internet voor erotische doeleinden gebruiken.

In het licht van de evaluatie van dit mixed mode design is van belang na te gaan of er verschillen naargelang de modus van dataverzameling zijn vast te stellen. De web- en de postmodus verschillen nauwelijks van mekaar[62]. 28,67% van de webrespondenten en 25,48% van de postrespondenten verklaart enkele keren per jaar of vaker erotiek op het internet te consulteren. Voor de respondenten uit de mondelinge modus geldt hier slechts 17,54%. Deze modus verschilt op dit domein significant van de webversie[63] en de postvariant[64]. Uiteraard is het in dit verband weer belangrijk te weten dat de webrespondenten niet dezelfde zijn als de postrespondenten of de deelnemers van het mondelinge interview. Er dient dus gecontroleerd te worden voor achtergrondkenmerken zoals geslacht, surfgedrag en de groep waaraan men studeert. Tabel 18 geeft hiervan bij wijze van een logistisch regressiemodel een overzicht.

Tabel 18: Parameterschattingen[65] voor cyberseks naar gender, modus van dataverzameling, surffrequentie en groep waaraan men studeert in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)

Bovenstaand model blijkt goed in staat de kansen met betrekking tot het bezoeken van erotiek op het internet te modelleren. Alleen de groep waaraan men studeert zou een overbodige variabele zijn in het model. Het geslacht maakt wellicht het grootste verschil, maar ook de modus van dataverzameling en de frequentie waarmee men op het internet surft zijn belangrijke factoren. Tabel 19 geeft een overzicht van de voorspelde kansen naargelang geslacht, surffrequentie en geslacht. Voor de eenvoud is surffrequentie dichotoom gehercodeerd.

Tabel 19: Voorspelde kansen voor het al dan niet erotiek zoeken op het internet naar surffrequentie, gender en modus van dataverzameling in het onderzoek naar milieubewustzijn bij Leuvense eerstejaarsstudenten (2001-2002)[68]

Surffrequentie	Gender	Modus van dataverzameling	voorspelde kans
Dagelijks	Man	Web	61,87%
Dagelijks	Man	Post	59,35%
Dagelijks	Man	Mondeling	40,57%
minder dan dagelijks	Man	Web	41,94%
minder dan dagelijks	Man	Post	39,39%
minder dan dagelijks	Man	Mondeling	23,30%
Dagelijks	Vrouw	Web	11,94%
Dagelijks	Vrouw	Post	10,87%
Dagelijks	Vrouw	Mondeling	5,40%
minder dan dagelijks	Vrouw	Web	5,69%
minder dan dagelijks	Vrouw	Post	5,15%
minder dan dagelijks	Vrouw	Mondeling	2,48%
Bron: eigen verwerking

Deze tabel laat zien dat de geslachtsverschillen bijzonder groot zijn. Mannen die dagelijks surfen en via het web zijn bevraagd maken een kans van 61,87% om wel eens erotiek op het wereldwijde web te zoeken. Voor hun vrouwelijke tegenhangers is dit slechts 11,94%. Vanzelfsprekend laat ook de surffrequentie opmerkelijke verschillen noteren. Belangrijker is echter dat de modusverschillen overeind blijven in dit multivariaat model. Na te hebben gecontroleerd voor geslacht en surffrequentie rapporteren webrespondenten meer dan twee keer meer erotiek op het internet te bezoeken dan de respondenten uit de mondelinge modus.

Het lijkt aanvaardbaar te stellen dat sociaal wenselijke antwoorden vaker genoteerd worden in mondelinge surveys. Zeker indien is gecontroleerd voor de achtergrondkenmerken voor de respondenten, blijven er verschillen tussen de modi overeind. De aanwezigheid van een interviewer zorgt er dus voor dat de respondent zich correct wil presenteren. Het is echter de vraag wat respondenten nu net definiëren wat als sociaal wenselijk kan doorgaan. In het voorbeeld over hoe aangenaam de studenten de survey vonden kan gesteld worden dat er enigszins, op een handvol uitzonderingen na, unanimiteit is over het aanvaardbare. Cyberseks daarentegen wekt blijkbaar meer meningsverschillen op. Een mogelijk relevant onderscheid tussen beide vragen is dat de vraag over het aangenaam zijn van de survey autoreferentieel is. Zulk een vraag verwijst als het ware naar de survey zelf, of naar de relatie tussen interviewer en geïnterviewde. In dit geval moet de respondent zich aan een aantal interactieregels houden die voor iedereen gelden. In het geval van cyberseks moet de respondent een object beoordelen dat buiten de survey staat, wat alloreferentialiteit kan genoemd worden. De definitie van wat aanvaardbaar is, kan dan verschillend zijn.

In het onderzoek naar milieubesef bij Leuvense studenten werd buiten het al dan niet aangenaam zijn van de survey-ervaring ook gepeild naar wat de respondenten vonden van de wetenschappelijkheid, zinvolheid, vertrouwelijkheid, representativiteit en geloofwaardigheid. Het is nochtans de vraag of deze items wel aan de eisen van de zelfreferentialiteit voldoen. Zo werd onder meer gevraagd ‘In welke mate vind je dat dit soort onderzoeken in het algemeen zinvol zijn?’ Waar het bij de vraag naar het aangenaam zijn van de survey duidelijk was dat het om zelfreferentialiteit ging, is het in het voorbeeld in verband met zinvolheid minder het geval. Mogelijk is dit de reden waarom bij deze vraag meer respondenten een ongunstig antwoord lieten noteren in de face-to-face modus. Tabel 20 geeft hiervan een overzicht.

Tabel 20: Percentage van de respondenten dat ongunstige antwoorden geeft op (quasi-) zelfreferentiële vragen naargelang de modus van dataverzameling in het onderzoek naar milieubewsutzijn bij Leuvense eerstejaarsstudenten (2001-2002)[69]

De mondelinge modus is op één vraag na significant verschillend van de schriftelijke modi, hetgeen laat vermoeden dat sociale druk, omwille van de aanwezigheid van de interviewer, hier hoger ligt.

Dat een mixed mode survey een goede methode is om de respons op te drijven, lijkt gezien vorige hoofdstuk 2 een evidentie te zijn. In dit hoofdstuk werd daarentegen dieper ingegaan op de datakwaliteit van een mixed mode design. Zowel item non-respons, het geven van extreme antwoorden, differentiëren tussen items, volgzaamheid als sociale wenselijkheid passeerden de revue. Telkens werd nagegaan of moduseffecten deel uitmaakten van de vertekening van de geregistreerde data. Aangezien de gebruikte modi in het onderzoek naar milieubesef inherent verschillen vertonen, viel ook te verwachten dat de data daardoor aangetast zouden zijn. Vooral het onderscheid mondelinge versus schriftelijke vragenlijst is bij Dillman terug te vinden als voornaamste bron van vertekening. Schriftelijke vragenlijsten zijn meestal visueel van aard en door het gebrek aan een interviewer beheerst de respondent het antwoordproces. Bovendien is de normatieve druk op de respondent kleiner in het geval van schriftelijke surveys.

De hier gepresenteerde analyses maken duidelijk dat zulke moduseffecten wel degelijk bestaan. De omvang ervan is echter gering, zeker met betrekking tot item non-respons en ‘nee-zeggen’. Voor de vertekening door sociale wenselijkheid werden dan weer grotere verschillen opgetekend. Ook met betrekking tot het registreren van extreme antwoorden werden aanzienlijke verschillen genoteerd tussen de modi, in het bijzonder tussen de schriftelijke en de mondelinge versies. Nog belangrijker echter is de vraagcontext. De ‘geen mening’-filter of de vraagverwoording bijvoorbeeld zijn in staat om meer verscheidenheid in antwoorden te generen dan de modus waarlangs de data zijn verkregen. Ook kunnen concepten, in de inhoudelijke zin van het woord, sterk variëren in datakwaliteit. Een voorbeeld daarvan is het verschil in ‘nee-zeggen’ dat voor concepten als milieubesef en utilitair individualisme werd vastgesteld.

Tabel 21 geeft een overzicht van de besproken stoorzenders in relatie tot de onderzochte indicatoren van item non-respons. Vooreerst valt daarin de aandacht op de verschillen die tussen de modi van dataverzameling zijn vastgesteld. Vervolgens is het de beurt aan de achtergrondkenmerken. De studierichting of de groep waaraan men studeert is van bestaande maar geringe invloed op item non-respons, dwarsliggen of sociale wenselijkheid. Geslachtsverschillen zijn met betrekking tot deze problematiek slechts marginaal. Tot slot zijn er her en der wel correlaties teruggevonden tussen items die dezelfde indicatoren van datakwaliteit meten. Dit wil zeggen dat bijvoorbeeld respondenten die op attitudevragen vaak vragen onbeantwoord laten, dit ook doen voor gedragsvragen. Het is daarmee uiteraard niet gezegd dat hiermee persoonlijkheidstrekken ontdekt zijn. Met betrekking tot deze verschillen die achtergrondkenmerken genereren mag wel vermeld worden dat de steekproef die hier ondervraagd is opmerkelijk homogeen is. Het onderzoek over milieubesef heeft alleen Leuvense kotstudenten uit de eerste kandidatuur ondervraagd. Dat in surveys met een meer heterogene steekproefsamenstelling een grotere invloed uitgaat van achtergrondkenmerken, is evident. Zo laten studenten zich bijvoorbeeld kenmerken als dwarsliggers in plaats van ja-knikkers. In een meer diverse samenstelling van de onderzoeksdoelgroep zullen studenten op dit gebied eerder een marginale subcultuur zijn. Bovendien moet ook worden aangekaart dat achtergrondkenmerken niet los staan van de modus van dataverzameling. In het hoofdstuk over de outputevaluatie van de gerealiseerde steekproef werd duidelijk dat modi van dataverzameling een verschillend publiek aantrekken, vooral dan de webmodus.

Het mag niet aan de aandacht ontsnappen dat de invloed van de vraagcontext wellicht de grootste stoorzender is op het gebied van datakwaliteit. Het al dan niet opnemen van een ‘geen mening’-filter heeft uiteraard gevoelige gevolgen voor de item non-respons. Ook zijn in dit domein aanzienlijke verschillen te constateren tussen bijvoorbeeld kennisvragen en gedragsvragen. Met het oog op dwarsliggen zijn de concepten inhoudelijk van het grootste belang.

Tabel 21: Relatie tussen vertekenende factoren en indicatoren van datakwaliteit

In dit besluit zal worden teruggekoppeld naar de algemene probleemstelling van deze verhandeling en de concrete hypothesen die daaruit voortkomen. Ook zullen pistes voor verder onderzoek of theoretische reflecties naar voor geschoven worden.

Wat betreft de behaalde responsgraad in het onderzoek naar milieubesef bij Leuvense eerstejaarsstudenten kan alleszins een positieve balans opgemaakt worden voor het mixed mode survey design. In totaal waren 1329 (80,55%) van de 1650 steekproefelementen bereid mee te werken aan de survey. Rekening houdend met het feit dat niet alle weigeraars uit de websurvey werden opgevolgd en dat de webrespondenten die de vragenlijst slechts gedeeltelijk invulden niet opnieuw de kans werd gegeven om deel te nemen aan de mondelinge modus loopt de responsgraad op tot boven 85%. Deze responsgraad werd voor het grootste gedeelte bereikt door de eerste fase van dataverzameling (64% voor de postsurvey en 54% door de websurvey). De tweede fase van dataverzameling in de vorm van en mondeling interview realiseerde daar bovenop nog eens 21% oorspronkelijke steeekproefeenheden van de postmodus en 23% oorspronkelijke kandidaten van de webmodus. Opnieuw rekening houdend met het feit dat niet alle weigeraars van de webmodus werden opgenomen voor opvolging komen beide vertrekmodi tot vergelijkbare responsgraden van ongeveer 85%. Het is niet geheel duidelijk of deze responsgraad bij deze specifieke populatie hoger was geweest indien alleen een mondelinge modus zou ingezet geweest zijn. Wel kan gesteld worden dat besparing van tijd en middelen als gevolg de twee schriftelijke modi die het grootste deel van de steekproef voor hun rekening namen kan aangestipt worden als een voornaam voordeel van een dergelijk mixed mode design. Zo bleek dat voor de webmodus na 48 uur reeds de helft van de gerealiseerde steekproef gereageerd had, voor de postmodus was dit na 10 dagen het geval.

Niettegenstaande dat kandidaat respondenten op toevallige basis werden toegewezen aan de twee vertrekmodi, valt te verwachten dat de deelname eraan op enige systematiek berust. Zo werd vastgesteld dat een aantal facuteiten over- of ondervertegenwoordigd waren dan vanuit het steekproefkader kan verwacht worden. In het bijzonder is het de webmodus die met dergelijke problemen van representativiteit heeft af te rekenen. Op de rechtsfaculteit na zijn het vooral de humane wetenschappers die zich door de webvragenlijst aangetrokken voelde. Biomedische wetenschappers daarentegen waren significant ondervertegenwoordigd in de websurvey. Voor de postsurvey werd er geen significante vertekening ten gevolge van systematische uitval genoteerd. Het dient wel gezegd dat de mondelinge survey corrigerend optreed inzake representativiteit, althans wat betreft de faculteit waaraan men studeert. Systematische uitval naar geslacht werd niet teruggevonden. Eigen aan de webmodus is dat de deelname ervan bepaald wordt en ingeschat kan worden aan de hand van de frequentie waarmee men zijn of haar e-mailberichten controleerd. Dit bleek uit de analyse waar webrespondenten vergeleken werden met de weigeraars van de webmodus die in het mondelinge interview werden bevraagd. Voor de postsuervey werden geen noemenswaardige verschillen vastgesteld tussen deelnemers en weigeraars.

Het grootste deel van deze verhandeling is gewijd aan modusverschillen op het niveau van de geregistreerde antwoorden. Over het algemeen werd verwacht dat de twee schriftelijke modi gelijkaardige patronen zouden vertonen en dat de voornaamste verschillen dienen gezocht te worden tussen de mondelinge en de schriftelijke modi van dataverzameling. Deze hypothese bleek ook grotendeels op te gaan. Dit onderscheid tussen schriftelijke en mondelinge modi van dataverzameling levert significante resultaten op met betrekking tot sociale wenselijkheid en het geven van extreme antwoorden. Ook de mate waarin respondenten items differentiëren houdt verband met het onderscheid schriftelijke versus mondelinge dataverzameling. Sociale wenselijkheid komt opvallend vaker voor in de mondelinge modus. Ook geven deze respondenten minder vaak extreme antwoorden. Differentiëren in antwoordmogelijkheden tussen de verschillende items van een vragenlijst doen respondenten van de schriftelijke modi naar alle waarschijnlijkheid meer. Voor item non-respons en nee-zeggen werden slechts geringe of geen modusverschillen vastgesteld.

Er moet echter wel op gewezen worden dat meetfouten vanzelfsprekend niet alleen aan modusverschillen kunnen toegeschreven worden. Zo heeft het opnemen van een expliciete ‘geen mening’-filter een grotere invloed op het geven van niet-substantiële antwoorden dan de modus van dataverzameling. Ook het soort van vragen zoals kennisvragen of atitudevragen blijken uiteenlopende proporties item non-respons voort te brengen. Bij de bespreking van extreme antwoorden werd vastgesteld dat, naast aanzienlijke modusverschillen, grote verschillen te noteren zijn tussen inhoudelijk verschillende items. Zo geven respondenten dubbel zoveel extreme antwoorden indien gepeild wordt naar hun houding tegenover het homohuwelijk dan wanneer naar de houding tegenover euthanasie wordt gevraagd. Ook bij de behandeling van nee-zeggen werd geconstateerd dat de proportie nee-zeggers sterk kan uiteenlopen naargelang het inhoudelijk concept waarlangs het nee-zeggen werd gemeten.

In wat nu volgt worden enkele suggesties gepresenteerd voor eventuele verdere onderzoeken of theoretische overwegingen.

In het onderzoek naar milieubesef bij Leuvense studenten werd gestart met een schriftelijke bevraging door middel van een post- en een websurvey. Kandidaat-respondenten werden, rekening houdend met de faculteit waaraan ze studeren, op toevalsbasis aan deze modi toegewezen. Weigeraars van deze modi werden opgevangen door de mondelinge modus. Op het eerste zicht lijkt het dat op die manier de respons geoptimaliseerd werd. Toch kan hier niet met de grootste zekerheid over besloten worden. In de veronderstelling dat alle respondenten onmiddellijk door een interviewer bezocht werden, bestaat de kans de responsgraad nog hoger was uitgevallen. De evaluatie van de gerealiseerde steekproef zou dus meer optimaal verlopen zijn indien tijdens de eerste ronde van dataverzameling een controlegroep (eveneens op toevalsbasis geselecteerd) een mondeling interview werd voorgelegd. Figuur 3, als uitbreiding op figuur 1 geeft dit schematisch weer.

Figuur 3: Schematische weergave van het proces van dataverzameling met fictieve controlegroep

Bovendien biedt dit fictieve design de mogelijkheid om een sterker onderscheid te maken wat betreft meetfouten die het gevolg zijn van weigeringen en meetfouten die het gevolg zijn van de intrinsieke kenmerken van de mondelinge modus. Bij gebrek aan zulk een controlegroep moest dus een beroep gedaan worden op de vraag of deelnemers aan de mondelinge survey de introductiebrief of -e-mail voor één van de twee schriftelijke modi hadden gelezen. Van deze vraag kan echter verwacht worden dat ze mogelijk vertekend wordt door sociale wenselijkheid, wat de geldigheid van deze variabele in het gedrang brengt.

Dat in het onderzoek naar milieubesef een relatief homogene steekproef ondervraagd werd biedt het voordeel dat analyses waarbij modusverschillen centraal staan minder complex zijn aangezien de verscheidenheid in achtergrondkenmerken eerder gering is. Dit zorgt ervoor dat eventule modusverschillen beter tot uiting komen. Anderzijds is de veralgemeenbaarheid van de bevindingen eerder bescheiden. Acquiescence kan hiervoor als voorbeeld aangehaald worden. De onderzochte steekproef van studenten vertoonde vooral een ontkennende stemming. Indien een meer heterogene steekproef, bijvoorbeeld uit de Vlaamse bevolking, aan de survey zou deelnemen, kan verwacht worden dat dit nee-zeggen plaats zou moeten ruimen voor ja-zeggen. Het is dan ook de vraag of en welke modusverschillen hier zouden aangetroffen worden.

Aangezien mixed mode designs een relatief nieuw instrument zijn voor surveys, zijn ook de theoretische inzichten nog niet tot volle wasdom gekomen, voornamelijk inzake de te verwachte meetfouten. Behalve voor de vertekening van de geregistreerde antwoorden door sociale wenselijkheid zijn er geen duidelijke interpretatiekaders voorhanden om modusverschillen te duiden. Hopelijk mag deze verhandeling daar een, weliswaar bescheiden, steentje toe bijdragen. In het bijzonder wil ik het antwoordproces dat mogelijk verschillend verloopt naargelang de modus van dataverzameling aanstippen als opstap naar verdere inzichten. Met betrekking tot satisficing bijvoorbeeld werd verondersteld dat de tijdsdruk op de respondent kan verschillen tussen schriftelijke en mondelinge enquêtes. Of deze veronderstelling klopt kan alleen worden uitgemaakt indien dit antwoordproces grondig wordt onderzocht.

Afsluiten zou ik graag doen met een postitief geluid. Dat een mixed mode design zoals het hier werd georganiseerd leidt tot een snelle en relatief hoge responsgraad, lijkt zeer waarschijnlijk. Bovendien komen meetfouten boven water die anders slechts een blinde vlek zouden zijn, indien zonder meer maar één modus van dataverzameling wordt ingezet,. Zowel voor onderzoekers die geïnteresseerd zijn in het opsporen van meetfouten als voor onderzoekers die deze meetfouten willen verhelpen, zijn mixed mode designs zeker een must.

[1] streekproefelementen die verwijderd werden uit de steekproef omwille van ontoereikende adresgegevens of kenmerken die niet voldoen aan populatieomschrijving

[2] de Wilcoxon Two-Sample Test geeft een kans op behoud van de nulhypothese van minder dan 0,0001 aan

[3] De respondenten die de vragenlijst slechts partieel invulden zijn niet opgenomen in de berekening

[4] dit gegeven is afkomstig van de dienst onderwijsbeleid van de K.U.L.

[5] chi² = 0,38; df = 1; p = 0,5377

[6] chi² = 1,01; df = 1; p = 0,3155

[7] chi² = 1,87; df = 1; p = 0,1709

[8] chi² = 0,32; df = 1; p = 0,5693

[9] De schattingen zijn gemodelleerd naar web = 1 = deelname aan websurvey en naar post = 1 = deelname aan postsurvey.

[10] Het opleidingsniveau werd op volgende wijze herschaald: laag opleidingsniveau = maximaal lager secundair onderwijs; middelmatig opleidingsniveau = maximaal hoger secundair onderwijs; hoog opleidingsniveau = (niet) universitair hoger onderwijs. In de analyse werd het middelmatig opleidingsniveau zowel voor de vader als de moeder als referentiecategorie genomen.

[11] De groep biomedische wetenschappen fungeert als refererentiecategorie.

[12] deze schaal verwijst naar uitspraken zoals: “lucht, bodem en water zijn reeds sterk verontreinigd”, “ als alles verder blijft duren zoals nu zullen we binnenkort een grote ecologische crisis meemaken”, “de hele milieuproblematiek moet heel wat meer aandacht krijgen”, “dat er steeds meer bomen worden gekapt is een ernstig probleem”, “er wordt te veel drukte gemaakt over de zogenaamde luchtvervuiling door de industrie”

[13] t = -0,27; df = 364;p = 0,7875

[14] df = 467; t = -0,06; p = ,9515

[15] df = 466; t = 0,16; p = ,8763

[16] Deze items zijn gebundeld in batterijen van vragen die peilen naar sociaal-economisch conservatisme (8 items), utilitair individualisme (zeven items), culturele affiliatie (vier items), cultureel conservatisme (vier items), etnocentrisme (zes items) en milieubesef (21 items)

[17] Deze vijf items zijn stellingen waarop de respondent kon antwoorden met ‘juist’, ‘fout’ of ‘weet niet’. Deze stellingen waren: ‘Alle radioactieve straling wordt veroorzaakt door mensen ‘, ‘Mensen belangrijkste oorzaak uitsterven plantensoorten en dierensoorten’, ‘Van nature uit zware metalen aanwezig in het milieu’, ‘Elke keer we gas of kolen gebruiken dragen we bij aan het broeikaseffect’ en ‘Alle pesticiden veroorzaken kanker bij mensen’

[18] Deze items gaan over milieuvriendelijk gedag

[19] Dit heeft tot gevolg dat een aantal respondenten niet in de analyse zijn opgenomen. Voor de webmodus zijn 456 eenheden betrokken in de berekening, voor de postmodus 444 en voor de mondelinge modus 358.

[20] chi²= 2,5099; df= 1; p=0,1131

[21] Het aantal respondenten waarop deze gegevens betrekking hebben verschillen van de andere vraagsoorten (web=456, post=444, face-to-face=358 en totaal=1258).

[22] Aangezien het face-to-face luik niet in deze gegevens is opgenomen, bedraagt het aantal respondenten waarop percentage betrekking heeft 959.

[23] De Wilcoxon Two Sample Test vertoonde een 2-zijdig kans van ,3867.

[24] De Wilcoxon Two Sample Test vertoonde een 2-zijdig kans van ,0006 voor opinievragen in vergelijking met kennisvragen en ,0004 voor gedragsvragen in vergelijking met kennisvragen

[25] De Wilcoxon Two Sample Test vertoonde een 2-zijdig kans van respectievelijk ,0223 en ,0318.

[26] In deze analyse zijn waarden van item nonrespons van meer dan 20 van de 50 weggelaten. Daardoor bleven 17 respondenten uit de berekening.

[27] De Wilcoxon Two Samlpe Tests geven een p-waarde van 0,0024 tussen post en web, 0,003 tussen web en face-to-face en 0,9227 tussen post en face-to-face. De tests zijn stabiel na het weglaten van outliers.

[28] Omwille van het niet voldoen aan de normaliteitsassumptie van item non-respons, wordt hier niet voor een multiple regressiemodel geopteerd.

[29] De schattingen zijn gemodelleerd naar item non-respons = 0

[30] De webmodus geldt hier als referentiecategorie

[31] De groep humane wetenschappen geldt hier als referentiecategorie

[32] Wald chi² van de parameterschatting = 0,0513; df = 1; p = 0,8202

[33] chi² = 4,17; df = 4; p = ,3830

[34] T = 1,198; df = 935; p = 0,0476

[35] T-test voor webmodus en face-to-face: T = 7,10; df = 818; p < 0,0001. T-test voor postmodus en face-to-face: T = 5,01; df = 824; p < 0,0001.

[36] T = 1,83, df = 827; p = 0,0678

[37] de chi²-waarde die bij de variabele milieubesef hoort in het model waar webdeelname wordt ingeschat daalt van 16,56 (df = 1) indien attitudesterkte is opnomen naar 2,41 indien alleen attituderichting is opgenomen. Voor het model dat postdeelname inschat daalt deze chi² van 12,93 naar 0,39.

[38] deze uitspraken zijn: ‘Abortus moet verboden worden’, ‘Het gebruik van softdrugs moet wettelijk toegelaten worden, gelegaliseerd worden’, ‘twee mensen van hetzelfde geslacht moeten wettelijk kunnen trouwen met elkaar’, ‘mensen moeten steeds kunnen beslissen wanneer ze hun leven willen beëindigen’

[39] De Wilcoxon Two Sample test geeft hier een statistisch significant verschil aan op een niveau van p kleiner 0,0001. Outliers van meer dan 100 minuten zijn uit de analyse gehouden.

[40] de Wilcoxon Two-Sample Test geeft een aanvaardingskans van kleiner dan 0,0001.

[41] De mondelinge modus is de referetiecategorie

[42] biomedische wetenschappen is de referentiecategorie

[43] Deze items zijn: ‘ de mensheid, onze naasten, solidariteit, ... wat een onzin allemaal: iedereen moet eerst voor zichzelf zorgen en zijn belangen verdedigen’, ‘Wat telt is geld en macht, de rest zijn praatjes’ en ‘ Het nastreven van je persoonlijke succes is belangrijker dan te zorgen voor een goede verstandhouding met je medemens’.

[44] Chi² = 11,45; df = 8; p = 0,1775

[45] deze items zijn: ‘Het gebruik van softdrugs moet wettelijk toegelaten worden, gelegaliseerd worden’, ‘twee mensen van hetzelfde geslacht moeten wettelijk kunnen trouwen met elkaar’ en ‘mensen moeten steeds kunnen beslissen wanneer ze hun leven willen beëindigen’

[46] ‘Abortus moet verboden worden’

[47] Chi² = 35,63; df = 8; p < 0,0001

[48] Deze uitspraken zijn: ‘Denken is niet precies mijn idee van plezier hebben’, ‘Ik doe liever iets waarbij weinig hoeft nagedacht te wordendan iets waarbij mijn denkvermogen zeker op proef wordt gesteld’, ‘Ik denk alleen zoveel als nodig is’

[49] Deze uitspraken zijn: ‘Ik ben graag verantwoordelijk voor een situatie waarin veel nagedacht moet worden’, ‘Ik geniet echt van een taak waarin men met nieuwe oplossingen voor problemen moet komen’, ‘Ik heb liever een taak die intellectueel, moeilijk en belangrijk is dan een taak die enigszins belangrijk is maar waarbij je niet veel hoeft na te denken’

[50] negatieve uitspraken: ‘De migraten dragen bij tot de welvaart van ons land’, de aanwezigheid van verschillende culturen is een verrijking van onze samenleving’, wij zouden de buitenlanders die zich in België willen vestigen hartelijk moeten welkom heten’; positieve uitspraken: ‘ migratnen zijn over het algemeen niet te vertrouwen’, als het aantal arbeidsplaatsen vermindert, moet men de gastarbeiders terug naar hun eigen land sturen’, migranten mogen aan geen enkele politieke activiteit deelnemen’. Op een vijf-puntenschaal antwoordden de respondenten van ‘helemaal oneens’ tot ‘helemaal eens’.

[51] negatieve uitspraken: ‘een mens voelt zich pas echt goed als hij/zij zich kan inzetten voor een gemeenschappelijk doel’, vandaag de dag kan je de meeste mensen nog wel vertrouwen’, van nature uit is de mens begaan met zijn medemens’; positieve uitspraken: ‘ de mensheid, onze naasten, solidariteit, ... wat een onzin allemaal: iedereen moet eerst voor zichzelf zorgen en zijn belangen verdedigen’, ‘Wat telt is geld en macht, de rest zijn praatjes’, ‘ Het nastreven van je persoonlijke succes is belangrijker dan te zorgen voor een goede verstandhouding met je medemens’. Op een vijf-puntenschaal antwoordden de respondenten van ‘helemaal oneens’ tot ‘helemaal eens’.

[52]voor de etnocentrismeschaal: chi² = 1,5911; df = 2; p = 0,4513. Voor de utilitair individualismeschaal: chi² = 0,3677; df = 2; p = 0,8321.

[53] Referentiecategorie is hier vrouw

[54] Referentiecategorie is hier laag

[55] Referentiecategorie is hier het web

[56] Referentiecategorie is hier exacte wetenschappen

[57] positieve uitspraken: ‘Als alles verder blijft duren zoals nu dan zullen we binnenkort een grote ecologische crisis meemaken’, ‘De hele milieuproblematiek moet heel wat meer aandacht krijgen’ en ‘De toestand van ons leefmilieu is erg onrustwekkend’; negatieve uitspraken: ‘Met de milieuvervuiling zal het zo’n vaart niet lopen’, ‘Die hele heisa rond de ozonlaag is overdreven’ en ‘Er wordt teveel drukte gemaakt over de zogenaamde luchtvervuiling door de industrie’. Op een vijf-puntenschaal antwoordden de respondenten van ‘helemaal oneens’ tot ‘helemaal eens’.

[58] Chi² = 7,4545; df = 2; p = 0,0241

[59] chi² = 9,67; df = 2; p = 0,0079

[60] chi²=151,97; df=4; p < 0,0001

[61] Voor de covariantieparameter van het intercept in een model met random intercept geldt: z-waarde = 0,22; p = 0,4137.

[62] chi² = 1,1186; df = 1; p = 0,2902

[63] chi² = 13,2316; df = 1; p = 0,0003

[64] chi² = 6,9310; df = 1; p = 0,0085

[65] deze schattingen zijn gemodelleerd naar frequentie van cyberseksgebruik van enkele keren per jaar of meer

[66] de face-to-face modus is de referentiecategorie

[67] exacte wetenschappers zijn de referentiecategorie

[68] n=1211

[69] percentages met dezelfde letter verschillen niet significant (p = 0,05) van de andere percentages uit dezelfde rij.

[70] Hiermee wordt bedoeld dat de vastgestelde indicatoren bij metingen over meerdere items vaak bij dezelfde respondenten teruggevonden worden.

Aard van respons	Post		Web
	aantal	%	aantal	%
Afgewerkte (en teruggestuurde) vragenlijst	477	63,6	482	53,56
Partieel afgewerkte vragenlijs			68	7,56
Non-respons	231	30,8	349	38,78
Administratieve weigering[1]	42	5,6	1	0,11
Totaal	750	100	900	100
Bron: eigen verwerking

Resultaat	Post		Web
	aantal	%	aantal	%
Bruikbare interviews	161	69,70	209	74,91
Zuivere weigeringen	16	6,93	9	3,23
Geen contact na verscheidene pogingen	15	6,49	24	8,60
Administratieve weigering	39	16,88	37	13,26
Totaal	231	100	279	100
Bron: eigen verwerking

Onafhankelijke variabelen	Web (n=657)	Post (n=610)
Gender (1 = man; 0 = vrouw)	n.s.	n.s.
Opleiding ouders[10]	n.s.	n.s.
Groep[11] (0 = nee; 1 = ja)
Humane wetenschappen	0,8672*	n.s.
Exacte wetenschappen	n.s.	n.s.
KUL-adres consulteren (1 = nooit; 7 = dagelijks)	0,4343*	n.s.
Milieubesef[12] (1 = laag; 5 = hoog)	0,8259*	0,6707*
Likelihood ratio (p-waarde)	< 0,0001	0,0004
% concordante paren	77,9%	62,9%
* = p < 0,01; n.s.: niet significant bron: eigen verwerking

vraagsoort (aantal items)	Web (n=482)	Post (n=477)	face-to-face (n=370)	algemeen (n=1329)
opinie (50)	5,42%^a	6,56%^b	3,35%^a	5,26%
kennis (5)	22,95%^a	25,53%^b	20,97%^ab	23,30%
gedrag (25)	2,96%^a	3,18%^a	0,78%^b	2,43%
gevoelig (2)[21]	45,50%^a	39,41%^a	39,66%^a	41,69%
open (1)	74,27%^a	78,62%^a	n.v.t.	76,43%[22]
totaal (168)	4,29%^a	5,47%^b	2,73%^c	4,28%
Percentages met een dezelfde letter verschillen niet significant (p =,05) van de andere percentages uit dezelfde rij Bron: eigen verwerking

	web (n=473)	post (n=470)	face-to-face (n=369)
‘geen mening' niet expliciet opgenomen in face-to-face	4,21%	6,17%	5,45%
‘geen mening' expliciet opgenomen in face-to-face	4,40%	5,40%	2,68%
Bron: eigen verwerking

Onafhankelijke variabelen	Parameterschatting
Gender (1 = man; 0 = vrouw)	n.s.
Modus van dataverzameling[30]
Post	-0,3953**
Face-to-face	-0,3609*
Groep[31] (0 = nee; 1 = ja)
Exacte wetenschappen	-0,4283**
Biomedische wetenschappen	n.s.
KUL-adres consulteren (1 = nooit; 7 = dagelijks)	n.s.
‘need for cognition' (1=laag; 5 = hoog)	0,2208**
Likelihood ratio (p-waarde)	0,0002
% concordante paren	59,2%
n=1255; = p < 0,01; * = p < 0,05; n.s.: niet significant Bron: eigen verwerking**

	Opinie	kennis	gedrag	Inkomen vader	Open vraag
Opinie	1	0,1294***	0,0768***	0,1263***	n.s.
Kennis	0,1294***	1	n.s.	n.s.	n.s.
Gedrag	0,0768***	n.s.	1	0,0499*	0,0682**
Inkomen vader	0,1263***	n.s.	0,0499*	1	n.s.
Open vraag	n.s.	n.s.	0,0682**	n.s.	1
N= 1329; * p < 0,01; p < 0,05; * p < 0,01; n.s. : niet significant Bron: eigen verwerking

Afstand tussen de laagste en de hoogste waarde	Web	post	Face-to-face
0	32,36%	35,73%	31,08%
1	48,43%	46,51%	52,97%
2	12,53%	13,74%	12,43%
3	5,43%	3,38%	3,51%
4	1,25%	0,63%	0,00%
Totaal	100% (n=479)	100% (n=473)	100% (n=370)
Bron: eigen verwerking

	Web (n=482)	Post (n=474)	Face-to-face (n=369)
aangenaam of zeer aangenaam	32,57%	34,61%	69,46%
noch aangenaam, noch onaangenaam	55,74%	58,81%	28,65%
onaangenaam of zeer onaangenaam	11,69%	6,58%	1,89%
Bron: eigen verwerking

Onafhankelijke variabelen	Parameterschattingen
Gender (man = 1, vrouw =0)	2,4027*
Modus van dataverzameling[66] (1=ja; 0;nee)
Web	0,8161*
Post	0,7356*
Surfen op het internet (1 = elke dag; 7 = nooit)	-0,5974*
Groep[67] (1=ja; 0;nee)
Humane wetenschappen	n.s.
Biomedische wetenschappen	n.s.
Likelihood Ratio (p-waarde)	< 0,0001
Concordante paren	81,2%
*N=1211: p < 0,01 Bron: eigen verwerking**

	Item non-respons	Extreme antwoorden	‘nee-zeggen’	Sociale wenselijkheid
Modus van dataverzameling	0/+	++	0/+	++
Achtergrondkenmerken
Gender	0	0/+	0/+	0
Studierichting	0/+	0	0/+	0/+
Individueel kenmerk[70]	+	n.v.t	0/+	N.v.t.
Vraagcontext
‘geen mening’-filter	++	n.v.t.	0	N.v.t.
Inhoudelijke concepten / vraagsoort	++	++	++	+

Afstand tussen de laagste en de hoogste waarde	web	post	Face-to-face
0	12,58%	12,79%	21,69%
1	28,30%	29,21%	29,81%
2	32,08%	34,33%	33,06%
3	17,19%	19,84%	13,28%
4	9,85%	6,82%	2,17%
Totaal	100% (n=477)	100% (n=469)	100% (n=369)
Bron: eigen verwerking