Uit de Toetsstenen Faire Diagnostiek: Onderzoeksfase
Deze tekst is ontwikkeld door de netoverstijgende werkgroep Faire Diagnostiek
Algemeen
Het Kwaliteitscentrum voor Diagnostiek (Schouppe, 2020)
In de onderzoeksfase is het de bedoeling om de onderzoeksvragen te beantwoorden. De vorm van deze onderzoeksfase hangt af van de vraagstelling. Belangrijk is om te concretiseren: welke factoren onderzocht moeten worden, welke onderzoeksmiddelen en –methodes daarvoor ingezet zullen worden, welke informanten betrokken moeten worden en welke criteria gehanteerd zullen worden voor het bevestigen/weerleggen van de hypotheses. Er wordt gestreefd naar het inzetten van onderzoeksmiddelen die betrouwbaar en valide zijn. Onder onderzoeksmiddelen vallen niet enkel vragenlijsten of testen, ook gesprekken, observaties, dossierstudies … worden als onderzoeksmiddel opgevat. De deskundigheid en ervaring van de cliënt wordt benut in deze fase door de cliënt actief te laten meewerken tijdens dit diagnostisch proces. Dit verhoogt immers de handelingsgerichtheid en de gedragenheid van het advies.
Meer weten over de onderzoeksfase binnen onderwijsdiagnostiek? Klik hier voor de onderzoeksfase uit het Algemeen Diagnostisch Protocol.
Aandachtspunten faire diagnostiek
Een vertrouwensrelatie creëren (FD 1) en de inschatting niet laten beïnvloeden door waarden en (voor-)oordelen (FD4)
In het werken met cliënten uit kansengroepen zijn naast de algemene diagnostische basiscompetenties nog andere vaardigheden nodig bij het toepassen van onderzoeksmethoden of het afnemen van tests en instrumenten. Zo is het belangrijk dat de diagnosticus vertrouwd is met de doelgroep en er op gepaste manier mee kan omgaan. Hij moet dus in staat zijn om een vertrouwensrelatie op te bouwen met de cliënt en om die op zijn gemak te stellen tijdens de afname. Er moet ook extra aandacht gaan naar de cliënt aanmoedigen en motiveren en naar transparant communiceren over het doel van het onderzoek. Een ICB of ervaringsdeskundige inschakelen bij de afname kan dit mogelijk mee helpen realiseren.
Storende factoren voorkomen (FD 6)
Om tijdens de onderzoeksfase van faire diagnostiek te kunnen spreken, is het belangrijk om negatief beïnvloedende factoren en vertekening (bias) zoveel mogelijk uit te sluiten of te beperken. Onder bias of vertekening verstaan we de onbedoelde en systematische invloed op de scores van tests
. Er niet alert voor zijn, kan grote gevolgen hebben, zoals onderschatting van de cliënt.Welbevinden in het hier en nu
Hoe de cliënt zich voelt, heeft een grote impact op zijn functioneren. Ook tijdens diagnostisch onderzoek is het belangrijk om daar oog voor te hebben. Het kan gaan over de emotionele toestand waarin de cliënt zich bevindt, zoals een crisissituatie, depressieve gedachten of posttraumatische stress. Dat kan op zich al zorgen voor een verminderd of anders functioneren. Ook bepaalde items, vragen of gebeurtenissen tijdens het onderzoek kunnen aanleiding geven tot gedachten en gevoelens die het presteren beïnvloeden. In sommige situaties kan het daarom aangewezen zijn om het onderzoek uit te stellen, af te gelasten of om een andere onderzoeksmethode te kiezen.
Taalbeheersing van de cliënt
De mate waarin een cliënt het Nederlands beheerst, zal uiteraard zijn prestaties op allerlei tests beïnvloeden. Beheerst hij het Nederlands onvoldoende, dan zal hij instructies minder goed begrijpen en minder goed antwoorden kunnen formuleren. Daarom is het essentieel om voor de start van het onderzoek uitgebreid na te gaan wat het taalniveau van de cliënt is. Dat kan aan de hand van observaties, gesprekken of specifieke vragenlijsten. Blijkt daaruit dat een cliënt het Nederlands onvoldoende beheerst, dan kan de diagnosticus beslissen om geen test of vragenlijst af te nemen. De betrouwbaarheid en validiteit van de meting komen dan immers te veel in het gedrang. De diagnosticus meet met het instrument niet meer op een betrouwbare manier wat hij wil meten. Hou er rekening mee dat bij de meeste onderzoeksinstrumenten cognitieve academische taal gebruikt wordt, die verschilt van dagelijks taalgebruik
.Als de cliënt of het cliëntsysteem het Nederlands onvoldoende beheerst, kan de diagnosticus overwegen om gebruik te maken van vertalingen. Dit kan op verschillende manieren: de cliënt in een gekende taal laten antwoorden, zelf vertalen of anderstalige instrumenten gebruiken. De diagnosticus dient zich bewust te zijn van de kwaliteit van de vertaling, de gebruikte normgroep van het instrument en de impact op scoring en interpretatie. Met een correctie voor taal is er niet noodzakelijk sprake van faire diagnostiek, want er kunnen nog andere storende factoren een invloed hebben.
Voorbeeld: De diagnosticus merkt dat bepaalde vragen van een vragenlijst, die in een interview vertaald worden naar de moedertaal, bij de cliënt emotionele reacties oproepen. Bij navraag blijkt dat de nuance van de vragen verloren ging door de vertaling. De diagnosticus twijfelt terecht over de validiteit van het onderzoek en beslist om enkel kwalitatief te interpreteren en aan te vullen met andere gegevens (intake, observatie …).
Voorbeeld: Bij een cliënt die het Nederlands nog niet goed beheerst, is een intelligentieonderzoek nodig. Hiervoor kiest de diagnosticus niet automatisch voor non-verbaal onderzoek. De afname van een breed onderzoek naar alle cognitieve vaardigheden is immers zinvol om discrepanties in het profiel te ontdekken, bijkomende observaties te doen over hoe de cliënt omgaat met taal en er handelingsgerichte adviezen uit te halen. Na de afname van het intelligentieonderzoek maakt de diagnosticus de afweging waar kwalitatieve interpretatie nodig is en of er een totaalscore kan berekend worden.
Acculturatieproces
Het is belangrijk om vooraf het proces van acculturatie van de cliënt in te schatten. Acculturatie verwijst naar de dynamiek tussen het behoud van de eigen thuiscultuur en de aanpassing aan de gastcultuur. Hoe groter het verschil in cultuur ten opzichte van de normgroep, hoe moeilijker het is om cliënten te vergelijken met normgroepen met een Vlaamse of Nederlandse populatie. Cliënten die zich meer richten op de gastcultuur en minder vasthouden aan de eigen thuiscultuur, zijn vaker meer geïntegreerd waardoor het meer verantwoord is om hun resultaten te vergelijken met de Vlaamse of Nederlandse normgroepCultural Formulation Interview . Volgende vragen over de culturele identiteit van de cliënt kunnen daarbij van toepassing zijn:
. Het is dus belangrijk om als diagnosticus zicht te krijgen op dit proces. Dat kan aan de hand van gesprekken of een afname van (stukken uit) het- Welke taal spreekt u thuis? En met uw vrienden?
- Mist u mensen die dezelfde culturele achtergrond als u hebben? (Als ja:) Kunt u dit uitleggen?
- In hoeverre kunt u hier leven volgens uw eigen cultuur?
- Voelt u zich betrokken bij de Vlaamse cultuur?
- …
Constructvertekening, methodevertekening en itemvertekening
Zoals eerder aangehaald, kan vertekening ervoor zorgen dat de validiteit van de testinstrumenten in het gedrang komt. Er zijn drie belangrijke vormen van vertekening: constructvertekening, methodevertekening en itemvertekening
.- Constructvertekening treedt op wanneer het construct dat gemeten wordt door het instrument niet in alle culturen hetzelfde inhoudt of wanneer specifieke gedragingen die passen bij een construct niet hetzelfde betekenen in alle culturen. Dat kan zich voordoen bij verschillende psychologische problematieken zoals depressie, burn-out, angst of sociaal aanpassingsgedrag. Dat laatste zien we bijvoorbeeld als mensen met een migratieachtergrond oogcontact vermijden. Men kan dat verkeerdelijk interpreteren als een vorm van verlegenheid of een gebrek aan openheid (Vlaamse bril), maar het kan ook net een vorm van beleefdheid zijn in bepaalde culturen.
- Methodevertekening doet zich voor als de manier waarop het diagnostisch onderzoek uitgevoerd wordt een invloed heeft op het resultaat. Dat kan te maken hebben met volgende factoren:
- Instrumentvertekening: de vertekening komt dan rechtstreeks voort uit de manier waarop het instrument zelf is opgebouwd. Niet elke cliënt is bijvoorbeeld op dezelfde manier vertrouwd met de inhoud van de items (door een andere onderwijsvorm bijvoorbeeld) of met de manier waarop hij moet antwoorden (met pen en papier, op een computerscherm, via puntenschalen, tegen de klok werken, van links naar rechts werken, …).
- Afnamevertekening heeft betrekking op het volledige afnameproces: de manier waarop instructies gegeven worden, de ruimte waarin de afname plaatsvindt, de (talige) interactie tussen cliënt en diagnosticus …. Vaak beheerst een cliënt de gasttaal bijvoorbeeld in beperkte mate, maar ook de diagnosticus kan moeilijkheden veroorzaken. Als diens divers-sensitieve vaardigheden beperkt zijn, kan dat de afname immers op een negatieve manier beïnvloeden. Ook persoonlijke opvattingen en vooroordelen ten aanzien van de cliënt kunnen van invloed zijn.
- Steekproefvertekening verwijst naar de onvergelijkbaarheid van de steekproef. De cliënt wordt dan bijvoorbeeld vergeleken met personen uit een hogere sociaal-economische klasse. Daardoor is een ander resultaat eerder het gevolg van een verschil in klasse dan louter van een verschil in cultuur.
- Itemvertekening kan optreden door de items die in het instrument opgenomen zijn. Zo kunnen bepaalde woorden in verschillende culturen een andere betekenis of lading hebben. Een klassiek voorbeeld zijn de spreekwoorden die terugkomen in intelligentieonderzoek. Ook bepaalde visuele items kunnen een hoge culturele lading hebben, waardoor bepaalde tekeningen of prenten niet of minder relevant zijn in de cultuur van de cliënt.
Bij de keuze van tests, beoordelingsschalen en vragenlijsten is het belangrijk om na te gaan of de vertekening voldoende onder controle is gehouden bij de ontwikkeling van het instrument. Zo kan je inschatten of de vertekening zodanig aanwezig is dat het resultaat een onderschatting van het functioneren kan betekenen. Overweeg dus of het onderzoeksinstrument dan wel geschikt is voor de cliënt.
Testinstrumenten moeten op zo’n manier geconstrueerd zijn dat:
- in de normeringssteekproef ook mensen in kansarmoede en mensen met migratieachtergrond op een representatieve manier vertegenwoordigd zijn (zie steekproefvertekening)
- subtests en items, met inbegrip van instructies, op vertekening gecontroleerd zijn.
Kies, indien mogelijk, voor minder cultuurgevoelige methoden en instrumenten. Dit kan bijvoorbeeld betekenen dat de diagnosticus onderzoeksmiddelen inzet waarbij de taalvaardigheid van de cliënt een minder belangrijke rol speelt of waarin minder cultuurgevoelige items opgenomen zijn. Er bestaat niet zoiets als een cultuurvrije test
, maar sommige instrumenten zijn beter inzetbaar bij kansengroepen dan andere. De fairness matrijs (COTAN) helpt de diagnosticus bij dat beoordelingsproces. Al zal de diagnosticus ook een beroep moeten doen op zijn eigen inschattingsvermogen en ervaring.Is de cliënt onvoldoende vertrouwd met een bepaald onderzoeksmiddel, dan is het de taak van de diagnosticus om hem er voldoende op voor te bereiden. Indien nodig kan de diagnosticus overgaan tot ‘testing the limits’ door extra instructies mee te geven, instructies te vertalen of voor te lezen of extra oefenkansen en voorbeelditems toe te laten. Daarbij is het belangrijk dat dit sporadisch kan voorkomen. Er moet natuurlijk op gelet worden dat een en ander verzoenbaar is met de standaardisatie-eisen van de test.
Voorbeeld: Wanneer een cliënt bij een subtest die (actieve) woordenschat nagaat, het Nederlandstalige woord niet kan geven, kan je navragen of hij het equivalent in de moedertaal wel kent. Daarnaast kiest de diagnosticus ervoor om toch verder te gaan nadat de afbreeknorm bereikt is om meer (kwalitatieve) informatie te verzamelen.
Indien de diagnosticus vooraf inschat dat te veel belemmerende factoren een faire diagnostiek in de weg staan, valt het te overwegen om geen vragenlijst of test af te nemen. Het resultaat op een test of een vragenlijst is een momentopname, dus hertesting na enkele weken of maanden kan zinvol zijn om de evolutie en leerbaarheid van de cliënt in kaart te brengen. In dat geval spreken we van procesdiagnostiek en niet meer van niveaubepalende diagnostiek. Bekijk telkens de richtlijnen van het gebruikte instrument rond hertesting.
Over het algemeen wordt aangenomen dat het bij cliënten die minder dan twee jaar in onze cultuur verblijven, moeilijker is om de onderzoeksfase op een faire manier te doorlopen door de sterke invloed van storende factoren. Het resultaat van een enkele test of vragenlijst kan nooit bepalend zijn voor belangrijke beslissingen die een grote impact kunnen hebben, zoals over de school- of werkloopbaan. De analyse van relatieve sterktes en zwaktes kan wel aanknopingspunten opleveren voor het handelen. Als de diagnosticus toch besluit om binnen de eerste twee jaar een onderzoeksinstrument in te zetten, moet hij zich bewust zijn van de invloed van die storende factoren en ze meenemen in de integratie en verdere advisering. Het is belangrijk om te benadrukken dat tests en vragenlijsten ook op andere manieren kunnen worden ingezet dan louter voor kwantitatieve meting. Zij kunnen bijvoorbeeld dienen als observatie-instrumenten om gedrag, vaardigheden en het proces van de cliënt in te schatten. Op die manier zijn ze een waardevolle kwalitatieve bijdrage om een beeld te krijgen van de cliënt en om de beste interventies te kiezen.
Voorbeeld: Bij een meertalige cliënt die anderhalf jaar in België verblijft, besluit het diagnostisch team om toch een algemeen onderzoek te doen naar cognitieve vaardigheden. Daarmee wil het team een brede kijk krijgen op zijn functioneren en handelingsgerichte adviezen formuleren in het verdere groeitraject (ondersteuning op school, revalidatie, jobmogelijkheden). De diagnosticus heeft tijdens de afname veel aandacht voor observaties en legt bij de interpretatie de nodige voorzichtigheid aan de dag. Hij legt de resultaten samen met de andere gegevens. Voor sommige onderdelen kan besloten worden om enkel een kwalitatieve inschatting te maken of, wanneer de discrepantie te groot is, om geen totaalscore te berekenen.
Voorbeeld: Bij een andere cliënt die al drie jaar in ons land verblijft en de nodige kennis en vaardigheden niet vlot verwerft, opteert het diagnostisch team echter niet voor een onderzoek. Er spelen immers te veel beïnvloedende factoren en alternatieve hypotheses mee (trauma, motivatie, acculturatie).
Breed kijken (FD 5)
Om een antwoord te kunnen formuleren op de onderzoeksvragen is het aangeraden om niet alleen testinstrumenten in te zetten, maar ook andere methoden een plaats te geven. Denk daarbij aan observaties (tijdens gesprek, thuis, op school …), analyse van schoolrapport, of gesprekken met andere belangrijke personen uit de omgeving van de cliënt (familie, netwerk, werkomgeving …).
Wanneer bepaalde vaardigheden/eigenschappen onderzocht worden, op welke manier dan ook, is het belangrijk om rekening te houden met de actuele theoretische modellen over het concept dat men in kaart wil brengen. Om zicht te krijgen op intelligentie is het bijvoorbeeld vanzelfsprekend om het CHC-model te gebruiken en de gemeten cognitieve vaardigheden daarin te plaatsen
. Zeker bij kansengroepen is het belangrijk om een goed onderscheid te maken tussen het niveau van cognitieve ontwikkeling dat op dit moment bereikt is en de intellectuele mogelijkheden. Het eerste wordt gemeten door de intelligentietest terwijl het tweede eerder gaat over de leerbaarheid van de cliënt .Daarnaast is het aan te bevelen om de gemeten vaardigheden voldoende binnen de sociale en culturele context (gezin, school, buurt) van de cliënt te zien en rekening te houden met de manier waarop ze elkaar beïnvloeden. Zeker bij vaardigheden zoals adaptief gedrag
en opvoedingsvaardigheden, maar ook bij emotioneel functioneren, is het belangrijk om de context te zien en zich in te leven in de situatie van de betrokkene. Bij het inschatten van het adaptief gedrag bijvoorbeeld, meten we eigenlijk de sociale aanpassing aan de context in het gastland. Het is dus duidelijk een cultuurgebonden construct waarin gedeeltelijk een vraag naar acculturatie vervat zit. Daarom is het aan te bevelen om ook het adaptief gedrag binnen de culturele context van het thuisland in kaart te brengen. Voeling en kennis met de thuiscultuur zijn dan ook een meerwaarde. Een ICB of ervaringsdeskundige inschakelen kan daarbij helpen.Samenvattend kunnen we stellen dat het essentieel is voor de fairheid van de diagnostiek om de cliënt in zijn geheel te bekijken en in de gehele context waarin hij zich ontwikkelt.
Juist interpreteren (FD 7)
Als de diagnosticus een onderzoeksinstrument hanteert, kan hij merken dat er sprake is van veel storende factoren of dat zich veel vertekening voordeed. Enkele voorbeelden: te weinig kennis van inhouden die met cultuur te maken hebben, beperkte kennis van de instructietaal of te weinig vertrouwd zijn met de vaardigheden van de test. In dat geval ga je beter niet over tot een kwantitatieve analyse en het berekenen van een cijfer of score. Dat cijfer zou immers geen faire beoordeling zijn van de mogelijkheden van de cliënt. Uiteraard heeft de afname met bijhorende observaties een belangrijke kwalitatieve waarde.
Sommige onderzoeksmiddelen voorzien de mogelijkheid om een alternatieve scoring uit te werken, waardoor de invloed van storende factoren beperkt wordt. Denk maar aan de Non-verbale Index of de NiTal-index bij intelligentieonderzoek . Bestaat die mogelijkheid bij het gekozen onderzoeksmiddel, dan is het aan te raden om er gebruik van te maken. Uiteraard is het belangrijk om ook de beperkingen van de alternatieven goed te kennen. Wellicht kan je maar uitspraak doen over een bepaald deel van het functioneren van de cliënt omdat de score slechts gebaseerd is op enkele onderdelen.
Indien mogelijk is het zinvol om naast de algemene normen ook eventueel bestaande doelgroepspecifieke normtabellen te gebruiken. Dat kan bijkomende informatie bieden.
Men moet er rekening mee houden dat de leeftijd van de cliënt soms niet met zekerheid gekend is. Als je leeftijdsgebonden normtabellen gebruikt, kan dat leiden tot een foutieve scoring. Als de opgegeven leeftijd te hoog is, leidt dat immers tot onderschatting. Is de opgegeven leeftijd te laag, dan leidt het tot overschatting.
Voorbeeld: Bij inschrijving in België wordt de geboortedatum van een cliënt op 01/01/2010 gezet, de ouders van de cliënt zeggen echter dat hun dochter een jaar jonger is. De cliënt maakt weinig leervorderingen waardoor de vraag wordt gesteld naar haar cognitieve vaardigheden. Gezien het vermoeden dat de cliënt jonger is, worden er bij de intelligentietest verschillende normscores berekend, zowel volgens de officiële geboortedatum als volgens de geboortedatum die ouders aangeven. Het onderzoek wordt verder aangevuld met bijkomende informatie en observatiegegevens waartegen de normscores worden afgezet.
Wanneer een bepaalde score berekend wordt, is het niet voldoende om enkel de score (met betrouwbaarheidsinterval!) op zich te beoordelen. Het is minstens even belangrijk om het proces mee te beoordelen. Denk daarbij aan de houding tegenover de testsituatie, reactie op slagen en fouten maken, leerbaarheid, opvallend gedrag, gemoedstoestand, interactie en communicatie.
Inhoudsopgave
Vind sneller de inhoud waarin u geïnteresseerd bent op deze pagina: