De meerderheid van diagnostische testen in Vlaanderen krijgt een ‘onvoldoende’

Wie vragen heeft over de kwaliteit, betrouwbaarheid of validiteit van diagnostische testen, klopt al eens aan bij dr. Mark Schittekatte. We interviewden de coryfee van de Vlaamse testdiagnostiek over wat hij begrijpt onder kwaliteitsvolle diagnostiek en hoe professionals diagnostische testen op een kwaliteitsvolle manier kunnen inzetten.

Dr. Mark Schittekatte leidt het UGent Assesment lab (onderdeel van het FPPW Research Support Office), is voorzitter van de BFP Testcommissie, lid van de Vlaamse Expertencommissie Departement Zorg, en Belgisch vertegenwoordiger in EFPA Board of Assessment. Zijn wetenschappelijk vakgebied omvat de kwaliteitsinschatting en adaptatie van psychodiagnostische instrumenten, waarbij hij specifieke aandacht schenkt aan diagnostiek bij kinderen en jongeren met een migratie-achtergrond en digitale diagnostiek.

KCD: Kan je in één zin omschrijven wat kwaliteitsvolle diagnostiek voor jou betekent?

Mark: Dat is zeer moeilijk om kort te omschrijven. Voor mij draait kwaliteitsvolle diagnostiek om een zorgvuldig traject waarin één of meerdere professionals samen met de cliënt in kaart brengen wat er aan de hand is. Dat gebeurt op een wetenschappelijk onderbouwde wijze, door gebruik te maken van kwaliteitsvolle instrumenten en methoden. De vier belangrijkste elementen hierbij zijn het proces, de professionaliteit, de wetenschappelijke onderbouwing en het gebruik van kwaliteitsvolle methoden en instrumenten. De kwaliteitsrichtlijnen van de AIRD (nvdr. Algemene Intersectorale Richtlijn Diagnostiek) zijn een heel goed handvat om dit proces op een kwaliteitsvolle manier te doorlopen.

KCD: Dat vat het mooi samen! Vandaag zoomen we specifiek in op het gebruik van kwaliteitsvolle instrumenten en methoden, en meer specifiek het gebruik van diagnostische testen. Hoe zit het eigenlijk met het testgebruik in Vlaanderen?

Mark: In de klinische en educatieve sector in Vlaanderen zijn er iets meer dan 500 instrumenten die dagdagelijks worden gebruikt. Dit weten we omdat we het testgebruik om de tien jaar monitoren, in Vlaanderen maar ook in vele Europese landen. Dit gebeurde in 2000, 2010 en nu recent ook in 2020 (nvdr. het gaat hier om een samenwerking tussen BFP, EFPA, VVKP en VFD). We weten ook welke soorten testen het meest gebruikt worden. De intelligentietesten, zoals de WAIS, de WISC en de WPPSI, staan nog altijd op nummer één. Testen die peilen naar persoonlijkheid (MMPI), gedrag (ASEBA) en aandacht (TEA-Ch) volgen daarna. 

KCD: En hoe zit het met de kwaliteit van die instrumenten?

Mark: De meerderheid van de testen die in Vlaanderen dagdagelijks gebruikt worden, voldoen eigenlijk niet aan de minimumeisen qua normen, betrouwbaarheid en validiteit. Het hangt ervan af hoe streng je er naar kijkt, maar als je het puur psychometrisch bekijkt, is slechts één op de vier instrumenten ‘oké’ (nvdr. psychometrisch verwijst naar de wetenschappelijke parameters, zoals betrouwbaarheid en validiteit). Dat is slecht nieuws. Het ontbreken van Vlaamse normen, en dus een Vlaamse meetlat, is daarbij probleem nummer één. Maar er zijn nog andere factoren om mee in de weegschaal te leggen om de kwaliteit van testen te beoordelen.  

KCD: Waar kunnen professionals dan bijvoorbeeld nog op letten als ze testdiagnostiek willen inzetten?  

Mark: Er zijn nog een aantal andere factoren waar je op kan letten. Een eerste afweging die je bijvoorbeeld zou moeten maken als je een instrument gebruikt, is: ‘Past de test eigenlijk bij de hulp- of zorgvraag?’ Een tweede vraag die je je kan stellen is: ‘Past de test bij de geteste persoon?’ Er zijn namelijk heel wat testen die niet voor iedereen geschikt zijn. Het is ook goed om steeds het doel voor ogen te houden: ‘Waarom willen we gebruik maken van deze test?’ Als je trauma bij kinderen wil onderzoeken bijvoorbeeld, zijn instrumenten die psychometrisch beter scoren, zoals bijvoorbeeld de NEO-PI-3 of de HiPIC, misschien minder relevant. Deze instrumenten meten namelijk vooral persoonlijkheidskenmerken. Instrumenten die specifiek ontworpen zijn om trauma-gerelateerde klachten te meten, kunnen – ook al zijn ze psychometrisch minder ondersteund – in dit geval wellicht meer waardevolle informatie opleveren. Het doel primeert dus. Daaraan gerelateerd moet ook rekening gehouden met de impact die de uitkomst van de test heeft. Hoe groot zullen de gevolgen zijn voor de geteste persoon? Worden er al of niet belangrijke beslissingen aan gekoppeld? We noemen dat high stakes versus low stakes testing.

Daarnaast hebben we het nog niet over gedigitaliseerde diagnostiek gehad. We moeten oppassen voor de verleidingen van dit soort diagnostiek. Het is vooral een validiteitskwestie: wat gebeurt er? Wat meten we? Er wordt in veel gevallen iets anders gemeten op zo’n scherm. Men gaat er vaak vanuit dat dat hetzelfde is, op scherm of op papier. Maar er zijn specifieke studies die aantonen dat dit niet het geval is. We weten dat het een verschil maakt, maar we weten nog niet precies waarom. We kunnen de normen dus niet zomaar overdragen van papier naar digitale versies. Wees dus sceptisch bij het gebruik van digitale tools of instrumenten. Het is de toekomst, maar het wordt nog niet de vervanger van de zware testkoffers (lacht). Wel iets daarnaast. Het zijn rijke aanvullingen die we tegemoet zien.

KCD: Heb je ook tips voor hoe hulpverleners de uitkomst van testafnames kunnen interpreteren?

Mark: Ik vind een holistische kijk belangrijk. Het is niet de test op zich, maar de test samen met alle klinische gegevens errond, met andere resultaten, met wat collega’s aanbrengen, met het verslag dat misschien al bestond. We moeten veel breder kijken.

Algemeen moet je voorzichtig zijn bij het gebruik van heel veel testen. Dat komt bijvoorbeeld vaak neer op rekening houden met betrouwbaarheidsintervallen. Dus niet: ‘De IQ-test zegt 89. Dat is de uitslag. Punt.’ Nee. Je mag dat cijfertje op zich niet for granted nemen. Je moet dat met een goede korrel zout nemen en nagaan waar eventuele foutenlast aanwezig is. Was de persoon bijvoorbeeld erg emotioneel? Of zijn er culturele factoren die meespelen? Cultuurbias kan zo maar 20 IQ-punten verschil opleveren.

KCD: Het woord is gevallen. Cultuurbias.

Mark: Het is één van mijn stokpaardjes. Elke test, écht elke test heeft een portie cultuurbias. Zelfs als er geen woord aan te pas komt en er alleen met beelden wordt gewerkt. De SON, bijvoorbeeld, zou zogezegd cultuurfair of cultuurvrij zijn, maar nee. Ik zeg het, dat zit overal. Elke test is cultuur-biased. Het is belangrijk om dat in je achterhoofd te houden. Vooral omdat we enorm cultuurblind zijn. Het is heel moeilijk om cultuur te detecteren. Een tekening van een koffietas bijvoorbeeld, of van een stoel, daar zit iets cultureels aan. Bepaalde symbolen die voor ons zo gewoon zijn, zijn cultureel geladen, en meestal kan je niet zeggen waarom dat is of hoe dat komt. Wij onderzoeken dat door heel veel testen af te nemen bij mensen met diverse achtergronden, en dan zien we grote verschillen. Dan moeten we nadenken hoe dat zou komen. Ook bij mensen met een lage sociaal-economische status zien we dat terugkeren. Voor heel wat testen is de bias veel groter bij groepen die minder mogelijkheden hebben. Cultuursensitiviteit komt in de kwaliteitsbeoordeling gelukkig meer en meer op.

Waar let je op bij het kiezen van een test?

– Past de test bij de hulp- of zorgvraag?
– Past de test bij de persoon die we willen testen?
– Welk doel hebben we voor ogen?
– Wat is de kwaliteit van de test?
– Welke vormen van bias spelen mogelijk een rol bij de interpretatie van de resultaten?
– Hoe passen de resultaten binnen het grotere plaatje?

Het CuSeHa project is daarvan een heel mooi voorbeeld. Er komt binnenkort ook een nieuwe editie van de Toetsstenen voor faire diagnostiek. Daarin wordt aandacht besteed aan testdiagnostiek, en worden bovendien ook richtlijnen geformuleerd om cultuursensitief te handelen in het hele diagnostische proces.

KCD: Je zegt dat alle testen cultureel gebiased zijn. Hoe kan daarmee omgegaan worden?

Mark: Om een concreet voorbeeld te geven. Bij intelligentietesten kan je de foutmarge beperken door de acculturatie (nvdr. De mate waarin de taal, het gedrag en de gewoontes uit de Westerse samenleving zijn overgenomen) van de cliënt te bepalen. De Gentse acculturatieschaal is daarbij een handig instrument. Maar zelfs als je die niet voorhanden hebt, kan je een inschatting proberen maken. Hoe meer sprake van acculturatie, hoe lager de kans op cultuurbias en hoe preciezer onze instrumenten zullen meten. Want we moeten er geen doekjes om winden, onze instrumenten zijn ‘witte’ instrumenten. Dat is een ernstige tekortkoming. En het helpt bijvoorbeeld niet om personen met een migratieachtergrond in de normeringen op te pakken. De instrumenten blijven cultuurgevoelig en bieden geen faire meetlat.

KCD: Wat kan je als hulpverlener dan doen?

Mark:  Alert zijn. We moeten alert zijn voor verschillende diversiteitsaspecten; cultuur is daar maar één van. Ik vergelijk het met het licht dat op oranje springt. Waarschijnlijk wil je snel doorrijden, maar eigenlijk moet je stoppen. Bij een vermoeden van cultuurbias, doe je er goed aan om op je hoede te zijn qua gebruik van instrumenten. Je gaat méér onderzoek moeten doen. Als je voelt of vermoedt dat er niet fair gemeten is, breng je best meer factoren in kaart. Dat is geen aangenaam nieuws, maar wel een belangrijk advies. Ook bij de interpretatie moet je extra voorzichtig zijn en verschillende bronnen van informatie naast elkaar plaatsen. Daarnaast zien we wel dat bepaalde instrumenten of onderdelen uit instrumenten gevoeliger zijn voor cultuurbias dan andere. Als je dat als professional ook weet, kan je dat meenemen in je beslissingen en interpretaties. In een ideale wereld zouden er fiches met dergelijke informatie voor professionals voorhanden zijn. Ik weet dat het KCD al enkele van dergelijke fiches heeft ontwikkeld, maar…

KCD: We doen inderdaad ons best om daar bij testevaluaties aandacht voor te hebben, maar de informatie blijft helaas beperkt tot bepaalde testfiches. Waar kunnen professionals nog terecht om de kwaliteit van instrumenten te beoordelen?

Mark:  Je raakt aan nog één van mijn stokpaardjes! Wat mij betreft is dit een groot pijnpunt. Ik zit vaak te prediken dat kwaliteit zo belangrijk is, maar het is een pijnpunt omdat de minderheid van instrumenten kwalitatief bekeken is. En wat bekeken is, zit vaak verspreid. Ik denk bijvoorbeeld aan het KCD, het BFP, Prodia, Thomas More … En men gebruikt dan ook vaak nog eens een ander systeem. In de ideale wereld zou dit allemaal door één instantie gebeuren en aan de hand van hetzelfde systeem.

KCD: Op de Universiteit Gent leid je ook de testotheek. Kunnen professionals daar ook terecht?

Mark: Zeker. In de testotheek kan je terecht om instrumenten in te zien en advies te krijgen. Natuurlijk kunnen we geen definitieve uitspraken doen wanneer de kwaliteit van een bepaald instrument nog niet is onderzocht. Maar we kunnen wel informatie geven over een test en wat die bijvoorbeeld al of niet meet. Ook over nieuwe tests. De testotheek van de Universiteit Gent probeert zo volledig mogelijk te zijn. We proberen ook steeds de meest recente instrumenten in huis te hebben. Op dit moment beschikken we over zo’n 1350 instrumenten binnen de klinische en educatieve sector. Naast de testotheek van de universiteit Gent, zijn er ook andere testotheken, bijvoorbeeld in Leuven en ook in Antwerpen, waar professionals terecht kunnen. Iedereen uit het veld is zeer welkom.

Meer weten?
Bekijk hier een lezing die dr. Mark Schittekatte gaf over de kwaliteit van psychodiagnostische testen.

Wil je een bezoek brengen aan de testotheek van de Universiteit Gent?
Open op woensdagnamiddag.
Welkom na afspraak, liefst in groep met een aantal mensen uit je sector.
Contact: assessmentlab@ugent.be