Dr. Inga Wolframm, lector Duurzame Paardenhouderij en Paardensport aan Hogeschool Van Hall Larenstein heeft met onderzoek aangetoond dat het huidige jureersysteem juryleden dwingt tot het inzetten van zogenaamde ‘cognitive shortcuts’ (cognitieve afkortingen) die zich vervolgens vertalen naar vooroordelen bij de beoordeling. In haar in het wetenschappelijke blad animals gepubliceerde artikel ‘Bias Cascade in Elite Dressage Judging’ (een waterval van juryvooroordeel in de topdressuursport’) toont Wolframm niet alleen dat judging bias bestaat, maar ook welke vooroordelen in welke mate een rol spelen bij de beoordeling.
“Laat mij vooropstellen dat ik vind dat de juryleden fantastisch werk doen”, zegt Inga Wolframm in een meeting waarin zij de uitkomsten van haar onderzoek en haar wetenschappelijke artikel presenteert. “Sterker nog: ik vind het ontzettend knap hoe het ze lukt om een bijna bovenmenselijke taak op deze manier uit te voeren. Echter, het huidige systeem waarin gejureerd wordt is dusdanig complex, dat het een volledig eenduidige, objectieve manier van jureren zeer moeilijk, zo niet onmogelijk maakt.”
Niks veranderd
Dat het juryvooroordeel bestaat toonde Wolframm al eerder aan. Inga Wolframm had voor een lezing op het Global Dressage Forum in 2010 loepzuiver het juryvooroordeel aangetoond en uitgelegd dat dit een normaal menselijk verschijnsel is, dat alleen door bewustwording en training is te bestrijden. Sommige juryleden konden zich er destijds niet in vinden, en gingen zelfs zo ver om stamelend aan te geven dat dressuurjuryleden daar helemaal geen last van hebben. “Dat is inmiddels dertien jaar geleden, maar er is weinig gedaan om het systeem te veranderen”, zegt Wolframm, die het verschijnsel nu dus nog een keer onder de loep heeft genomen. “In de tussentijd zijn er wel een paar veranderingen doorgevoerd zoals de introductie van het JSP (Judging Supervisory Panel, red.), de introductie van de halve punten en het uitbreiden van de guidelines. Maar dat zijn geen structurele oplossingen.”
Cognitieve shortcuts
Sterker nog: het introduceren van halve punten en het uitbreiden van de guidelines verergert het probleem eerder dan dat het een oplossing brengt, volgens Wolframm. Om te demonstreren wat dit systeem eigenlijk vraagt van een jurylid, had Wolframm het FEI Dressage Handbook met de richtlijnen voor jureren meegenomen. Ze opende het boek op een willekeurige pagina en liet zien dat elke dressuuroefening zo’n vier pagina’s beslaat met uitleg over een bepaalde oefening. “Dat klinkt als een goed doordacht systeem, maar om op basis hiervan in een dressuurproef, onder tijdsdruk, in een zeer korte tijd een oordeel te kunnen vellen, gaat het cognitieve vermogen van de mens te boven”, zegt Wolframm.
Alleen alles zien is al onmogelijk
“Om een beoordeling te kunnen maken moet je eerst alles kunnen zien, alleen dat is al onmogelijk voor het menselijke oog. Vervolgens moet je het categoriseren en in een laatste stap ook nog evalueren en wegen aan de hand van de zes onderdelen van het trainingsscala, de technische uitvoering en de gehoorzaamheid. Dat is menselijk onmogelijk. In eerste instantie zullen juryleden hun ervaring en expertise inzetten. Maar op een gegeven moment, onder tijdsdruk, komt er over het algemeen het juryvooroordeel om de hoek kijken. Een cognitieve shortcut om de menselijk onmogelijke taak wél uit te kunnen voeren.”
Geen afspraken over shortcuts
“Shortcuts zijn dus nodig en in theorie geen probleem, maar waar de problemen ontstaan is dat we geen afspraken hebben gemaakt over die shortcuts. Wanneer dus twijfels ontstaan en een jurylid in een ‘split second’ een beslissing moet nemen, zet een jurylid vervolgens in op de meest makkelijke en voor de hand liggende criteria die ze op dat moment kunnen waarnemen. En deze criteria hebben dan vaak niets met de prestatie op de dag zelf te maken. Hiermee ontstaat er geen gelijk speelveld voor alle ruiters.”
Uitslagen van zeven CDI’s geanalyseerd
Inga Wolframm werd dit voorjaar door de redactie van HorsesTV uitgenodigd om te praten over het juryvooroordeel. Daar begon eigenlijk het schrijven van haar vorige week in het wetenschappelijke tijdschrift animals gepubliceerde artikel. “Ik wilde daar niet zomaar wat roepen, ik ben een wetenschapper en alles wat ik zeg moet dus gestaafd zijn.” Wolframm pakte de uitslagen van de Grand Prix op zeven vijfsterren CDI-wedstrijden erbij (totaal 510 scores) in 2022 en 2023 en analyseerde de gegeven scores. Daarbij kon ze vijf juryvoordoordelen aantonen die een rol spelen bij de beoordeling: het delen van een nationaliteit van ruiter en jurylid, het delen van nationaliteit van ruiter en één van de andere juryleden, het thuisvoordeel (ruiter rijdt in thuisland), de plaats op de FEI-ranking en de positie op de startlijst (die laatste twee hangen natuurlijk samen).
Verschillende vooroordelen
Wolframm toonde aan dat een combinatie van deze vooroordelen 44,1% van afwijkende jurering veroorzaakt, waarbij alle vooroordelen elkaar eigenlijk versterken (zie kader). Een groot effect heeft de plaats op de FEI Ranking (7,84%). Dat werd live gedemonstreerd in Riesenbeck: bij de toppers worden fouten veel minder zwaar aangerekend dan bij mindere goden en andersom krijgen super uitgevoerde individuele oefeningen van mindere goden zelden (of eigenlijk nooit) negens of tienen. Ook is het zo dat – in mindere mate – juryleden ruiters uit hun eigen land enigszins bevoordelen.
Patriotism by proxy
Nog groter is het effect van een andere bias: een ruiter in de ring die de nationaliteit deelt met een ander jurylid rond de ring (10,18%). “Ik heb dat verschijnsel patriotism by proxy gedoopt. Het gaat dus om het effect dat een jury sympathie heeft voor een ruiter uit hetzelfde land als hun collega jurylid.” Dat juryvooroordeel levert gemiddeld een voordeel op van 3,54% op een protocol. Ter illustratie: op het Europees kampioenschap in Riesenbeck, waar juryvooroordelen ook een rol leken de spelen bij de beoordeling, werd dat verschijnsel live gedemonstreerd. Jessica von Bredow-Werndl kreeg in de Grand Prix niet de hoogste punten van het Duitse jurylid, maar juist van het Finse (Colliander), Franse (Saleh) en Nederlandse (De Wolff van Westerrode) jurylid. In de Spécial gaven de Amerikaanse (Osinski), de Britse (Wessels), de Nederlandse en de Franse juryleden de hoogste scores aan Von Bredow.
Afgezonderde sociale groep
Patriotism by proxy is volgens Wolframm zo’n sterk verschijnsel omdat de juryleden een soort van afgezonderde sociale groep vormen. “Op zo’n concours, en zeker op een kampioenschap, zitten ze samen in een soort snelkookpan. Ze jureren urenlang, zitten ‘s avonds nog uren na te praten over de jurering, zitten samen in een hotel, eten samen en dat alles in een situatie waarin ze onder grote druk staan. Hiermee ontstaat een bepaalde groepscohesie. Ook dat is menselijk en hoort bij de dynamiek van onze sport.”
Erkennen dat dit een probleem is
Maar wat te doen met deze uitkomsten: de juryleden verbieden om contact met elkaar te hebben? “Dat zou op de korte termijn de objectiviteit van de sport misschien ten goede komen, maar uiteindelijk is de wederzijdse uitwisseling bijzonder belangrijk. Onze sport is continu in beweging, het is belangrijk dat alle mensen die actief zijn in de sport onderling in contact blijven. Isolatie, dat heeft corona bewezen, brengt heel andere problemen met zich mee die wij niet moeten opzoeken”, zegt Wolframm. “Het begint met erkennen dat dit een probleem is. Vervolgens zijn er verschillende manieren om het juryvooroordeel te tackelen. Daarbij kan in de eerste plaats gedacht worden aan afspraken maken over de shortcuts, zodat alle juryleden dezelfde shortcut nemen. Met andere woorden: het vereenvoudigen van hun taak. Verder kan natuurlijk gedacht worden aan het verdelen van de taken onder juryleden.”
“Maar dat is al een paar stappen verder dan we nu zijn: het begint met erkennen van het probleem. Daar heeft iedereen belang bij: door een meer objectief en transparant jureersysteem te implementeren, werkt de dressuursport automatisch aan zijn sociale licentie.”
Klik hier om Wolframms wetenschappelijke artikel te lezen
Waterval van vooroordelen
Dat de combinatie van vooroordelen ruim 44% van de afwijkende scores verklaart, is niet zo gek. De vooroordelen hangen allemaal met elkaar samen en versterken elkaar. Het begint met de nationalistische bias en patriosm by proxy. Als een ruiter daardoor hogere scores krijgt, stijgt hij of zij op de FEI-ranking. Een hogere plaats op de FEI-ranking brengt automatisch iets meer punten met zich mee en zorgt tegelijkertijd voor een startpositie later in het veld (wat ook weer voor meer punten zorgt).
Dit artikel verscheen eerder in De Paardenkrant.
Kijk, hier wordt ik nu blij van… Van gedegen onderzoek, in dit geval naar het fenomeen jureren in de top van de dressuursport. Onderbouwen wat iedereen eigenlijk wel weet, en daarmee handvatten aanreiken om verbetering te bewerkstelligen. Wie pakt deze handvatten beet, of blijft het dressuurwereldje liever in de illusie hangen…?
‘compatriot’ = landgenoot 10.18% en ‘same nationality’ = landgenoot 5.76% – hoe zit dat? volgens mij zou dit hetzelfde resultaat moeten geven maar blijkbaar is er een verschil in definitie?
soms zie je een tegenovergesteld gedrag om deze bias-factor via overcompensatie eruit te halen (zie de opmerking over Riesenbeck).
M.n. het punten van ‘onbekende’ combinaties blijft een ding – je krijgt pas punten als je vaker (goed) in beeld geweest bent.
Met compratriot wordt de ‘patriotism by proxy’-bias bedoeld (dus een ruiter in de ring die de nationaliteit deelt met één van de andere juryleden rond de ring), met same nationality het direct delen van de nationaliteit tussen jurylid en ruiter.
Groet,
Rick
@rick – dank, ik had al zo’n vermoeden.
En nou wat???
Zij deden een plas, en alles bleef zoals het was.
Heel interessant artikel – en een interessante flow van deze dynamiek – alles is gekoppeld aan de groei van het collectieve bewustzijn – het collectieve bewustzijn van ons als mensheid – en dus ook het gedeelte v d mensheid verbonden aan de wereld v d paarden – want we weten allemaal dat dit fenomeen van vooroordelen niet alleen speelt in de het hogere segment v h wedstrijdcircuit – zolang er nog maar 1 ego-structuur ergens op welk niveau dan ook tussen zit die de boel kan bezoedelen, zal er frictie en vertraging blijven bestaan – tegelijkertijd weten we ook allemaal dat onder frictie en druk/vertraging de mooiste dingen ontstaan – vergelijk het met de ontstaansweg van een diamant – dus in mijn optiek is er geen reden tot ongerustheid – er is wel alle reden tot het hebben van geduld en het toestaan van steeds meer en dieper inzicht en het delen van compassie – alle paarden vervullen daarin eveneens hun eigen unieke rol . . . .