Aanbestedende diensten besteden veel tijd aan het opstellen van hun aanbestedingen. Leveranciers steken op hun beurt veel energie in het opstellen van aanbiedingen. Alle partijen hebben er dan ook belang bij dat de beste offerte de winnende offerte is. Om dat proces goed te laten verlopen, moet ook het beoordelen van kwalitatieve aspecten zorgvuldig gebeuren. Idealiter doen deskundigen dat op dezelfde consequente en consistente manier. Als dat niet gebeurt, dan komt dat volgens psycholoog Daniel Kahneman vaak door wat hij ‘ruis’ noemt.
Inzichten
Kahneman kreeg een Nobelprijs voor het integreren van psychologische en economische inzichten, in het bijzonder met betrekking tot het menselijk beoordelingsvermogen en besluitvorming onder onzekerheid. In dit artikel maken we gebruik van zijn werk. We beschrijven een aantal inzichten dat helpt bij het beoordelen van kwaliteit bij aanbestedingen en het onderdrukken van ruis. Die inzichten hebben we vertaald in 6 tips.
Tip 1.
Bij groepsbeoordelingen verdient de gemiddelde score de voorkeur boven de consensusbeoordeling
Bij aanbestedingen is het vrij gangbaar om te werken met consensusbeoordelingen. Nadat elke individuele beoordelaar de eigen score heeft bepaald, gaat de groep beoordelaars in gesprek om het eens te worden over de eindscore. Iedereen moet dus instemmen met de uiteindelijke score die het beoordelingsteam geeft. Aan een aanbieder is een 7 of 8 makkelijker te motiveren dan een 7,3, zoals bij de methode met gemiddelde beoordelingen het geval kan zijn. Dat laatste leidt ook vrijwel altijd tot meer vragen.
Bijkomstigheden
Toch zijn er goede redenen om het jezelf bij de toelichting aan de markt een stukje moeilijker te maken. Uit de onderzoeken van Kahneman blijkt dat allerlei op zich irrelevante bijkomstigheden bepalend kunnen zijn voor de hoogte van de score. Wie opent met de toelichting op een score, en is die score hoog of laag? Bij een eerste hoge score ligt de uiteindelijke consensusscore eerder hoger, bij een eerste lage score eerder lager. Is er iemand aanwezig met een hogere status? Dan ligt de consensusscore eerder bij diens individuele score. zeker als die hogere in rang de bespreking opent.
Argumenten bespreken
Ons advies is dan ook: bespreek de argumenten voor de gegeven scores en geef individuen de gelegenheid hun individuele scores aan te passen. Voorwaarde is dat er geen verschillen zijn tussen individuele scores die niet zijn uit te leggen op basis van het beoordelingskader. Daarna bepaal je het gemiddelde van de individuele scores, zonder afronding naar hele getallen.
Tip 2.
Beoordelen in kleine tussenstappen doet meer recht aan kleine kwaliteitsverschillen dan grote stappen
In Nederland zijn bij aanbestedingen voor het beoordelen van kwaliteit sprongen van bijvoorbeeld slecht-onvoldoende-voldoende-goed-uitstekend of 1, 2, 3, […], 10 of zelfs 1, 4, 7, 10 vrij gangbaar. Het beoordelen met punten met rapportcijfers betekent in de praktijk dat we vaak tussen de 4 en de 8 scoren. Voor een 4 moet de leverancier het al wel erg bont hebben gemaakt, laat staan een 1. Dat gebeurt nauwelijks, bijvoorbeeld omdat dat gevoelsmatig te ‘hard’ is.
Beperkte spreiding
Spreiding van de punten bij beoordelen met rapportcijfers is feitelijk vaak beperkt tot 4 of 5 punten (in plaats van 10 punten). Het onderscheidend vermogen op kwaliteit is daarmee beperkter, wat ertoe leidt dat prijs bepalender voor de gunning is dan bedoeld. Daarnaast komen kleine verschillen óf niet tot uitdrukking óf ze worden juist vergroot. Bijvoorbeeld een offerte die eigenlijk een 7+ is, krijgt een 7, maar een offerte die eigenlijk een 7- zou moeten zijn, krijgt ook een 7. Ditzelfde principe geldt voor scores in woorden.
Duidelijk beoordelingskader
Een oplossing is om niet te beoordelen met traditionele rapportcijfers en om kleinere stapjes toe te staan. Kleinere stapjes en dus meer nuance vraagt wél meer van beoordelaars. Uit onderzoek blijkt namelijk dat het beoordelingsvermogen van mensen beperkt is, en ze daarom meestal vier basisniveaus gebruiken voor de beoordeling van kwaliteit. Meer nuance aanbrengen betekent daarom dat je een duidelijk beoordelingskader moet hebben.
Tip 3.
Beoordeling direct in geld zou tot betere resultaten kunnen leiden dan beoordeling in woorden of punten
Er is ook een andere oplossing om meer recht te doen aan kwaliteitsverschillen én om het probleem van het beperkte beoordelingsvermogen van mensen te omzeilen. Namelijk door te scoren met geld. Uit het onderzoek van Kahneman blijkt namelijk dat mensen makkelijker in geld denken dan in punten. Met dit psychologisch inzicht zou je dus niet moeten werken met methoden waar je woorden of punten toekent, om de uitkomsten daarvan pas in een volgende stap te vertalen naar geld.
Harde euro’s
Op basis van het ruisinzicht is ons idee om het volgende te doen: de tussenstap met woorden of punten weglaten, en de beoordelaars dírect laten beoordelen in geld (euro’s). De benadering voor bijvoorbeeld een plan van aanpak is dan iets als: als het plan gewoon goed is, zijn we niet bereid iets extra’s te betalen. ‘Gewoon goed’ vinden we immers normaal. Bij het beoordelen werk je vanuit dat nulbedrag steeds met de vraag: vind ik dit plan van aanpak zo veel beter dat ik bereid ben er extra voor te betalen, en zo ja: hoeveel meer? Of vind ik dit plan van aanpak gewoon niet goed genoeg en wil ik een korting op de inschrijfprijs, en zo ja: hoeveel? Dus: direct in harde euro’s.
Afronding
Bij het scoren met afronding op hele punten, noemden we het bezwaar dat kleine verschillen in kwaliteit niet goed tot uitdrukking komen. Dat bezwaar geldt ook als je in euro’s scoort met afgeronde bedragen van 1000 euro, 10.000 euro, et cetera (al naar gelang de omvang van de aanbesteding). Als dat niet gewenst is, dien je de beoordelaars zonder afronding in eurobedragen te laten scoren. Wel moet je als aanbesteder enkele indicaties in de gunningsleidraad opnemen, zoals wat je maximaal bereid bent om extra te betalen en wat de maximale korting is.
Tip 4.
Werk niet van de eerste tot de laatste offerte, maar beoordeel iteratief
Hoe beoordeelt een goede docent een scriptie? Die begint bij de eerste, vormt zich een beeld en geeft er een voorlopig cijfer aan. Daarna pakt hij de volgende en doet soms inzichten op die maken dat hij de eerder beoordeelde scripties er nog een keer bij pakt. Aspecten die bij een eerste lezing niet waren opgevallen, vielen later wel op. Bij het scoren van kwalitatieve elementen van offertes zouden we diezelfde aanpak kunnen volgen.
Eerlijke score
Sceptici zeggen dan misschien dat je dan relatief beoordeelt, iets wat bij aanbestedingen ongewenst is. Dat klopt! Bij wat wij voorstellen gaat het er nadrukkelijk niet om de score voor de ene offerte af te laten hangen van scores van andere offertes. Je beoordeelt de kwaliteit op zichzelf. Het enige wat je doet is de inzichten die je hebt opgedaan over je eigen beoordeling, te gebruiken om een zo eerlijk mogelijke score te geven. In het beschrijvend document licht je dit ook toe bij de beschrijving van de beoordelingsmethode.
Tip 5.
Varieer met de volgorde van beoordelen van de inschrijvingen
Ons advies is verder ervoor te zorgen dat beoordelaars verschillende volgordes gebruiken voor het beoordelen van offertes. Ook tijdens de plenaire beoordelingssessie wisselt de volgorde steeds voor welke offerte als eerst en als laatst aan bod komt. En de procesbegeleider zorgt ervoor dat steeds verschillende beoordelaars als eerste aan het woord komen. Ook dit is een manier om ruis te verminderen.
Tip 6.
Laat de begeleiding van bespreking van scores in lastigere gevallen over aan een sterke procesbegeleider
Een sterke procesbegeleider, meestal is dat een inkoopadviseur, is in staat om beoordelaars strikt bij het beoordelingsprotocol te houden en zeker te stellen dat beoordelaars zich alleen richten op relevante aspecten. Bij een minder sterke procesbegeleider is de kans veel groter dat bepaalde irrelevante zaken toch meespelen bij de beoordeling.
Impactvol
Hoe impactvoller de aanbesteding en/of hoe kleiner de verschillen van individuele scores, hoe meer details relevant zijn en dus het volgen van een strikt proces en protocol het verschil bepalen. Ons advies is daarom om de beoordelingsbespreking bij impactvolle aanbestedingen en bij aanbestedingen met kleine individuele verschillen, te laten begeleiden door een sterke procesbegeleider.
