De Volunteer Correct Transparantie-index is vanaf najaar 2015 ontwikkeld door het kernteam van Volunteer Correct zelf, onder leiding van de eigen onderzoeker in de gelederen, Niko Winkel. Aan een concrete check op wetenschappelijke verantwoordbaarheid waren we tot dusver niet toegekomen. Om heel eerlijk te zijn: zó belangrijk vonden we dat ook niet. De verantwoording bij de Transparantie-index ligt vooral in het gewoon helemaal laten zien wat de platte resultaten zijn. Van de puntenverdeling wordt een relatieve score gemaakt. That’s all.
Toch doet het ons deugd, dat een wetenschappelijke analyse van het meetinstrument, inclusief de doorontwikkeling na de eerste 2016-meting naar de 2e 2017-meting, tot geruststellende concluderende informatie leidt. Simon Kuipers, als promovendus aan het werk op de universiteit in Nijmegen op het terrein van vrijwilligerstoerisme, heeft de Transparantie-index ontleed. Hij komt ten aanzien van het instrument tot de volgende conclusie:
De Transparantie-index als meetinstrument heeft in de doorontwikkeling goede stappen gemaakt. De coherentie van de afzonderlijke onderdelen is verbeterd. Dit is ook statistisch te zien: de samenhang tussen de verschillende items waaruit de onderdelen bestaan is hoger. Dit geldt met name voor het onderdeel ‘organisatie en proces’, wat in de tweede meting zich enkel toelegt op het traject dat de vrijwilliger aflegt en niet meer op de discoursen die daaromheen hangen. Deze discoursen zijn in de tweede meting terug te vinden in het onderdeel ‘missie’, wat een kleine maar geen betekenisvolle deuk in de betrouwbaarheid van dit onderdeel slaat.
Een kleine kanttekening hierbij is dat de gemiddelde samenhang tussen de verschillende onderdelen in de eerste meting lager is dan in de tweede meting. Dit wil zeggen dat de verschillende onderdelen van de Transparantie-index in de eerste meting (iets) beter van elkaar te onderscheiden zijn dan in de tweede meting. In algemene zin zou ik bij het beoordelen van de tweede meting meer uitgaan van het totale plaatje, en de beoordeling op onderdelen wat kritischer benaderen. Aan de andere kant zijn ook in de eerste meting de statistische verbanden tussen de onderdelen op bepaalde punten vrij hoog. Het lijkt dus zo te zijn dat we de Transparantie-index moeten zien als een algemene indicator van de transparantie van een website. Deze transparantie bestaat dan uit verschillende aspecten die allemaal redelijk sterk met elkaar in verbinding staan en daardoor moeilijk onafhankelijk van elkaar gemeten kunnen worden.
Daarnaast is Simon ook aan de gang gegaan met het vergelijken van de resultaten tussen de 2 metingen in 2016 en 2017. Daarbij komt hij tot de volgende conclusie:
Tussen de twee metingen zien we een lichte toename van de transparantie van organisaties. Deze toename lijkt het sterkst te zijn op het onderdeel ‘missie’ – wat zou kunnen betekenen dat organisaties transparanter zijn over wie zij zijn en de moeilijkheid van de opgaven waar zij voor staan. Helaas wordt ons inzicht in deze ontwikkeling vertroebeld doordat het eerdergenoemde item over discoursen in de tweede meting aan dit onderdeel is toegevoegd. Het zou dus ook kunnen zijn dat deze toename voortkomt uit de andere samenstelling van dit onderdeel. Daarentegen kunnen we wel inzoomen op de onveranderde onderdelen van de Transparantie-index, namelijk ‘grondslag’, ‘zichtbaarheid’ en ‘partners en projecten’.
Op het onderdeel ‘grondslag’ zien we een lichte toename, die er vooral in zit dat organisaties concreter zijn geworden in hun prijsspecificaties richting de vrijwilligers. Ook lijken ze in het algemeen duidelijker te zijn over waar het geld naartoe gaat. In contrast hiermee is de gemiddelde score op zichtbaarheid zo goed als gelijk gebleven. Er is geen toename in de mogelijkheid om persoonlijk in contact te treden en de responsiviteit en de ‘inhoudelijke kwaliteit’ van het e-mailcontact is niet verbeterd. Wel zien we een toename in de mogelijkheden om in contact te komen met oud-vrijwilligers. Deze toename komt deels doordat organisaties minder een handjevol ‘eigen’ ambassadeurs lijken uit te kiezen. Mogelijk zit er op het vlak van communicatie wel een ontwikkeling in het gebruik van sociale media, maar hierover hebben we helaas (nog) geen gegevens. Tot slot zien we een lichte toename in de transparantie omtrent de partners waarmee men werkt en de projecten die men daar beheert. Deze toename zit niet zozeer in informatie over de partners en projecten an sich. Het is eerder het geval dat de helderheid omtrent de taken en verantwoordelijkheden van de vrijwilligers alsmede transparantie in de behaalde resultaten van lopende (of afgesloten) projecten verbeterd is.
Het is in de resultaten duidelijk te zien, ook met een niet-wetenschappelijke blik: de scores in de Transparantie-index zijn gewoon een stuk gestegen, in de breedte. Dat is goed nieuws. En die ontwikkeling zet zeker door; daar gaan we met Volunteer Correct voor zorgen. Meten is weten. En weten is verbeteren. Het transparant maken van het transparantie-niveau kan alleen maar bijdragen aan het verhogen van die transparantie. Immers: niemand ontkent de waarde van deze transparantie.
Even ter verantwoording: we werken er nog aan, de resultaten van de 2e meting, publiek bekend gemaakt bij onze jaarbijeenkomst op 15 juni, goed visueel te presenteren op de website. Dit komt spoedig!!
Niko Winkel / Reinier Vriend, 23 augustus 2017