Als social impactorganisatie die Civic Tech bouwt, vonden we het bij CitizenLab belangrijk stappen te zetten in hoe we onze impact meten. Het kader dat we hiervoor hebben ontworpen kan ook door andere Civic Tech-initiatieven worden gebruikt. Vandaag delen we dit om de impact collectief te vergroten.
Impact meten in Civic Tech is niet makkelijk. In 2018 pende Matt Stempeck van Civic Hall 10 vaak voorkomende problemen neer bij impactmeting in Civic Tech. Om er maar een paar te noemen: we gebruiken allemaal verschillende metrics, delen is onregelmatig, puur kwantitatieve metrics kunnen doelstellingen missen, en case studies zijn vaak te bevooroordeeld.
Bij CitizenLab hebben we lang gezocht naar een betekenisvol kader dat verder gaat dan het aantal betrokken communityleden. Omdat niemand dit eerder heeft gedaan, of het in ieder geval niet publiekelijk heeft gedeeld, moesten we onze eigen weg vinden. Na een lang reflectieproces en vele brainstormsessies, zijn we tot een model gekomen waar we trots op zijn. We zijn alvast blij om het met de wereld te delen.
Introductie van onze ‘Theory of Change’
Om consistent te blijven en te voorkomen dat we na verloop van tijd van onze koers afdwalen, gebruiken we de volgende principes als leidraad.
1. Voortbouwen op de Sustainable Development Goals (SDG’s), de beste universele normen voor onze theorie van verandering. De SDG’s, ontwikkeld door de Verenigde Naties, zijn een wereldwijd kompas voor duurzame ontwikkeling, maar zijn ook zinvol voor besturen. We vonden dat SDG 16.7, “responsieve, inclusieve, participatieve en representatieve besluitvorming op alle niveaus garanderen” precies het type impact is dat we bij CitizenLab willen creëren. Dit hebben we opgesplitst in individuele langetermijnresultaten, die op hun beurt verder op te delen zijnin meerdere kortetermijnresultaten.
2. Verder kijken dan kwantiteit, en participatiekwaliteit meten. Civic Tech-initiatieven scheppen vaak op over het aantal deelnemende burgers aan een bepaald project. Hoewel dit een belangrijke indicator is die ook wij gebruiken, volstaat alleen optimaliseren voor bereik of betrokkenheid niet. Metrics die kijken naar het aantal deelnemers vertellen ons misschien wel hoeveel mensen hun stem lieten horen, maar zeggen niets over de invloed die ze hebben op de feitelijke beslissing. We stelden vast dat we de kwantitatieve aanpak moeten aanvullen met kwalitatieve data, tegen welke prijs dan ook. Het is een tijdrovend karwei dat momenteel handmatige annotatie en evaluatie vergt om de kwaliteit te beoordelen. Wij vinden het alvast de moeite waard om onze impact te meten.
3. Continu de vooruitgang bijhouden en die gebruiken als bedrijfskompas. Vorig jaar zijn we begonnen met een jaarlijks initiatief om de impact te meten bij zowel communityleden als overheden die ons platform gebruiken, wat leidde tot een eerste jaarlijks impactrapport. We zullen dit initiatief voortzetten om diepgaande, kwalitatieve feedback te verzamelen, maar daar kunnen we het niet bij laten. Om meer inzichten te krijgen die ons voldoende richting kunnen geven om ons bedrijf te sturen en de impact op een frequentere basis te maximaliseren, zijn we begonnen met een maandelijkse impactmeting op resultaatniveau. Zo kunnen we de voortgang continu volgen.
Met deze principes in het achterhoofd kwamen we tot het volgende kader voor impactmeting:
Als we publieke besluitvorming als een geïntegreerd proces zien, kunnen we het in drie blokken opdelen: de input, het proces, en het resultaat. Willen we slagen in onze missie om publieke besluitvorming meer inclusief, participatief en responsief te maken, dan moeten we op die drie domeinen werken. Wat betekenen deze blokken voor hoe we kijken naar resultaten en impact?
Impact 1: meer inclusieve besluitvorming
“Hoeveel communityleden krijgen inspraak?"
Resultaat 1.1: Meer deelnemers aan het proces. De meest voor de hand liggende indicator, en ook de gemakkelijkst te meten. We voegen ook diepte toe door te kijken naar wie “Op de hoogte was”, “Geïnformeerd” of “Betrokken”.
Resultaat 1.2: Een meer representatieve deelnemersgroep. Diversiteitsmeting onder de deelnemers is niet eenvoudig. Leeftijd en geslacht zijn wat eenvoudiger te meten, maar verder gaan dan deze persoonlijke identiteitskenmerken kan gevoelig liggen. Of een initiatief nu tot doel heeft meer personen te bereikenvan verschillende etnische achtergronden, religies, socio-economische status, enzovoort, we moeten ons er altijd van bewust zijn dat dit persoonlijke gegevens zijn die niet altijd mogen worden verzameld, ondanks onze beste bedoelingen.
Resultaat 1.3: Meer diepgaande betrokkenheid onder de deelnemers. We willen niet alleen weten of meer mensen hun stem laten horen dankzij ons platform, maar ook of de betrokkenheid diepgaander is, ook “thick engagement” genoemd.
Impact 2: meer participatieve besluitvorming
“Wat is de kwaliteit van het participatieproces?”
Resultaat 1.1: Hogere inputkwaliteit. Elke maand nemen we een steekproef van 100 nieuwe bijdragen op de platforms van onze klanten om deze te evalueren aan de hand van een reeks kwaliteitsindicatoren:
- Relevantie: Beantwoordt de input aan de projectvraag?
- Argumentatie: Geven de deelnemers ondersteunende argumenten?
- Specificiteit: Geven ze specifiek aan hoe het zou moeten?
- Taalgebruik: Is de taal productief en gericht op positieve verandering?
Resultaat 1.2: Meer participatieve agendabepaling. Een open democratie wordt gekenmerkt door de mogelijkheid voor het bredere publiek om de politieke agenda te beïnvloeden, en niet alleen deel te nemen aan de opstelling ervan. Daarom kijken we ook naar het aantal voorstellen dat met succes van onderuit wordt gelanceerd.
Resultaat 1.3: Hogere proceskwaliteit. Net als bij de inputbeoordeling evalueren we maandelijks alle nieuwe projecten aan de hand van een reeks kwaliteitsindicatoren:
- Tijdslijn: Het proces heeft een duidelijk begin en einde.
- Tijd en middelen: Het project heeft een toegewijde projectmanager voor de follow-up.
- Belangstelling: Het probleemgebied van het project is van groot belang voor de deelnemers.
- Responsiviteit: Feedback is ingebouwd in het participatieproces.
- Transparantie: Er wordt voldoende informatie gegeven om effectief deel te nemen. Er wordt uitgelegd hoe input in het proces wordt gebruikt, en hoe de toegevoegde waarde van het participatieproces eruit ziet.
- Outreach: Er zijn communicatie-inspanningen en de doelgroep wordt aangemoedigd om deel te nemen.
- Engagement: De ambtenaren zetten zich in om het proces op te volgen en de verzamelde input mee te nemen in de feitelijke besluitvorming.
Impact 3: Een responsievere besluitvorming
“In hoeverre hebben de deelnemers invloed gehad op de beslissing?”
Resultaat 3.1: Betere feedback na deelname. Feedback is essentieel om te bevestigen dat iemands stem werd gehoord. Wij meten welk percentage van de input binnen drie maanden feedback heeft gekregen, en of het lokale bestuur deuiteindelijke beslissingen en resultaten van het project duidelijk aan de deelnemers heeft meegedeeld.
Resultaat 3.2: Meer ambtenaren luisteren naar de community. Intern enthousiasme voor participatie is een goede indicator voor het aantal ambtenaren dat daadwerkelijk luistert naar de mening van hun community.
Resultaat 3.3: Efficiëntere inputverwerking. Tot slot, wordt met Natural Language Processing (NLP)-technologie de tijd die nodig is om input te verwerken en samen te vatten drastisch verminderd, waardoor meer tijd vrijkomt voor diepgaande analyse en discussie.
Creëer impact
We hopen dat dit kader je heeft geïnspireerd om na te denken over hoe je je eigen impact meet. Hoewel monitoring en evaluatie zich continu blijven ontwikkelen, ook bij CitizenLab, vertrouwen we erop dat we door nadruk te leggen op sociale impact, samen meer positieve verandering kunnen creëren. Heb je vragen of suggesties? Aarzel dan niet om contact met ons op te nemen.
