Bron: Freepik
Hieronder zetten we vijf hulpmiddelen op een rijtje, die nuttig zijn voor het meten van de prestaties van overheden, als het gaat om het implementeren van initiatieven voor e-participatie. Dit artikel is het tweede in onze e-participatie-serie. Indien je “Het hulpmiddel waardoor je e-participatie gaat begrijpen” nog niet hebt gezien, adviseren we je dat artikel eerst te lezen.
Inderdaad, het definiëren van een kader is een manier om af te bakenen waarbinnen het e-participatieproces plaatsvindt. Om dit optimaal toe te kunnen passen en verbeteren, moet er een prestatiebeoordeling van deze e-participatieprojecten zijn. Deze behoefte wordt duidelijk bevestigd door de OESO:
“Overheden hebben hulpmiddelen, informatie en capaciteit nodig om te evalueren hoe zij presteren op het gebied van het verschaffen van informatie en het raadplegen en betrekken van burgers, zodat ze zich kunnen ontwikkelen met betrekking tot nieuwe vereisten en veranderende voorwaarden voor beleidsvorming.”
1. De E-participatie index (EPI)
Het eerste model waarmee je e-participatie op landniveau kunt beoordelen, is de door de Verenigde Naties verstrekte E-Participatie Index (EPI). In vervolg op de modellen die we in het eerste artikel van de serie hebben besproken, namelijk “e-informatie”, “e-raadpleging” en “e-besluitvorming”, is de EPI een hulpmiddel dat een kwalitatieve vergelijking en beoordeling geeft van de initiatieven die door regeringen worden geïmplementeerd. Hoewel het model niet als absoluut wordt beschouwd, is het bedoeld om de prestaties van elk land op bepaalde momenten vast te leggen. De EPI wordt als volgt berekend:
De e-participatiescore wordt berekend door middel van antwoorden op een enquête. De vragen hiervan worden jaarlijks aangepast, zodat ze aansluiten bij de huidige trends. Zo werd in de 2016-editie gevraagd naar informatie die de overheden beschikbaar stellen voor burgers, online peilingen en online discussieforums.
Hieronder vind je een overzicht van de gemiddelde participatie-index per continent (van 0 tot 1, waarbij 1 de beste score is):
Bron: United Nations
2. De E-Government Development Index (EGDI)
Hoewel dit een algemener model is dat zich niet uitsluitend richt op e-participatie, beschrijven we ook de E-Government Development Index (EGDI) van de Verenigde Naties. Deze berekent de bekwaamheid van overheden om online participatie-initiatieven te implementeren.
De index beoordeelt de omvang en kwaliteit van online diensten en de status van de ontwikkeling op het gebied van telecommunicatie-infrastructuur. De EGDI wordt dus berekend door middel van drie andere indexen:
- De Online Service Index (OSI), die de nationale website van het land beoordeelt
- De Telecommunicatie Infrastructuur Index (TII), waarin het gebruik van internet, mobiele telefonie, vaste telefonie en breedband internet in een land worden beoordeeld
- De Human Capital Index (HCI), waarin de geletterdheid onder volwassenen, de bruto scholingsgraad en de scholingsjaren van het land worden beoordeeld
Bron: United Nations
Net als de E-participatie-index is de EGDI een index die regeringen op nationaal niveau beoordeeld.
Hieronder vind je een overzicht van de gemiddelde score per continent:
Bron: United Nations
3. De “Measurement and Evaluation Tool for citizen engagement and E-Participation”(METEP)
Dit analytisch model is naast EPI en EGDI het derde model dat wordt aangeboden door de Verenigde Naties, namelijk door het Ministerie van Economische & Sociale Zaken. Het belangrijkste doel van METEP is het ontwikkelen van capaciteiten, die het evalueren van de voortgang van e-participatie, de uitwisseling van de beste praktijkvoorbeelden en een permanente ontwikkeling mogelijk maken.
Het doel is om het succes of falen van e-participatie-initiatieven van overheden op lokaal, regionaal en nationaal niveau in beeld te brengen. Op langere termijn is het ook de bedoeling om de prestaties tussen verschillende landen te vergelijken.
Het model bestaat uit twee delen; het eerste deel is theorie. We zullen niet te diep ingaan op dit deel omdat dit al uitgebreid is besproken in Deel 1 van de E-Participatie Series. Het tweede deel van het model, is het hulpmiddel op zich.
Er zijn twee verschillende momenten voor beoordeling van een e-participatie-initiatief. Ten eerste, vóór de implementatie: dit is de beoordeling van de bereidheid tot deelname, welke worden bepaald door middel van vragenlijsten en het verzamelen van verschillende gegevens. Vervolgens, zodra de implementatie is voltooid, wordt het e-participatie-initiatief in de praktijk geëvalueerd, om de werkelijke voortgang te kunnen beoordelen. Dit tweede deel is gebaseerd op een vragenlijst rondom zelfevaluatie.
Het METEP-evaluatiemodel heeft tot doel het e-participatiesucces politiek (Blok A), sociaal (Blok B) en technisch (Blok C) te beoordelen.
Bron: United Nations
Een gedetailleerde stapsgewijze handleiding van de beoordeling en voorbeelden van vragen uit de vragenlijst, kunt u hier bekijken in het volledige METEP-rapport.
4. De Global Open Data Index (GODI)
De Global Open Data Index is vrij specifiek en pakt niet het hele kader van e-participatie aan, maar richt zich op de eerste stap: e-informatie. Zoals uitgelegd in voorgaande modellen, is er geen succesvol e-participatieproces wanneer de burger niet goed geïnformeerd is en niet over alle informatie beschikt. De Global Open Data Index, verstrekt door Open Knowledge International, evalueert de mate van openheid van overheidsgegevens. De beoordeling is beschikbaar op nationaal niveau en ook voor enkele steden (deze gegevens moeten handmatig door de steden zelf of door de eigenaars van de gegevens worden ingevuld). Het geeft ook een overzicht van de beschikbaarheid van de gegevens per onderwerp. Hoewel het geen hulpmiddel is om specifiek het succes van een e-participatie-initiatief te beoordelen, is de GODI zeer relevant om uit te vinden hoeveel gegevens een land openlijk deelt met zijn burgers.
Dus wil je weten wie de best presterende landen op het gebied van Open Government Data zijn? Zoek hieronder in de top 10 en klik hier voor de hele ranglijst:
Bron: Open Knowledge International
5. Ontwikkeling van een nieuw beoordelingskader voor e-participatie
Zoals je misschien hebt begrepen uit bovenstaande modellen, is geen van allen compleet of perfect. De OESO verklaart dat dit voornamelijk is omdat al deze initiatieven recent zijn en het meeste onderzoek is gedaan met doel het e-participatieproces uit te voeren, in plaats van het te evalueren.
De huidige literatuur over e-participatie suggereert de ontwikkeling van een nieuw evaluatiemodel. Zowel academici als de politiek zijn het erover eens dat het cruciaal is om een dergelijk betrouwbaar beoordelingskader te ontwikkelen: de academici hebben het nodig om de praktijken van e-participatie te begrijpen, en de functionarissen hebben het nodig om hun initiatieven te beoordelen en te verbeteren.
Over het algemeen vertrouwen e-participatiebeoordelingen op verklarende technieken, zoals enquêtes over de tevredenheid van burgers, en dat is niet genoeg. Ann Macintoch en Angus Whyte stellen:
“Er is een sterk argument voor het gebruik van veldstudie-methoden om e-participatie-instrumenten te observeren en te analyseren die worden gebruikt in instellingen van gemeenschapsgroepen en openbare plaatsen. Een focus op gedrag in context, evenals meningen uitgedrukt in individuele discussies en groepsworkshops, is vereist voor een vollediger begrip van de geschiktheid van de technologie“
Hoewel het belangrijkste evaluatiekader “Sociaal, technisch, politiek” nog steeds de referentie is, beginnen er een aantal andere benaderingen te verschijnen, zoals die van Anttirioko (2013), die een model voorstelt dat gebaseerd is op: instelling, invloed, integratie en interactie. Henderson (2005) beschreef een evaluatiemodel op basis van effectiviteit, rechtvaardigheid, kwaliteit, efficiëntie, geschiktheid, duurzaamheid en proces. En dit zijn maar enkele van de verscheidene pogingen om een model voor de beoordeling van e-participatie te creëren.
Het veld van e-participatie en -evaluatie is daarom behoorlijk breed: van academici die hun eigen systeem proberen te bouwen (zie hierboven) naar steden die zelf evaluaties uitvoeren op hun e-participatie-initiatieven (zoals verschillende steden in het Verenigd Koninkrijk bijvoorbeeld). Het moeilijkste is om een keuze te maken die, te midden van al deze dimensies, cruciaal is om e-participatie op een complete manier te beoordelen. Bovendien moet er rekening gehouden worden met andere aspecten, zoals: toegankelijkheid, inclusiviteit, enz.
Om een evaluatiemodel te bouwen wat het hele plaatje weergeeft, moet je eerst duidelijk in beeld brengen wat je precies wil meten. En zo blijft het perfecte model er eentje die nog gecreëerd moet worden. In de tussentijd lijken de OESO-kaders (2001 en 2003) de overhand te hebben als een solide theoretische basis.
Macintoch en Whyte concluderen:
“Met zo’n rigoureus kader kunnen we beginnen met het beantwoorden van de vraag ‘Is e-participatie de lokale democratie aan het transformeren?’.”
En dat is de vraag die we zullen proberen te beantwoorden in deel 3 van onze e-participatie serie. Stay tuned!
