CitizenLab est une entreprise à impact social positif, qui développe des technologies de participation citoyenne. Récemment, nous avons pris d’importantes mesures pour redéfinir la manière dont nous mesurions notre impact. Nous avons élaboré un cadre, qui peut être utilisé par d’autres projets du secteur des technologies de participation citoyenne. En voici le mode d’emploi pour que, collectivement, nous puissions maximiser l’impact de nos projets.
Mesurer l’impact de la participation citoyenne est une tâche plus compliquée qu’il n’y paraît. En 2018, Matt Stempeck, chercheur au Civic Hall, partageait ses recherches dans un article consacré aux 10 problèmes récurrents qu’il a rencontré en cherchant à évaluer l’impact des technologies participatives. En résumé, ses observations sont les suivantes : nous n’utilisons pas tous les mêmes indicateurs ; le partage de l’impact est irrégulier ; le recours à des indicateurs purement quantitatifs peut nous faire passer à côté de nos objectifs ; et les études de cas manquent souvent d’impartialité.
Chez CitizenLab, nous nous efforçons depuis longtemps de trouver des moyens pertinents pour mesurer l’impact de nos projets, au-delà du nombre de participants que compte la communauté engagée. Puisque personne ne semble avoir réussi à résoudre ce problème jusqu’à présent, ou du moins ne l’a partagé publiquement, nous avons été amenés à développer nos propres outils de mesure. Après un long processus de réflexion et de conceptualisation, nous sommes enfin parvenus à un cadre dont nous sommes fiers et que nous sommes heureux de partager avec le monde entier.
Notre théorie du changement
Afin d’anticiper et de résoudre les problèmes susceptibles de survenir lors de l’utilisation de notre cadre, nous y avons associé les principes fondamentaux suivants, qui nous servent de guide. En utilisant ce cadre, notre objectif est le suivant :
1. Appuyer notre Théorie du changement sur les Objectifs de développement durable (ODD), qui constituent à l’heure actuelle les meilleures normes universelles. Les ODD, tels qu’ils ont été élaborés par les Nations Unies, guident les efforts internationaux en matière de développement durable, mais jouent également un rôle important en matière de gouvernance. Nous avons constaté que l’ODD 16.7, qui consiste à « faire en sorte que le dynamisme, l’ouverture, la participation et la représentation à tous les niveaux caractérisent la prise de décisions », correspondait précisément au type d’impact que nous cherchons à avoir chez CitizenLab. Nous l’avons ensuite décomposé en différentes étapes d’impacts à long terme, qui peuvent à leur tour être décomposées en une succession de résultats à court terme.
2. Outre la quantité, il convient également de mesurer la qualité de la participation. Les initiatives de démocratie participative ne peuvent pas se vanter uniquement du nombre de citoyens qui ont participé à un projet donné. Il s’agit effectivement d’un indicateur d’impact clé, que nous utilisons largement nous aussi. Mais optimiser la portée ou l’engagement ne suffit pas. Les indicateurs du nombre de participants nous renseignent sur la quantité de personnes qui ont effectivement contribué, mais ne nous disent rien de l’influence que celles-ci ont eue sur les décisions à proprement parler. Nous en avons donc conclu qu’il nous fallait à tout prix accompagner cet indicateur quantitatif, d’indicateurs qualitatifs. Cela nécessite beaucoup de temps, puisque l’obtention de ces indicateurs s’appuie sur des prises de notes et des évaluations manuelles, mais nous estimons que cela en vaut la peine, si l’on veut véritablement évaluer notre impact.
3. Suivre les progrès en permanence et en faire la boussole de notre entreprise. L’année dernière, nous avons lancé une campagne d’évaluation de l’impact, pour laquelle nous avons interrogé à la fois les citoyens et les institutionnels qui utilisent notre plateforme, ce qui a donné lieu à un rapport d’impact annuel. Nous poursuivrons cette initiative afin de recueillir des commentaires qualitatifs approfondis, mais nous ne pouvons nous en tenir à cela. Afin d’obtenir plus d’informations capables de nous fournir une orientation suffisante pour guider notre entreprise et maximiser l’impact à un rythme plus soutenu, nous avons commencé à évaluer l’impact au niveau des résultats à un rythme mensuel, nous permettant de suivre les progrès en permanence.
À la lumière de ces principes, nous avons élaboré le cadre d’évaluation de l’impact suivant :
En considérant la prise de décisions publiques comme un processus intégré, nous l’avons décomposé en trois blocs : les contributions, le processus et le produit. Ces blocs reflètent notre mission, qui consiste à rendre le processus décisionnel public plus inclusif, plus participatif et plus réactif. Comment utilisons-nous ces blocs pour examiner nos résultats et notre impact ?
Impact 1 : Une prise de décision plus inclusive
“Combien de membres de la communauté ont voix au chapitre ?”
Résultat 1.1 : Un plus grand nombre de participants au processus. Il s’agit-là de l’indicateur le plus évident, et le plus facile à mesurer. Nous l’approfondissons en comparant le nombre de personnes conscientes du processus, le nombre de personnes informées du processus et le nombre de personnes qui y ont participé.
Résultat 1.2 : Un groupe de participants plus représentatif. Mesurer la diversité des participants n’est pas une tâche aisée. Si l’âge et le sexe sont des informations relativement faciles à collecter, il peut être délicat de recueillir d’autres indicateurs relatifs à l’identité de chaque participant. Même lorsque l’intention est bonne – favoriser l’inclusion de membres de diverses communautés, religions, statuts socio-économiques, par exemple – il faut toujours garder en tête qu’il s’agit de données personnelles et qu’il n’est pas toujours souhaitable qu’elles soient collectées.
Résultat 1.3 : Un plus grand engagement des participants. Nous ne voulons pas seulement savoir si davantage de personnes s’expriment grâce à notre plateforme, nous voulons aussi savoir si cet engagement est plus actif, ce que l’on qualifie d’« engagement profond ».
Impact 2 : Une prise de décision plus participative
“Quelle est la qualité du processus participatif ?”
Résultat 1.1 : Des contributions de meilleure qualité. Chaque mois, nous sélectionnons un échantillon de 100 nouvelles contributions sur les plateformes de nos clients pour les évaluer une à une par rapport à un ensemble d’indicateurs de qualité :
- Pertinence : La contribution répond-elle au sujet du projet ?
- Argumentation : Les participants fournissent-ils des arguments étoffés ?
- Spécificité : Fournissent-ils des détails sur la manière de procéder ?
- Langage : Est-il constructif et orienté vers un changement positif ?
Résultat 1.2 : Une élaboration de l’agenda plus participative. Une démocratie ouverte se caractérise par la possibilité pour le grand public d’influencer l’agenda politique, et pas seulement de participer à sa définition. Par conséquent, nous examinons également le nombre de propositions lancées avec succès grâce à la participation active de la communauté.
Résultat 1.3 : Un processus de meilleure qualité. De la même manière que nous traitons l’évaluation des contributions, nous évaluons tous les nouveaux projets à un rythme mensuel selon une série d’indicateurs qualitatifs :
- Calendrier : Le processus a un début et une fin clairement spécifiés.
- Temps et ressources: Le projet dispose d’un chargé de projet dédié à des fins de suivi.
- Enjeu : La thématique du projet présente un grand intérêt pour les participants.
- Réactivité : Le suivi et les retours sont intégrés au processus participatif.
- Transparence: Les informations fournies sont suffisantes pour permettre une participation efficace. La manière dont les contributions sont utilisées dans le processus et la valeur ajoutée du processus participatif sont expliquées.
- Vulgarisation : Des efforts de communication sont en mis en oeuvre et les habitants sont incités à participer.
- Engagement : Les fonctionnaires s’engagent à suivre l’évolution du processus et à tenir compte des contributions recueillies dans la prise de décision.
Impact 3 : Une prise de décision plus réactive
“Dans quelle mesure les participants ont-ils influencé les décisions prises en définitive ?”
Résultat 3.1 : Un meilleur suivi après la participation. Le suivi de projet est essentiel pour affirmer que la contribution des participants a été prise en compte. Nous mesurons le pourcentage de contributions qui ont fait l’objet d’informations de suivi dans les trois mois consécutifs à leur soumission, et si les décisions finales et résultats du projet ont été clairement communiqués aux participants.
Résultat 3.2 : Un plus grand nombre de fonctionnaires à l’écoute de leur communauté. L’adoption interne est un bon indicateur du nombre de fonctionnaires qui écoutent réellement les opinions de leurs administrés.
Résultat 3.3 : Le traitement plus efficace des contributions. Enfin, grâce à la technologie de traitement automatique du langage naturel (TALN), le temps nécessaire au traitement et à la synthèse des données est considérablement réduit, ce qui permet de consacrer plus de temps à l’analyse approfondie et à la discussion.
Quel impact pouvez-vous avoir
Nous espérons que ce cadre vous a incité à réfléchir à la manière dont vous mesurez votre propre impact. Bien que le suivi et l’évaluation soient en constante évolution, y compris au sein de CitizenLab, nous avons bon espoir qu’en mettant l’accent sur l’impact social, ensemble, nous pourrons amener un changement plus positif. N’hésitez pas à nous contacter pour nous faire part de vos suggestions ou de vos questions.
