Source: Freepik
Nous avons listé ci-dessous 5 mesures, outils, solutions et méthodes utiles pour mesurer la performance des gouvernements dans la mise en place d’initiatives de participation en ligne. Cet article est la deuxième partie de notre série sur la participation en ligne. Si vous n’avez pas encore lu “3 étapes pour comprendre la participation en ligne”, rendez-vous ici.
En effet, connaître la définition du concept participation en ligne est important afin de comprendre son cadre. Pour que la participation en ligne se passe d’une façon optimale, et afin de l’améliorer, il faut pouvoir évaluer la performance des initiatives. Ce besoin a clairement été identifié par l’OCDE :
“Les gouvernements ont besoin des outils, des informations et des ressources pour évaluer leur capacité à partager l’information, conduire une consultation et engager les citoyens, pour s’adapter aux nouvelles exigences et changer leur façon de décider.”
1. Le “E-Participation Index”
Le premier indice disponible pour évaluer la participation en ligne au niveau national est l’indice d’e-participation, (en anglais E-Participation Index – EPI), fourni par les Nations Unies. Suite à la définition de la participation en ligne que nous avons donnée dans le premier article de la série, c’est-à-dire “e-information”, “e-consultation”, “e-prise de décision”, cet indice évalue de façon comparative et qualitative les mécanismes mis en place par les gouvernements. Bien que cette mesure ne soit pas absolue, elle vise à évaluer la performance de chaque pays à un instant t, elle est calculée comme suit :
Le score de e-participation est calculé selon les réponses données au questionnaire. Les questions sont adaptées chaque année selon les sujets du moment. Par exemple, l’édition 2016 s’est également penchée sur l’information mise à disposition des citoyens par les gouvernements, les sondages en ligne ainsi que les forums de discussion en ligne.
Voici une vue d’ensemble de l’indice moyen par continent (de 0 à 1, 1 étant le meilleur score) :
source: Nations Unies
2. Le “E-Government Development Index”
Bien qu’il soit plus général, car pas seulement concentré sur la participation en ligne, l’indice de développement du e-gouvernement (en anglais E-Government Development Index – EGDI), également fourni par les Nations Unies, met en lumière la capacité des gouvernements à mettre en place des initiatives de participation en ligne.
L’indice évalue l’étendue des services en lignes ainsi que leur qualité, et le statut de développement des infrastructures de télécommunication. Ainsi, il est calculé en fonction des 3 autres indices qui suivent :
- Le Online Service Index (OSI), ou l’indice des services en ligne, qui évalue le site internet national du pays,
- The Telecommunication Infrastructure Index (TII), ou l’indice d’infrastructure de télécommunication, qui évalue l’utilisation d’internet, des téléphones mobiles et fixes par la population,
- The Human Capital Index (HCI), ou l’induce du capital humain, qui évalue le niveau d’alphabétisation de la population adulte ainsi que le niveau d’études moyen dans le pays
source: Nations Unies
De la même manière que le E-participation index, le EGDI est un indice comparatif entre gouvernements au niveau national.
Voici une vue d’ensemble des scores moyens par continent :
source: Nations Unies
3. Le METEP : Measurement and Evaluation Tool for citizen engagement and E-Participation
Ce cadre d’analyse est le troisième outil mis à disposition par les Nations Unies (après l’EPI et l’EGDI), et plus particulièrement par le Département des Affaires Economiques et Sociales. L’objectif principal du METEP est de développer un moyen d’évaluer les progrès faits en matières de participation en ligne, avec le but d’échanger sur les meilleures pratiques et l’apprentissage en continu.
Son but est de diagnostiquer le succès ou l’échec d’initiatives de participation en ligne des gouvernements locaux, régionaux ou nationaux. Sur un plus long terme, le but serait de comparer la performance entre les pays.
Le cadre est construit en deux parties, la première est théorique. Cet article n’insistera pas sur cette partie car elle a déjà été traitée lors de la première partie de la série sur la participation en ligne. La deuxième partie est le cadre d’évaluation lui-même.
On distingue deux moments différents dans l’évaluation. Tout d’abord, avant la mise en place, l’évaluation du niveau de préparation à la participation en ligne (e-participation readiness en anglais) grâce à un questionnaire et la collecte d’indicateurs et données diverses. Ensuite, une fois la mise en place effectuée, l’évaluation des pratiques réelles de participation en ligne (real-life e-participation practices en anglais), afin de mesurer les progrès effectifs La deuxième partie est basée sur un questionnaire d’auto-évaluation.
Le METEP vise à évaluer le succès de la participation en ligne au niveau politique (bloc A), social (bloc B), et technique (bloc C).
source: Nations Unies
Pour un guide détaillé étape par étape de l’évaluation, ainsi que des exemples de questions du questionnaire, vous pouvez accéder au rapport complet ici (en anglais).
4. Le “Global Open Data Index”
L’indice global d’Open Data est plus spécifique, et ne traite pas du processus complet de participation en ligne, mais se concentre surtout sur la première étape : l’e-informaton. Comme expliqué dans le premier article, il n’y a pas de processus de participation en ligne réussi sans des citoyens bien informés qui ont toutes les informations nécessaires à leur disposition. Cet indice, fourni par Open Knowledge International, évalue l’ouverture de la donnée gouvernementale. L’évaluation est disponible au niveau national mais également pour certaines villes (les données doivent être complétées manuellement par les villes elles-mêmes ou ceux qui disposent de la donnée). L’indice est également réparti par thématiques de données. Bien que cela ne soit pas un outil qui évalue spécifiquement les initiatives ne participation en ligne, il est très pertinent pour mesurer le développement de l’Open Data par pays.
Qui sont alors les meilleurs pays en terme d’Open Data ? Voici ci-dessous le Top 10, et cliquez ici pour avoir accès au classement complet :
source: Open Knowledge International
5. Développement d’un nouvel outil d’évaluation de la participation en ligne
Comme vous avez pu le constater avec les outils et indices évoqués ci-dessus, aucun d’entre eux n’est complet ni parfait. L’OCDE explique que cela est dû au fait que les initiatives sont récentes, et que les efforts sont surtout centrés sur leur réalisation et non sur leur évaluation.
La littérature actuelle sur le sujet de la participation en ligne suggère le développement d’un nouvel outil d’évaluation. A la fois les académiques et les politiques s’accordent à dire qu’il est essentiel de développer un tel outil, plus efficace : les uns pour comprendre les pratiques de participation en ligne, et les élus en ont besoin pour évaluer et améliorer les résultats de leurs initiatives.
En général, l’évaluation de la participation en ligne repose sur des techniques déclaratives telles que des enquêtes de satisfaction citoyennes, et ce n’est pas suffisant. Pour Ann Macintoch and Angus Whyte :
“Il y a un fort besoin d’utiliser des méthodes d’études sur le terrain pour observer et analyser les outils de e-participation en situation communautaires ou dans des lieux publics. Un focus sur le comportement en contexte, ainsi que des opinions exprimées lors de discussions individuels et d’ateliers collectifs, est nécessaire afin de comprendre pleinement la justesse de la technologie“
Même si le schema d’évaluation “social, technique, politique” reste la référence, d’autres approches commencent à émerger, par exemple celle de Anttirioko (2013), qui suggère une évaluation basée sur : les institutions, l’influence, l’intégration et l’interaction. Henderson (2005) a construit un cadre d’évaluation basé sur l’efficacité, l’équité, la qualité, l’efficience, la justesse, la durabilité, le processus. Et ce ne sont que quelques unes des nombreuses tentatives de créer un nouvel outil.
Le paysage de l’évaluation de la participation en ligne est donc très riche : depuis les académiques, qui essaient de construire leur propre système (voir ci-dessus), jusqu’aux villes elles-mêmes qui font leurs propres expérimentations (comme plusieurs villes du Royaume-Uni par exemple). Le plus difficile est de choisir, parmi toutes ces dimensions, celles qui sont essentielles à la mesure et à l’évaluation la plus complète. De plus, d’autres aspects doivent être pris en compte comme l’accessibilité, le caractère inclusif, etc.
Pour construire un outil d’évaluation complet, il faut d’abord décider ce que l’on veut mesurer exactement. Ainsi, l’outil parfait d’évaluation reste à être créé. En attendant, les schema de l’OCDE (2001 et 2003) semblent prévaloir comme base théorique solide.
Macintoch and Whyte concluent:
“Avec un outil si performant et rigoureux, nous pourrions commencer à nous poser la question ‘est-ce que l’e-participation transforme la démocratie locale ?’.”
Et c’est la question à laquelle nous essaierons de répondre dans la 3ème partie de notre série sur la participation en ligne. Restez connectés !
