Como empresa de impacto social que desarrolla tecnología cívica, CitizenLab ha dado recientemente algunos pasos importantes en la forma de evaluar su impacto. El marco de medición de impacto que diseñamos puede ser utilizado también por otras iniciativas de tecnología cívica, por eso hoy lo compartimos aquí para ayudar a amplificar el impacto colectivamente.
Medir el impacto de la tecnología cívica, no es un trabajo fácil. En 2018, Matt Stempeck de Civic Hall escribió sobre los 10 problemas comunes a la hora de medir el impacto en la tecnología cívica. Para nombrar solo algunos problemas, todos estamos usando diferentes métricas, el intercambio es irregular, las métricas puramente cuantitativas pueden perder los objetivos y los casos de estudio a menudo son demasiado parciales.
En CitizenLab, llevamos mucho tiempo esforzándonos por encontrar métricas significativas que vayan más allá del número de miembros de la comunidad que hemos involucrado. Ya que nadie parece haber descifrado esto antes, o al menos no lo ha compartido públicamente, tuvimos que encontrar nuestro propio camino. Tras un largo proceso de reflexión e ideación, finalmente hemos llegado a un esquema del que estamos orgullosos, y nos complace compartirlo con el mundo.
Presentamos nuestra Teoría del Cambio
Para planificar de forma proactiva los problemas que puedan surgir al utilizar el esquema, ponemos los siguientes principios en el centro del mismo para que nos sirvan de guía. Al utilizar el modelo, nuestro objetivo es:
1. Construir sobre los Objetivos de Desarrollo Sostenible (ODS), los mejores estándares universales que existen, para nuestra Teoría del Cambio.
Los ODS, elaborados por las Naciones Unidas, son una brújula mundial para el desarrollo sostenible, pero también son significativos cuando se trata de la gobernanza. Descubrimos que el ODS 16.7, “garantizar una toma de decisiones receptiva, inclusiva, participativa y representativa a todos los niveles”, era exactamente el tipo de impacto que intentamos crear en CitizenLab. Además, lo dividimos en hitos individuales de impacto a largo plazo, que también pueden desglosarse en múltiples resultados a corto plazo.
2. Mirar más allá de la cantidad y medir también la calidad de la participación. Las iniciativas de tecnología cívica no pueden limitarse a presumir del número de ciudadanos y ciudadanas que han participado en un determinado proyecto. Aunque se trata de un indicador de impacto clave -que nosotros también utilizamos ampliamente-, no basta con optimizar el alcance o la participación. Las métricas que se fijan en el número de participantes nos dicen cuántas personas han opinado, pero no nos dicen nada sobre la influencia que han tenido en la decisión real. Por ello, llegamos a la conclusión de que debemos complementar las métricas de cantidad, a cualquier precio, con métricas de calidad. Se trata de un compromiso de tiempo que actualmente requiere anotaciones y evaluaciones manuales para llegar a índices de buena calidad, pero nos parece que vale la pena para medir nuestro impacto.
3. Hacer un seguimiento continuo del progreso y utilizarlo como brújula de nuestra empresa. El año pasado pusimos en marcha una iniciativa anual de medición del impacto para encuestar tanto a los miembros de la comunidad como a los gobiernos que utilizan nuestra plataforma, lo que dio lugar a un informe anual de impacto. Aunque continuaremos con esta iniciativa para captar opiniones cualitativas en profundidad, no podemos detenernos en eso. Para obtener más información que nos permita orientar nuestra empresa y maximizar el impacto con mayor frecuencia, hemos empezado a medir el impacto a nivel de resultados mensuales para hacer un seguimiento continuo del progreso.
Con estos principios en mente, llegamos al siguiente esquema de medición de impacto:
Al considerar la toma de decisiones públicas como un proceso integrado, la dividimos en tres bloques: entrada, proceso/producción y salida. Estos bloques reflejan nuestra misión de hacer que la toma de decisiones públicas sea más inclusiva, participativa y receptiva. ¿Qué significado tienen estos bloques en lo que respecta a los resultados y el impacto?
Impacto 1: Toma de decisiones más inclusiva
Resultado 1.1: Más participantes en el proceso.
El indicador más obvio, y también el más fácil de medir. Además, añadimos profundidad al observar quiénes eran Conscientes vs. Informados vs. Comprometidos.
Resultado 1.2: Grupo más representativo de participantes.
Medir la diversidad de los participantes no es una tarea fácil. La edad y el género pueden ser un poco más sencillos de recopilar, pero ir más allá de esas métricas de identidad personal puede ser una tarea delicada. Si una iniciativa pretende incluir a más miembros de la comunidad de diferentes etnias, religiones, estatus socioeconómico, etc., siempre queremos ser conscientes de que son datos personales y no siempre deben recogerse, a pesar de nuestras mejores intenciones de diseñar para una inclusión óptima.
Resultado 1.3: Mayor compromiso de los participantes.
No sólo queremos saber si un mayor número de personas hace oír su voz gracias a nuestra plataforma, también queremos saber si el compromiso es más sólido, también llamado “compromiso profundo”.
Impacto 2: Toma de decisiones más participativa
"¿Cuál es la calidad del proceso participativo?"
Resultado 2.1: Mayor calidad de los aportes. Mensualmente, tomamos una muestra de 100 nuevos aportes de las plataformas de nuestros clientes para evaluar cada uno de ellos en función de un conjunto de indicadores de calidad:
- Relevancia: ¿Responde el aporte a la solicitud del proyecto?
- Argumentación: ¿Proporcionan los participantes argumentos de apoyo?
- Especificidad: ¿Proporcionan detalles de cómo debe hacerse?
- Lenguaje: ¿El lenguaje es productivo y está orientado al cambio positivo?
Resultado 2.2: Elaboración de la agenda más participativa.
Una democracia abierta se caracteriza por la posibilidad de que el público en general influya en la agenda política real, y no sólo participe en la agenda que se establece. Por lo tanto, también observamos cuántas propuestas se lanzan con éxito desde la base.
Resultado 2.3: Mayor calidad del proceso.
Al igual que en la evaluación de los aportes, evaluamos mensualmente todos los nuevos proyectos en función de un conjunto de indicadores de calidad:
- Cronología: El proceso tiene un comienzo y un final claros.
- Tiempo y recursos: El proyecto cuenta con un gestor de proyectos dedicado al seguimiento.
- Interés: El área temática del proyecto es de gran interés para los participantes.
- Capacidad de respuesta: La retroalimentación está integrada en el proceso participativo.
- Transparencia: Se proporciona suficiente información para participar de forma efectiva. Se explica cómo se utilizan los aportes en el proceso y cuál es el valor añadido del proceso participativo.
- Difusión: Se realizan esfuerzos de comunicación y se incentiva a los residentes a participar.
- Compromiso: Los funcionarios públicos se comprometen a hacer un seguimiento de lo que ocurre en el proceso y a tener en cuenta las aportaciones recogidas para la toma de decisiones real.
Impacto 3: Toma de decisiones más receptiva
“¿En qué medida influyeron los participantes en la decisión real?”
Resultado 3.1: Mejor retroalimentación después de la participación.
La retroalimentación es esencial para afirmar que la propia voz es escuchada. Medimos qué porcentaje de los aportes han recibido retroalimentación dentro de los tres meses siguientes a su presentación, y si las decisiones y resultados finales del proyecto fueron comunicados claramente a los participantes.
Resultado 3.2: Más funcionarios escuchando a la comunidad.
La adopción interna es un buen indicador de cuántos funcionarios públicos escuchan realmente las opiniones de su comunidad.
Resultado 3.3 Procesamiento más eficiente de los aportes.
Por último, con la ayuda de la tecnología de Procesamiento del Lenguaje Natural (PLN), el tiempo necesario para procesar y resumir las entradas se reduce drásticamente, liberando más tiempo para el análisis y la discusión en profundidad.
El impacto que puedes crear
Esperamos que este esquema le haya inspirado a pensar en cómo medir el impacto de su organización. Aunque el seguimiento y la evaluación están en constante evolución, incluso en CitizenLab, tenemos la esperanza de que al centrarnos en el impacto social podamos crear un cambio más positivo, juntos. No dudes en ponerte en contacto con nosotros si tienes alguna sugerencia o pregunta.
