Como uma empresa de impacto social que desenvolve tecnologia cívica, a CitizenLab recentemente deu alguns passos importantes na forma como avaliamos nosso impacto. A estrutura de medição de impacto que projetamos também pode ser usada por outras iniciativas de tecnologia cívica, então hoje a compartilhamos aqui para ajudar a amplificar o impacto coletivamente.
Medir impacto em tecnologia cívica, não é um trabalho simples. Em 2018, Matt Stempeck do Civic Hall escreveu sobre os 10 problemas comuns com medição de impacto em tecnologia cívica. Para citar apenas alguns problemas, todos nós estamos usando métricas diferentes, o compartilhamento é irregular, métricas puramente quantitativas podem perder os objetivos e os estudos de caso geralmente são muito tendenciosos.
No CitizenLab, também lutamos há muito tempo para encontrar métricas significativas além de quantos membros da comunidade engajamos. Como ninguém parece ter descoberto isso antes, ou pelo menos não compartilhado publicamente, tivemos que encontrar nosso próprio caminho. Após um longo processo de reflexão e idealização, finalmente chegamos a uma estrutura da qual nos orgulhamos – e estamos felizes em compartilhá-la com o mundo.
Introduzindo a nossa Teoria da Mudança
Para planejar proativamente os problemas que podem surgir ao usar a estrutura, colocamos os seguintes princípios no centro da estrutura para nos guiar. Ao usar o framework, pretendemos:
1. Basear-se nos Objetivos de Desenvolvimento Sustentável (ODS), os melhores padrões universais existentes, para nossa Teoria da Mudança. Os ODS, conforme desenvolvidos pelas Nações Unidas, são uma bússola global para o desenvolvimento sustentável, mas também são significativos quando se trata de governança. Descobrimos que o ODS 16.7 para “garantir uma tomada de decisão responsiva, inclusiva, participativa e representativa em todos os níveis” era exatamente o tipo de impacto que estamos tentando criar no CitizenLab. Dividimos ainda mais em marcos de impacto individuais de longo prazo, que também podem ser divididos em vários resultados de curto prazo.
2. Olhar além da quantidade e também meça a qualidade da participação. As iniciativas de tecnologia cívica não podem parar de se gabar do número de cidadãos que participaram de um determinado projeto. Embora esse seja um indicador-chave de impacto – que também usamos amplamente – apenas otimizar o alcance ou o engajamento não é suficiente. As métricas que analisam o número de participantes nos dizem quantas pessoas tiveram uma opinião, mas não nos dizem nada sobre a influência que tiveram na decisão real. Portanto, concluímos que devemos complementar as métricas de quantidade, a qualquer preço, com métricas de qualidade. Este é um compromisso de tempo que atualmente exige anotações e avaliações manuais para chegar a índices de boa qualidade, mas achamos que vale a pena medir nosso impacto.
3. Acompanhar o progresso continuamente e usá-lo como bússola da nossa empresa. No ano passado, iniciamos uma iniciativa anual de medição de impacto para pesquisar membros da comunidade e governos que usam nossa plataforma, resultando em um relatório anual de impacto. Embora continuemos esta iniciativa para capturar feedback qualitativo e aprofundado, não podemos parar por aí. Para obter mais insights que podem nos fornecer orientação suficiente para orientar nossa empresa e maximizar o impacto com mais frequência, começamos a medir o impacto no nível dos resultados mensalmente para acompanhar o progresso continuamente.
Com estes princípios em mente, chegamos à seguinte estrutura de medição de impacto:
Ao olhar para a tomada de decisão pública como um processo integrado, dividimo-la em três blocos: entrada, processo/produção e saída. Esses blocos refletem nossa missão de tornar a tomada de decisões públicas mais inclusiva, participativa e responsiva. Então, o que esses blocos significam para a forma como analisamos os resultados e o impacto?
Impacto 1: Tomadas de decisão mais inclusivas
Resultado 1.1: Mais participantes no processo. O indicador mais óbvio e também o mais fácil de medir. Também adicionamos profundidade ao analisar quem estava ciente v. informado v. engajado.
Resultado 1.2: Grupos de participantes com mais representatividade.
Medir a diversidade de participantes não é uma tarefa fácil. Idade e gênero podem ser um pouco mais diretos para coletar, mas ir além dessas métricas de identidade pessoal pode ser delicado. Se uma iniciativa visa incluir mais membros da comunidade de diferentes etnias, religiões, status socioeconômico, etc., sempre queremos estar conscientes do fato de que esses são pontos de dados pessoais e nem sempre devem ser coletados, apesar de nossas melhores intenções de projetar para uma inclusão ideal.
Resultado 1.3: Maior engajamento entre participantes. Não queremos apenas saber se mais pessoas fazem suas vozes serem ouvidas por causa de nossa plataforma, também queremos saber se o engajamento é mais profundo, também conhecido como “engagement espesso”.
Impacto 2: Maior participação na tomada de decisão
“Qual a qualidade do processo participativo?”
Resultado 1.1: Maior qualidade de entrada. A cada mês, coletamos uma amostra de 100 novas entradas das plataformas de nossos clientes para avaliar cada uma delas em relação a um conjunto de indicadores de qualidade:
- Relevância: A entrada responde ao prompt do projeto?
- Argumentação: Os participantes fornecem argumentos de apoio?
- Especificidade: Eles fornecem detalhes de como isso deve ser feito?
- Linguagem: A linguagem é produtiva e orientada para mudanças positivas?
Resultado 1.2: Construção de agenda mais participativa. Uma democracia aberta é caracterizada pela possibilidade de o público mais amplo influenciar a agenda política real, e não apenas participar da agenda que está sendo definida. Portanto, também analisamos quantas propostas são lançadas com sucesso de baixo para cima.
Resultado 1.3: Processo com maior qualidade. Semelhante à forma como abordamos a avaliação de entrada, avaliamos todos os novos projetos mensalmente por meio de um conjunto de indicadores de qualidade:
- Linha do tempo: O processo tem um início e um fim claros.
- Tempo e recursos: O projeto tem um gerente de projeto dedicado para acompanhamento.
- Participação: A área temática do projeto é de grande interesse para os participantes.
- Capacidade de resposta: O feedback é incorporado ao processo participativo.
- Transparência: Informações suficientes são fornecidas para uma participação efetiva. Como a entrada é usada no processo e como é o valor agregado do processo participativo é explicado.
- Alcance: Os esforços de comunicação estão em vigor e os moradores são incentivados a participar.
- Compromisso: Os funcionários públicos estão comprometidos em acompanhar o que está acontecendo no processo e levar em consideração as informações coletadas para a tomada de decisões reais.
Impacto 3: Tomada de decisão mais responsiva
“Até que pontos o(a)s participantes influenciaram a decisão real?”
Resultado 3.1: Retorno mais qualificado após participação. O feedback é essencial para afirmar que a voz de alguém é ouvida. Medimos qual porcentagem de entrada recebeu feedback dentro de três meses após o envio e se as decisões e resultados finais do projeto foram claramente comunicados aos participantes.
Resultado 3.2: Mais funcionários ouvindo sua comunidade. A adoção interna é um bom indicador de quantos funcionários públicos estão realmente ouvindo as opiniões de sua comunidade.
Resultado 3.3 Processo de inclusão de informação mais eficiente. Por fim, com a ajuda da tecnologia Linguagem de Processamento Natural (LPN), o tempo necessário para processar e resumir a entrada é drasticamente reduzido, liberando mais tempo para análises e discussões aprofundadas.
O impacto que você pode criar
Esperamos que esta estrutura tenha inspirado você a pensar sobre como você mede seu próprio impacto. Embora o monitoramento e a avaliação estejam em constante evolução, inclusive no CitizenLab, esperamos que, ao focar no impacto social, possamos criar mudanças mais positivas juntos. Não hesite em entrar em contato caso tenha alguma sugestão ou dúvida.
