La evaluación es ese ser mitológico y mágico cuya representación más común es en forma de formularios, indicadores, gráficos o discursos, muchas veces ilegibles, con la intención de medir y representar los sesgos de quien promueve el proyecto a evaluar. Pero, ¿tiene que ser esto así?, ¿existen alternativas?, ¿es posible la evaluación honesta y rigurosa?, ¿es viable?

Tratando de explorar estas y otras muchas preguntas iniciamos la sesión formativa del pasado 27 de octubre de 2022 “¿Cómo medir lo invisible? Evaluación de procesos de innovación ciudadana”.

¿Qué es Civímetro?

Civímetro es, a día de hoy, una guía para la evaluación de iniciativas de innovación ciudadana. Esto no siempre ha sido así. El proyecto surge de la necesidad de profesionales vinculados a proyectos de innovación ciudadana de analizar, entender y comunicar las transformaciones que estos proyectos generan.

Tras años de reflexión colectiva junto a compañeras de la red CivicWise y mucha experimentación sobre el formato y enfoque que Civímetro debería tener, se realiza un primer prototipo de la mano de Medialab-Prado (Madrid, 2019), al que le siguen experiencias por diferentes proyectos y espacios de innovación ciudadana: Medialab-Tabakalera (San Sebastián, 2020), Mestura Puerto (Fuerteventura, 2021), Comunidades de Aprendizaje y Práctica (CAPs) de BBK Kuna (Bilbao, 2021). 

Durante la sesión de Bherria Prestakuntza, y a través de 4 ideas fuerza, compartimos con las asistentes los aprendizajes que nos ha brindado desarrollar Civímetro en los últimos años. 

1. El Plan de evaluación como herramienta para diseñar proyectos

La evaluación, como cualquier otro aspecto vinculado al desarrollo de proyectos, puede ser muchas cosas: una potentísima herramienta que nos ayude a pensar y a enriquecer nuestro proyecto o un tedioso trámite burocrático con el que cumplir. En nuestra experiencia con Civímetro creemos en las posibilidades de la primera de las opciones, y hemos podido comprobar que disponer de un Plan de Evaluación ayuda a definir y comprender nuestro proyecto. ¿Cuál es la clave para ello? Entender la evaluación como un proceso que se incorpora al inicio del mismo, convirtiendo la evaluación en una herramienta muy útil y que va mucho más allá de definir indicadores. Partimos de una idea clara: evaluar no es (únicamente) medir. 

Por ejemplo, contextualizar la iniciativa y definir sus objetivos de forma clara y unívoca para que estos sean evaluables (específicos, medibles y ajustados en el tiempo) es un primer paso común en Planes de evaluación, también en el de Civímetro. Realizar este ejercicio de manera colectiva entre las encargadas del proyecto y las evaluadoras externas facilita poner en común puntos de vista sobre el planteamiento y futuro desarrollo del mismo. Evitamos así asumir y dar por hecho consensos que quizá no existan o descartar cuestiones que podrían ser interesantes para el desarrollo del proyecto. En definitiva, evaluar también permite definir, ajustar y diseñar el proyecto.

2. La importancia de emplear un marco de evaluación adaptado al proyecto

Una de las mayores dificultades a la hora de evaluar es encontrar un sistema de evaluación que permita analizar lo que realmente es importante en nuestro proyecto. Dicho de otra forma, ¿no sería absurdo pretender medir distancias con un termómetro? 

Civímetro se centra en la evaluación de proyectos de innovación ciudadana. Un tipo de procesos cuya principal particularidad es conseguir que las personas que participan compartan y desarrollen ideas mediante dinámicas colaborativas, comportamientos inclusivos y formas de hacer y pensar abiertas y experimentales. Por ello, Civímetro articula su marco metodológico de evaluación a través de 7 dimensiones cuya definición encaja con este tipo de dinámicas. 

Analizar cuáles de estas dinámicas son importantes para la consecución de nuestros objetivos nos permite también llevar a cabo un ejercicio de autoconsciencia previo sobre la naturaleza de nuestro proyecto: ¿cuál es la identidad de mi proyecto?, ¿qué dinámicas busca generar entre sus participantes?

Si tienes un proyecto de innovación ciudadana entre manos quizá Civímetro pueda serte de utilidad: puedes consultar aquí las 7 dimensiones y ver el encaje de tu proyecto con su metodología. Si por el contrario, consideras que tu proyecto cuenta con una naturaleza particular, o quieres tratar de desarrollar un marco de evaluación propio, lánzate a definir tus propias dimensiones de evaluación. Piensa en las dinámicas que tu proyecto genera, trata de nombrarlas y definirlas, intenta que no sean más de 5-7 dimensiones, y articula después un cuestionario similar al de Civímetro que te permita evaluar en qué grado tu proyecto cumple con ellas.

Para profundizar sobre este tema aquí os compartimos el vídeo de la sesión “¿Cómo medir la experimentación ciudadana?” realizada en mayo de 2020 y donde pueden encontrarse otras experiencias de evaluación así como un debate entre diferentes profesionales donde el concepto de “identidad” en proyectos de naturaleza de innovación social o ciudadana tuvo especial protagonismo.

3. Entender la evaluación como un proceso (subjetivo) y no un fin 

Tendemos a pensar que la evaluación es un hecho objetivo. Asumir que la evaluación es un proceso largo y que, además, es subjetivo y depende de la mirada de quien lo lleva a cabo, nos ayuda a aceptar sus limitaciones. Pero, no nos llevemos a engaño, que la evaluación cuente con un sesgo subjetivo no tiene por qué implicar que se convierta en un proceso arbitrario. Evaluar consiste en generar un método riguroso y bien documentado que facilite su trazabilidad, de forma que si alguien repitiera el mismo proceso, pueda llegar a los mismos resultados, o bastante similares.

Entender cómo funciona el proyecto a evaluar –el peso de sus objetivos, qué actividades se van a evaluar y por qué o cuáles son las dimensiones más relevantes– es clave para la generación de una narrativa común en torno a la evaluación: ¿cuál es el fin último por el que evaluamos: para rendir cuentas, para aprender, para ambas, …?
Es en este punto que el proceso de evaluación facilita comunicar dónde se quiere poner el foco, asumiendo que hay cuestiones que, aun pudiendo ser importantes, quedan fuera de la evaluación. Además, si esto va acompañado de elementos gráficos, nuestra narrativa se entenderá mucho mejor. Realizar una comunicación efectiva sobre qué es y qué no es nuestro proyecto nos permitirá ajustar expectativas y evitar generar desconfianza hacia proyectos cuyos resultados, muchas veces, son intangibles.

4. Acotar para poder llegar

De todas las cuestiones que hemos tratado hasta ahora sobre evaluación, ninguna corresponde a la definición de indicadores, y todas se desarrollan en una fase inicial del plan de evaluación. Esto nos aporta dos conclusiones: (1) la importancia y el peso que esta fase inicial del proceso de evaluación tiene –como ya hemos remarcado a lo largo de todo el texto–, y (2) la gran cantidad de tiempo y energía que puede suponer llevar a cabo un proceso de evaluación de forma amplia e integral.

Evaluar bien requiere de una gran cantidad de recursos económicos, humanos, materiales y técnicos, y los proyectos no siempre cuentan con ellos. Por esto, es muy importante saber acotar: poder decidir qué es, de todo aquello que podríamos medir y evaluar, lo más relevante. Toma de nuevo especial relevancia todo el trabajo previo y el ya mencionado ejercicio de autoconciencia para poder decidir de manera informada qué incluimos en la evaluación y qué dejamos fuera.

¿Cómo acotar una evaluación? Puedes seguir alguna de las siguientes estrategias:

• Priorizar objetivos: no evaluar todas las acciones o actividades de nuestro proyecto, pero sí asegurar que mediremos y evaluaremos todos los objetivos de nuestro proyecto.
• Priorizar actividades: poner especial atención en la evaluación de nuestras acciones, midiendo y observando todas ellas, o una selección de aquellas que consideramos fundamental evaluar, aunque ello suponga dejar fuera de la evaluación alguno de los objetivos con menor peso.
• Priorizar dimensiones: atendiendo al peso de las 7 dimensiones de evaluación para nuestro proyecto, focalizar los recursos en medir aquellas dimensiones prioritarias, aunque ello suponga no evaluar todos los objetivos o actividades de nuestro proyecto.

Los mínimos, como podemos ver, los marca el propio proyecto y los recursos con los que se cuente. Tendremos que considerar la incorporación de un equipo de evaluación externo que, además de realizar todas las fases previas ya mencionadas, se encargue de definir los indicadores a aplicar. Es importante también atender a los posibles recursos técnicos con los que el proyecto pueda contar, como bases de datos o herramientas de gestión de los mismos que puedan facilitar y agilizar el proceso de medición.

Todos estos condicionantes determinarán la amplitud y profundidad con la que llevaremos a cabo la evaluación. Lo importante, pese a tener que considerar el dejar algunos aspectos fuera de la misma, es realizarlo de forma rigurosa y documentada, pudiendo trazar el camino inverso y argumentar así las razones que sustentan nuestras decisiones en el proceso de evaluación.

Cierre

La evaluación puede y debe ser un proceso que nos dote de herramientas e información para transmitir lo que nuestro proyecto es capaz de generar. Esperamos que, con lo compartido en la sesión del 27 de octubre y en este texto, hayamos contribuido a su desmitificación.

Artículo publicado originalmente el 9 de noviembre de 2022 en el Blog del proyecto Bherria