indicadores para la evaluación de proyectos expositivos
TRANSCRIPT
Javier Brun
Indicadores para la evaluación de proyectos expositivos
XVII Jornades de Museus i Educació - 27/28 Febrer 2014
Materiales descargables❖ denmarkarts_business_plan!
❖ evaluation_Centre d’art contemporain_Genève!
❖ guia evaluación politicas culturales (FEMP)!
❖ Performance Indicator Guidelines (Museums & Galleries) Department for Culture, Media and Sport_UK!
❖ l'evaluation des musees et des expositions!
❖ Cómo evaluar proyectos de Cultura para el Desarrollo. Una aproximación metodológica a la construcción de indicadores (AECID)!
❖ Measuring the economic and social impact of the arts. A review. Michelle Reeves!
❖ Victoria & Albert Museum. Strategic Plan
1ª consideración previa❖ Existe la posibilidad de realizar una evaluación a
diferentes niveles en el marco de un Museo / Centro de Arte o Galería:!
❖ Evaluar el funcionamiento del Centro y su programa expositivo!
❖ Evaluar una exposición!
❖ Evaluar una actividad en concreto!
❖ Especialmente, a nivel de Centro/Museo existen otros mecanismos de diagnóstico, frecuentemente ex-ante (análisis FODA, Cartografías…) para tener una imagen inicial del status quo del mismo.
2 ª Consideración previa
❖ Algunas preguntas que debemos responder en el contexto en el que trabajamos:!
❖ ¿Se realizan de alguna manera estas evaluaciones? ¿A qué niveles? !
❖ ¿ Quién realiza estas evaluaciones, si es que se hacen?!
❖ ¿Qué margen de maniobra tenemos como profesionales de la educación en el seno de un centro expositivo? (seguramente aquí hay respuestas variables)
3 ª Consideración previa❖ ¿Tenemos claro qué es lo que queremos saber?!
❖ Esto nos lleva a alguna pregunta más concreta y comprometida:!
❖ ¿Están los objetivos del Centro/Museo definidos?!
❖ Su MISIÓN!
❖ Sus objetivos generales en el marco de una planificación!
❖ Sus objetivos específicos para una programación anual (por ejemplo), bien explicitados.!
❖ Los objetivos más operativos para cada actividad/ exposición y sus acciones.
– Eduard Miralles
“Evaluar es crear valor”
❖ Pero también:!❖ “Evaluar es un proceso de gestión del conocimiento”!
❖ “Evaluar es ganar poder en la organización”!
❖ “Evaluar está en el núcleo del proceso que explica si lo que estamos haciendo sirve para cumplir nuestro mandato o los objetivos que nos hemos marcado
❖ Hemos de saber cuáles son nuestros objetivos para comprobar en qué medida nos hemos desviado…
❖ … o en qué aspectos hemos cumplido nuestras expectativas y en cuales tenemos que mejorar.
metodología más habitual
Matriz de evaluaciónObje%vos generales.
Obje%vos específicos
Resultados esperados
Indicador/unidad de medida
Fuente de verificación
Indicadores+(por+sus+caracteris0cas)+
• Cuan0ta0vos:+Un+indicador+cuan0ta0vo+es+un+dato+estadís0co+que+ha+sido+procesado+y+puesto+en+relación+con+otros+datos+estadís0cos+con+el+fin+de+entregar+una+información+específica.++
• Cualita0vos:+Pueden+provenir+de+respuestas,+si/no,+de+consultas+para+seleccionar+un+ítem+entre+varios,+…+
Los$indicadores$,$-pos$• Contexto$:$recogen$toda$la$información$del$entorno$que$influye$
directamente$en$el$proyecto$y$que$a$su$vez$es$externo$a$él.$
• Producto$/$Resultado:$$nos$aportan$información$numérica$de$can-dad$y$calidad$de$producto,$bienes$o$servicios$que$se$generan$a$par-r$de$las$ac-vidades$programadas,$los$procesos$realizados$o$las$acciones$implementadas.$Es$el$resultado$a$corto$plazo,$el$propósito$directo$de$la$planificación$
• Proceso:$Nos$analizan$cómo$ha$sido$la$realización$de$las$acciones,$procesos,$ac-vidades$o$actuaciones$programadas$
• Recurso:$par-r$de$los$cuales$conocemos$la$naturaleza$y$cuanIa$de$los$factores$que$directa$o$indirectamente$se$u-lizan$para$llevar$a$término$la$intervención$para$alcanzar$el$propósito$especificado$en$el$proyecto.$
• Efecto:$tratan$de$medir$los$efectos$como$resultados$directos$y$a$medio$plazo$sobre$los$usuarios$a$quien$van$dirigidos$los$proyectos.$
• Impacto:$miden$el$resultado$final$obtenido$a$largo$plazo$como$consecuenciade$la$intervención$y$que$repercuten$en$el$entorno$de$los$usuarios.$
Algunos ejemplos de indicadores en casos concretos
National Museum of Australia No. Key performance indicator 2012–13
target Actuals
1.1.1 Number of paid on-site visits 44,111 42,948
1.1.2 Number of unpaid on-site visits 502,179 512,277
1.2.2 Number of on-site visits by preschool students 1000 295
1.2.3 Number of on-site visits by primary school students 67,000 72,358
1.2.4 Number of on-site visits by secondary school students 16,000 14,194
1.2.5 Number of on-site visits by post-secondary education students 300 416
1.3.1 Number of visits to the website 1,017,000 1,550,750
1.3.2 Number of page views to the website 3,036,000 3,343,891
1.4 Number of off-site visits to the organisation (travelling exhibitions) 175,000 85,186
3.1 Number of formal overseas initiatives 4 4
3.2 Number of other overseas initiatives 400 174
4.1 Operational funding (as a % of total funds from operations and government) 86% 86%
4.2 Capital funding from government (as a % of total funds from operations and government) 4% 4%
4.3 Cash sponsorship income (as a % of total funds from operations and government) - -
4.4 Other cash fundraising income (as a % of total funds from operations and government) - -
4.5 Other income (as a % of total funds from operations and government) 10% 10%
5.1 Expenditure on collection development (as a % of total expenditure) 13% 12%
5.2 Expenditure on other capital items (as a % of total expenditure) 16% 18%
5.3 Expenditure on other (i.e. non-collection development) labour costs (as a % of total expenditure) 32% 31%
5.4 Other expenses (as a % of total expenditure) 41% 39%
7.1.1 Number of acquisitions in the reporting period 1700 2419
7.2.1 Total number of objects accessioned in the reporting period 900 821
7.2.2 Total number of objects awaiting accessioning at the end of the reporting period 12,000 12,798
7.2.3 % of total objects (acquired in the reporting period) accessioned 5% <1%
7.3.1 % of total collection available to the public 47% 46%
7.3.2 % of total collection available to the public online 42% 42.5%
7.3.3 % of total collection available to the public on display 4% 3%
7.3.4 % of total collection available to the public on tour 1% ≤1%
7.4.1 % of total objects assessed/condition checked in the reporting period 1.3% 2.53%
7.4.2 % of total objects conserved in the reporting period for preparation for display or digitisation 0.1% 0.37%
7.4.3 % of total objects treated for preservation purposes only in the reporting period 0.2% 1.54%
7.5 % of the total collection digitised 54% 85%
8.1 Number of people participating in public programs 25,640 27,541
8.2 Number of people participating in school programs 84,300 87,263
Victoria & Albert Museum (Plan estratégico)
1 método general: Definir las variables
❖ Para el proceso de extracción de indicadores, se crea una matriz que facilita la presentación de las variables X e Y, y una sencilla visualización de los posibles cruces entre ellas que dan origen a los indicadores básicos. !
❖ !Del cruce de las variables se extraen los correspondientes indicadores básicos de resultado, proceso y recurso que se presentan en listado
X X X X X X X
X Acciones Beneficiarios Actores / Agentes Financiación Recursos humanos
Recursos infraestructurales
nº Acciones realizadas para la obtención de ese objetivo
n º de beneficiarios que participan en Acciones realizadas para la obtención de ese objetivo
n º de actores que participan en Acciones realizadas para la obtención de ese objetivo
presupuesto destinado s las acciones realizadas para la obtención de ese objetivo
nª de recursos humanos destinados a llevar a cabo las acciones realizadas para la obtención de ese objetivo
nª de recursos infraestructurales destinados a llevar a cabo las acciones realizadas para la obtención de ese objetivo
Y En función de … En función de … En función de … En función de … En función de … En función de …
YLugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Gestión:Participación en la decisión/ Propuesta unidireccional
Perfil laboral: trabajador/estudiante/en paro/pensionista
Públicos/privados /tercer sector
Origen de la financiación
Grado de dedicación (% medio de jornada) (<25, 25<x<50,50<x<75, <75)
Tipo de recurso: Espacial, iluminación/
audiovisual/…
En relación a los contenidos del programa expositivo
Nivel Académico: Estudios superiores / Secundaria / Primaria / Sin estudios
Presencial / virtual Minoría étnica: Si /No
Clase social: a/b/c/d
Género: Mujer/ Hombre
Edad: e < 20 / 20 > e < 30 / 30> e < 50 / e > 50procedencia: del barrio/ del resto de la ciudad /
del resto del país/ extranjero
Objetivo de la programación nº 1!Variable X: Acciones realizadas para la obtención de ese objetivo!
Variable Y: en función de algunos parámetros que nos interese desglosar
Otra línea de trabajo
❖ AUTOEVALUACIÓN
Nueva línea de trabajo❖ ¿Cuáles son las cosas importantes de este programa
expositivo?!
❖ Hagámonos preguntas sencillas sobre eso antes de poner en marcha la exposición.!
❖ Preguntémonos sobre valores, procesos, organización, … (es importante volver a la ética, no solamente al resultado numérico)!
❖ ¿Cómo obtengo datos cualitativos?
Matriz de evaluaciónObje%vos generales.
Obje%vos específicos
Resultados esperados
Indicador/unidad de medida
Fuente de verificación
Objetivos generales. Objetivos específicos Resultados esperados Indicador/unidad de medida
Fuente de verificación
Proponer una conmemoración de la celebración de los bicentenarios reflexionando sobre la importancia de los derechos económicos, sociales y culturales en la construcción de los estados modernos en América latina.
Presentar y visibilizar el papel de las mujeres en el desarrollo de la vida de las repúblicas americanas en este periodo histórico.
La mujer se representa mayoritariamente en actitudes respetuosas relacionadas con aspectos cotidianos.
x% de las imágenes de la exposición presentan la mujer latinoamericana en actitud socialmente valorada,
% de elementos expositivos en los que la mujer tiene un papel central en contextos socialmente valorados.
Observación crítica de las imágenes de la exposición por parte de visitantes espontáneos encuestados…
Reconocer y poner en valor la labor realizada por fotógrafos/as, cronistas, historiadores/as, centros de información y documentación, archivos de imágenes, filmotecas, bases de datos, etc. en la tarea de documentación de este periodo.
Dar a conocer el trabajo de destacados reporteros gráficos locales del siglo XX.
Al menos una media de 3 reporteros gráficos deben ser recordados a la salida de la exposición.
nº medio de reporteros gráficos locales que son citados al preguntar a los asistentes a la exposición.
Encuesta a la salida de la exposición.
Fomentar entre el público escolar en primaria el interés por el fotoperiodismo
Al menos 10 profesores de escuelas primarias, participantes en las actividades educativas del museo imparten un taller de fotoperiodismo entre sus alumnos de educacion primaria.
nº de profesores de escuelas que participan en las actividades formativas y que organizan talleres de iniciación al fotoperiodismo en sus escuelas.
Cuestionario pasado a los centros de los que provienen los profesores inscritos en las actividades educativas del Museo.
Proponer un espacio abierto al diálogo, la reflexión histórica y la memoria colectiva.
Dar pie a debates públicos en los medios de comunicación sobre la importancia de la memoria colectiva en la construcción de identidades
n1 programas radiofónicos / televisivos que abordan la temática de la memoria colectiva en el periodo de desarrollo de la exposición
nº de programas radiofónicos / televisivos que abordan la temática de la memoria colectiva en el periodo de desarrollo de la exposición
cuestionario remitido a los 10 medios de comunicación de masas (radio/tv) de mayor audiencia en el país (en la ciudad…)
nº de debates presenciales / virtuales que abordan,….
— Valorar el papel de la mujer en el proceso de evolución histórica de los países de América latina y la consecución de los derechos fundamentales
Estas son algunas de las variables que habitualmente se miden
❖ Asistentes globales!
❖ Número de visitas!
❖ Espontáneas!
❖ Organizadas!
❖ Número de actividades paralelas!
❖ nº de participantes en las actividades paralelas!
❖ nº de actividades pedagógicas!
❖ nº de participantes en las actividades pedagógicas!
❖ Presencia en los medios de comunicación:!
❖ nº de inserciones en diarios/revistas/tv/radio!
❖ nº visitas a páginas web!
❖ Presencia en redes sociales:!
❖ Amigos en facebook, seguidores de twitter,…
constatamos
❖ Fundamentalmente utilizamos indicadores cuantitativos!
❖ Medimos cantidades directamente, sin ponerlas en contexto!
❖ La excepción a ello tiene que ver con las encuestas que pasamos:
Algunas intuiciones sobre las encuestas❖ Encuestas de satisfacción.!
❖ Pregunta importante : ¿cómo pasamos las encuestas? !
❖ ¿Es cierto que lo que realmente se usa de las encuestas es la pregunta: Me ha gustado si/no (… o similar)?!
❖ ¿Qué informaciones nos deberían interesar de las encuestas? ¿Las usamos para analizar al público que asiste? (¿id. para el que no asiste?)!
❖ Se recogen muchos datos, pero ¿sabemos qué hacer con todos esos datos? ¿Son útiles?!
❖ ¿Quién y cómo debe plantear las encuestas? !
❖ ¿Espontáneamente/voluntariamente?!
❖ ¿Random?!
❖ ¿Público seleccionado?
❖ ¿Es cierto que la mayor parte de encuestas que usamos las hemos copiado o adaptado de otras?!
❖ Hay que preguntar lo que realmente se quiere saber, no dejarse llevar por la inercia!
❖ ¿Qué es lo que queremos saber de nuestro público real/potencial? (Hay que pensar mucho antes de redactar las preguntas)
Una fuente de información primordial:❖ Tenemos que MIMAR al personal de sala e involucrarlo en nuestras
evaluaciones, como forma de motivarlo.!
❖ El personal de sala (azafatas/os, vigilantes, seguridad…) son quiénes realmente conocen a nuestros usuarios. !
❖ Observación del comportamiento de los usuarios: ¿Qué pueden observar y tomar nota?:!
❖ ¿Cuánto dura una visita de una serie de personas elegidas, bien sea por perfil segmentado o random?!
❖ cada hora miro los diez primeros en entrar en la sala ¿Cuántos leen los textos introductorios y cuántos se los saltan?!
❖ ¿Cuánto tiempo medio se pasan ante un vinilo?
Algunas reflexiones para posibilitar la implementación de evaluaciones útiles y factibles
❖ La peor evaluación es la evaluación perfecta, la que quiere saberlo todo, !
❖ porque nunca se hace. Nunca hay tiempo ni dinero para hacerla.(y si se hace realmente, detrae tantos recursos que no es sostenible). !
❖ Una evaluación es una aproximación a la realidad, no es la realidad misma. Es una foto pixelada que hay que ver con perspectiva. Hay que conseguir los menos píxeles posibles.
❖ Para que se pueda evaluar correctamente tiene que haber una planificación.!
❖ Sin planificación no hay objetivos. Si no hay objetivos no sabemos lo que queremos y, por ello lo que nos debemos preguntar.!
❖ Las planificaciones deben ser participativas. Deben intervenir las distintas áreas del Centro expositivo/museológico.!
❖ Uno de los resultados de la planificación es el programa expositivo. En la decisión del programa expositivo tienen que participar lógicamente los servicios educativos. (no puede ser que se decida al margen el programa y que luego se les pida que se limiten organizar talleres).!
❖ Los servicios educativos pueden jugar un papel importante en el proceso evaluativo y las conclusiones de la evaluación deben influir en la modificación de las siguientes planificaciones y programaciones.
¿Qué cosas no se nos debería olvidar evaluar?
❖ Los procesos y los recursos son tan importantes como los resultados.!
❖ Hay, varias maneras imperfectas pero positivas de enfocar estos temas difíciles de contar:!
❖ Autoevaluación!
❖ Respuestas si/no (vinculado con lo anterior)!
❖ Buscar algunas variables aproximadas (ejemplo)
❖ Hay que incorporar, POR EJEMPLO, objetivos de PARTICIPACIÓN/GOBERNANZA en los museos/centros expositivos!
❖ Hay que observar/tener en cuenta, temas como el de la DIVERSIDAD (en los usuarios/as, en el equipo,…)!
❖ Cultural!
❖ De género!
❖ generacional…!
❖ étnica…!
❖ social…
❖ Si lo que pretendo al poner en marcha una exposición es generar un debate sobre un tema, llamar la atención sobre un tema… Medir en qué grado se ha generado ese debate, se ha permeado en la sociedad.!
❖ Esto posiblemente supondrá plantear las actividades no solamente en el Museo, sino seguramente fuera de él. Nuestro objetivo último puede no ser que se vaya a ala exposición, sino que se transmita una problemática, se conozca un tema…)!
❖ ¿Cómo mediríamos eso?!
❖ Contar actividades realizadas con la comunidad, al margen de que se haga dentro o fuera del centro.!
❖ Medir impacto en redes sociales de determinados temas que se trate: Las redes sociales no son solamente marketing, sino que son parte de un medio de debate e información.
Ejemplo: PARTICIPACIÓN/GOBERNANZA en los museos/centros expositivos
❖ Autoevaluativo / cualitativo: !
❖ PREGUNTA: ¿Tenemos mecanismos de participación en la decisión, en la organización y el diseño de la exposición/ del programa expositivo…?!
1. Por parte del equipo del centro: si/no!
2. Por parte de los colaboradores habituales: si/no!
3. Por parte de los usuarios habituales: si/no!
4. por parte de la sociedad civil referente del centro: si / no!
5. Por parte del segmento de la población vinculado a la temática de una exposición: si/no
Ejemplo: PARTICIPACIÓN/GOBERNANZA en los museos/centros expositivos
❖ Cuantitativo: ¿Número de exposiciones que se han puesto en marcha en el año 2014 con participación en la decisión, en la organización y el diseño de las mismas?!
1. Por parte del equipo del centro:!
2. Por parte de los colaboradores habituales:!
3. Por parte de los usuarios habituales:!
4. por parte de la sociedad civil referente del centro:!
5. Por parte del segmento de la población vinculado a la temática de una exposición:
naturalmente, se supone que en este caso deberíamos tener un objetivo marcado (por ejemplo, % de las exposiciones
contarán con participación de…. en el año 2014)
X X X X X X X
X Acciones Beneficiarios Actores / Agentes Financiación Recursos humanos
Recursos infraestructurales
nº Acciones realizadas para la obtención de ese objetivo
n º de beneficiarios que participan en Acciones realizadas para la obtención de ese objetivo
n º de actores que participan en Acciones realizadas para la obtención de ese objetivo
presupuesto destinado s las acciones realizadas para la obtención de ese objetivo
nª de recursos humanos destinados a llevar a cabo las acciones realizadas para la obtención de ese objetivo
nª de recursos infraestructurales destinados a llevar a cabo las acciones realizadas para la obtención de ese objetivo
Y En función de … En función de … En función de … En función de … En función de … En función de …
YLugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Lugar: En el Museo /fuera de él
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Asistencia espontánea / público concertado
Gestión:Participación en la decisión/ Propuesta unidireccional
Perfil laboral: trabajador/estudiante/en paro/pensionista
Públicos/privados /tercer sector
Origen de la financiación
Grado de dedicación (% medio de jornada) (<25, 25<x<50,50<x<75, <75)
Tipo de recurso: Espacial, iluminación/
audiovisual/…
En relación a los contenidos del programa expositivo
Nivel Académico: Estudios superiores / Secundaria / Primaria / Sin estudios
Presencial / virtual Minoría étnica: Si /No
Clase social: a/b/c/d
Género: Mujer/ Hombre
Edad: e < 20 / 20 > e < 30 / 30> e < 50 / e > 50procedencia: del barrio/ del resto de la ciudad /
del resto del país/ extranjero
Objetivo de la programación nº 1!Variable X: Acciones realizadas para la obtención de ese objetivo!
Variable Y: en función de algunos parámetros que nos interese desglosar
Una última consideración❖ En algunos casos (alumnos aventajados) se hacen
evaluaciones, que pueden estar bien hechas, … pero…!
❖ No se tienen en cuenta. (Error: Hemos dicho que son un mecanismo de gestión del conocimiento)!
❖ No se comunican. !
❖ Es muy importante comunicar los resultados de las evaluaciones, socializar las conclusiones (hacia dentro y hacia fuera).