Enhancing Public Research Performance through Evaluation,
Impact Assessment and Priority SettingOCDE - Directorate for Science, Technology and Innovation
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdfhttp://www.oecd.org/sti/inno/impact-assessment-public.htm
Giuliano [email protected]
http://google.com/+GiulianoSposito
Objetivos do Relatório
● Avaliação de políticas como chave para equalizar e possibilitar a distribuição mais efetiva do investimento público em P&D
● Demanda por ferramentas efetivas de avaliação, para suprir o processo decisório para as políticas públicas de investimento de P&D
Primeira ParteDefine o contexto e discutindo os pontos chaves na avaliação da pesquisa pública em ciência e tecnologia
1. Principais pontos no processo avaliação de S&T: arquitetura da avaliação, peer review como ferramenta de avaliação e interconexão entre avaliação e priorização
2. Peer Review & Expert Reviews3. Avaliação de Impacto: Racional, métodos e ferramentas4. Analiza o papel da priorização
Segunda ParteApresenta 6 casos de estudo de avaliação de programas de S&T
1. China2. Finlândia3. Israel4. Noruega5. Japão6. Austria
JapãoFollow-up Evaluation as a Tool for R&D Policy
Caso de estudo examina o papel das avaliações de acompanhamento (follow-up evaluations) no objetivo de verificar o impacto dos programas, políticas e projetos. O Japão faz uso de Peer e Expert Review durante a execução do projeto e análise de impacto nas avaliações de follow-up.
Contexto● Economia do Japão começou a estagnar a partir da década 1990.● Uma das razões foi o desencontro entre o desenvolvimento tecnológico
industrial convencional e a emergência das indústrias de base científica (IT e Biotech)
● Plano Básico para Ciência e Tecnologia, que promove a política de inovação, prioriza os campos de pesquisa e indica o orçamento necessário
● 3a. Edição do Plano Básico (2006-2010)
http://www.oecd.org/science/inno/41377237.pdf
http://www.oecd.org/science/inno/41377237.pdf
● METI | Ministry of Economy, Trade and Industry○ Missão: Assegurar o crescimento econômico sustentável do Japão
○ Responsável pelas políticas: (1) manufatura industrial, (2) comércio exterior, (3) informação,
comunicação e serviços, (4) pequenas e médias empresas, (5) energia e meio-ambiente e (6) nuclear e segurança industrial
○ 34 programas e aproximadamente 120 R&D projects
● NEDO | New Energy and Industrial Development Organization○ Missão: promover o aprimoramento da competitividade industrial japonesa. ○ Agência de “funding” para pesquisas aplicadas○ Gestão e acompanhamento dos projetos○ Cooperação com agentes privados
● AIST | National Institute of Advanced Industrial Scince and Technology○ Instituto encarregado de conduzir a pesquisa básica○ Licenciamento e agência de inovação
Processo de Avaliação● Avalia inteiramente as fases de pesquisa e desenvolvimento, e procura
melhorar o processo de orçamento e diminuir redundâncias.● Constantemente provê ajustes e avanços na política de inovação● Ferramentas e metodologias bem estabelecidas e padronizadas● Identifica elementos que acelera ou impedem o processo de inovação. ● METI e NEDO conduzem as avaliações de follow-up, mas com diferentes
horizontes: ○ NEDO: short-term outcomes and project goals○ METI: long-term outputs to achieve policy objective
Alcance da avaliação
http://www.oecd.org/science/inno/41377237.pdf
Alcance da avaliação
http://www.oecd.org/science/inno/41377237.pdf
METI’s Evaluation Process ● Avaliações Ex-post e Follow-ups são feitas por comites externos● Ex-ante via self assessment
Entre 1 à 2 projetos por ano5 anos após a conclusão>1 bilhão de yenesUm projeto por campo técnico
METI’s Evaluation Process ● O produto da pesquisa (output) é avaliado via Peer-review
○ De 4 a 5 membros revisam projetos específicos de P&D
● O resultado é feito por revisão de especialistas○ 10 membros revisam todos os projetos de P&D
● Avaliação de Follow-up é feita usando:○ Indicadores de avaliação○ Avaliação quantitativa○ Entrevistas e questionários
● Follow-up não é feita para todos os projetos (1 à 2 projetos por ano)● Feita em projetos que completaram à 5 anos
http://www.oecd.org/science/inno/41377237.pdf
Papel Central da Avaliação de Follow-UP● Análise de Impacto:
○ Impacto Tecnológico○ Melhoria de Performance de P&D○ Benefício Econômico ⇒ análise de custo/benefício○ Melhoria Social (life)○ Feedback para a Política
● Feita após 5 anos de conclusão do projeto e assume o ponto de vista “após o fato” para identificar efeitos de longo prazo
● METI incorpora análises de fatores internos (maturidade, recursos), externos (competitividade, mudanças de mercado) e políticos que podem afetar o fluxo da pesquisa através de entrevista dos participantes
Avaliação de Follow-UP busca● Elementos de impacto positivos e negativos● Links claros entre esses elementos (evidência)● Accountability para os envolvidos● Avançar a estratégida de P&D● Identificar aspectos não cobertos pelo programa (funding, regulação, etc)
Follow-UP ⇒ Alterações na Política● Usa um modelo de difusão para desenhar um grande número de possíveis
produtos do projeto/programa de pesquisa● A função da avaliação é coletar evidênciaspara identificar e compreender os
links entre produtos da pesquisa e tecnologia: evidenciando elementos impeditivos e oportunísticos
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
Case ● De 1992 à 2001 - METI conduziu “Programa Descentralizado de Baterias”
que resultou na geração de três novos projetos de pesquisa, um para “baterias estacionárias” e outra para “baterias de automóveis”
● A avaliação de follow-up permitiu ao METI entender que o declínio do preço e demanda por eletricidade e ambiente regulatório propício abria espaço e oportunidade para uso de baterias estacionárias para estabilizar energia proveniente de geradores eólicos.
● NEDO (pesquisa aplicada) lançou o projeto de “Baterias de Lítio Estacionárias”
https://higherlogicdownload.s3.amazonaws.com/EVAL/271cd2f8-8b7f-49ea-b925-e6197743f402/UploadedImages/2007-01-Ogasahara_K-Analysis.pdf
Acompanhar os maiores eventos ao longo do projeto e compreender os pontos chaves na gestão e as razões porque certos eventos
acontecem.
Deriva implicações concretas para melhoria da gestão de projetos de P&D
NEDO - Evaluation Goals
http://www.rieti.go.jp/jp/events/07090301/pdf/04_E_Miyata_Presentation.pdf
NEDO Follow-up Evalution● NEDO conduz o monitoramento (follow-up) observando diretamente o
produto da pesquisa.● Monitora as atividades dos participantes do projeto anualmente● Coleta evidências relacionadas a elementos (gestão) quanto a aceleração ou
impedimento.● As evidências coletadas, em conjunto com a avaliação ex-post, permite
reconstruir a tendência da tecnologia ⇒ Follow-Up Charts
Follow-Up Charts
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
Follow-Up Charts● Ferramenta para identificar e visualizar cronologicamente eventos
significativos no fluxo da gestão do projeto.● O objetivo é mostrar possíveis cenários de “sucesso” e “falha” a um corpo
executivo.● A figura reflete a mudança do uso prático da tecnologia ao longo do tempo,
bem como os efeitos da gestão na pesquisa.● A coleta de evidências é feita entrevistando empresas envolvidas no projeto,
o entrevistado é uma pessoa que compreende o projeto todo e sabe avaliar os seus resultados até o momento.
● É difícil quantificar as possibilidades de uso da tecnologia, então o eixo vertical é baseado na opinião do entrevistado.
Follow-Up Monitoring & Evaluation Systems for National R&D at NEDO - American Evaluation Association Conference - October 28, 2005 - Hiroshi Sano
Follow-Up Monitoring & Evaluation Systems for National R&D at NEDO - American Evaluation Association Conference - October 28, 2005 - Hiroshi Sano
Resultados● Baseado na entrevista das companhias envolvidas, NEDO define 4 categorias de
resultado:○ Tipo A: corpo executivo consistentemente (steadly) supera todos os problemas
técnicos, com uma clara visão do uso/necessidades.○ Tipo B: em que problemas técnicos durante as fases iniciais foram subestimados
(optimistic) mas o breakthrough ocorreu após a metade do projeto.○ Tipo C: problemas técnicos foram consistentemente resolvidos, mas logo após o
lançamento problemas de custo e/ou competitividade prejudicaram os produtos.○ Tipo D: em que o corpo executivo foi muito otimista sobre a capacidade de
resolver os problemas técnicos e falhou em obter o breakthrough.
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
Vantagens da avaliação de Follow-Up1. Knowledge Sharing: as lições de gerenciamento aprendidas e obtidas pela
avaliação de follow-up são disponibilizadas no Guia de Gestão de Projeto de R&D do NEDO e acessível via Intranet
2. Disseminação e Promoção: o monitoramento permite encontrar desenvolvimentos tecnológicos “no vale da morte”. Se necessário o NEDO pode promover assistência financeira para remoção de obstáculos.
3. Proposição de Políticas: lições aprendidas podem virar propostas de reformas de leis e políticas relacionadas ao sistema nacional de inovação
4. Intercâmbio com a indústria: lições derivadas do monitoramento de follow-up são compartilhadas e discutidas com as companhias que participam dos projetos do NEDO.
Dificuldades e desvantagens● Como o follow-up é feito ex-post pode haver dificuldade em colocar os
eventos numa sequência temporal● Como (no caso do METI) é feito 5 anos após a conclusão, é um trabalho
grande fazer o levantamento histórico. ● O processo de monitoramento follow-up não captura fatores intangíveis que
eventualmente possam afetar o projeto de P&D● Pode haver falta de elementos técnicos que evidenciam os links entre saídas
e produtos. É necessário estabelecer modelos lógicos para levantar quais são as saídas e produtos esperados.
Referências● Enhancing Research Performance through Evaluation, Impact Assessment and Priority Setting
○ Directorate for Science, Technology and Innovation - OECD Report○ http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf
● Analysis of Follow-up Evaluation Results of Research and Development (R&D) Projects Applying Logic Model to Elucidate the Process of Innovation
○ AEA Annual Conference in Baltimore 2007 - Kazuki Ogasahara, et al.○ https://higherlogicdownload.s3.amazonaws.com/EVAL/271cd2f8-8b7f-49ea-b925-e6197743f402/UploadedImages/2007-01-Ogasah
ara_K-Analysis.pdf ● Follow-up Evaluation to Advance R&D Policy: Scenario from long term vision
○ Yasukuni OKUBO, Ph.D., 2008○ http://www.oecd.org/science/inno/41377237.pdf
● Introduction to NEDO○ Seizo Miyata, 2007○ http://www.rieti.go.jp/jp/events/07090301/pdf/04_E_Miyata_Presentation.pdf
● Knowledge Transfer Support Tool for R&D Project Management: Linking Awareness-on-Project and Awareness-in-Project○ Naoshi Uchihira, International Conference on Project Management, 2015○ http://www.jaist.ac.jp/~uchihira/papers/ProMAC2015-uchihira.pdf
Giuliano [email protected]
http://google.com/+GiulianoSposito