Consultative Group on International Agricultural Research

 

SCIENCE COUNCIL

  CGIAR

Report of the First External Review of

the HarvestPlus Challenge Program

January 2008

 

CONSULTATIVE GROUP ON INTERNATIONAL AGRICULTURAL RESEARCH i 

SCIENCE COUNCIL

 CGIAR

Report of the First External Review

of the HarvestPlus Challenge Program

Review Panel: Ricardo Uauy (Chair) Markus Palenberg Abdul Hamid Zakri

   

JANUARY 2008

  

                                         The Science Council of the CGIAR encourages fair use of this material provided proper citation is made.   Correct citation: CGIAR Science Council (2008) Report of the First External Review of the HarvestPlus Challenge Program.  Rome, Italy:  Science Council Secretariat   

iii 

   

     THIS DOCUMENT CONTAINS:  

• Extracts from the Summary Record of Proceedings of the Annual General Meeting 2007 (AGM07) 

 • Science Council Commentary 

 • Response to the First External Review of HarvestPlus 

 • Transmittal letter and Report of the Panel on the First External Review of HarvestPlus  

    

iv 

v 

 

  

Consultative Group on International Agricultural Research (CGIAR)  CGIAR Annual General Meeting, 2007 (AGM07)1   Agenda Item 11. Evaluation  ... 11.d Challenge Program External Reviews  Markus Palenberg, a member of both the Challenge Program on Water and Food (CPWF) and HarvestPlus external review panels, represented the panels in the discussion on the reviews’ findings and recommendations. He gave a brief overview of the issues that the panels focused on in the reviews.  R. Wang presented the ExCo 13 recommendations.  Discussion: ... Harvest Plus: 

• Members congratulated Harvest Plus for a very positive review; they were pleased with the progress that has been achieved. 

• The main issue that the CP needs to address is the imbalance in the source of funding. • EIARD is concerned that the CP may be a victim of its own success by losing support of 

traditional donors. • One Member also noted the importance for the CP to consider children under the age of 

two years.  Conclusion and Decisions:  

• The CGIAR endorsed the ExCo recommendations on the 1st CPWF and HarvestPlus CP External Reviews. 

• The  CGIAR  must  take  a  closer  look  at  an  appropriate  balance  between  funding  by traditional and non‐traditional donors. 

• The CGIAR must consider a minimum set of standards and principles on governance for Challenge  Programs.  Experience  to  date,  lessons  learned,  and  the  first  set  of  external reviews can serve as input. The CGIAR Secretariat was requested to present to ExCo 14 some thoughts on a minimum set of guidelines/principles for governance of the CPs, also incorporating inputs from the workshop on institutional issues of research partnerships, scheduled to be held in France in February 2008. 

  

                                                      1 Extract from the Summary record of Proceedings of Annual General Meeting, 6-7 December 2007

vi 

 

vii 

Science Council Commentary  on the 1st External Review of the HarvestPlus Challenge Program 

  September 2007 

 The  Science Council  (SC)discussed  the  1st  External  Program Review  of  the HarvestPlus Challenge Program and  the Program’s response at  the 8th Science Council meeting,  in Bioversity  International, Maccarese, Italy on 29 August 2007. The SC thanked the external review Panel for their constructive work,  a well‐written  report,  and  a very  clear presentation made by Professor Ricardo Uauy, Panel Chair.  The  Council  thanked  the  Program  Coordinator,  Dr. Howarth  Bouis  for  presenting  a  brief response to the Report.  The Report provides 16 recommendations: 3 on  the objectives and  justification of  the Program, 2 on plant breeding strategies, 3 on dissemination strategies, and 8 on governance.   Program‐related The SC agrees with the panel that HarvestPlus is an exciting and value‐adding initiative dealing with three major micronutrients  essential  to  tackle micronutrient deficiency  (Iron, Zinc  and Vitamin A), with major  potential  impacts  on  nutrition  and  health,  especially  on  the  poor  in  low  and middle income countries.  The Council agrees with the findings of the report concerning need for more focus on the  intended objectives, and strengthened collaborations with NARS as end users of HarvestPlus products, involving them early‐on in research planning.    The SC endorses the Panel’s recommendation to enhance the use of both conventional and transgenic breeding  for  biofortification  of  crops with  Zinc,  Iron  and  Vitamin  A.  The  SC  acknowledges  that achieving similar enhancement results for Fe and Zn may be somewhat more difficult than the early successes  achieved  to date  for Vitamin A.    In particular,  the  SC  strongly  concurs with  the Panel’s exhortations  that HarvestPlus make more use of QTL analysis, and apply state‐of‐the‐art molecular markers  to  speed  delivery  of  improved  varieties.  The  SC  also  agrees  with  the  Panel’s  concerns regarding  intellectual property  issues of  the Challenge Program,  especially  in  the  case where  both conventional and  transgenic breeding are used. Such  IP  issues may be exacerbated because Harvest Plus has a large number of partners and is itself not a legal entity.  A  major  point  of  discussion  has  been  Recommendation  3  of  the  Report  which  talks  about  the implementation  strategy  (i.e.  the  deployment,  testing  of  adoption  and  the  impact  of  nutritionally enhanced varieties). This has been an important part of the HarvestPlus Program from its inception. It is an integral part of the proof of concept of the biofortification approach. Whilst enhancement may be brought about through breeding research, in moving to deployment there will be a need to consider the whole chain from production to consumption as there are many steps at which the quality of foods can be affected either positively of negatively. The Panel urges  the CP  to  involve NARS at an early stage of the development of the implementation and testing, a point with which the SC concurs. The Management Response notes  that breeding and enhancement are  carried out both  through Centers and  collaborating  national  members  of  the  Consortium  according  to  their  strengths  in  different commodities. Reaching end‐users will involve all parties in the target countries, including agriculture and  health  institutions.  This  is  a major  task  for HarvestPlus  in  facilitating  and  evaluating  actual implementation  by  national  partners.  The  SC  notes  the  Panel’s  concern  that  in  order  to  have micronutrient‐dense  genetic  material  adopted,  it  will  be  necessary  to  forge  stronger  links  with conventional  breeding  programs  that  add  evident  traits  of  value  to  farmers,  to  the  cryptic micronutrient ones. The SC sees this as an important component of testing of the proof‐of‐concept. It agrees with  the panel  that delivering nutritionally  enhanced  crops  in  the  field  ‐  that demonstrably vi

vii

 

viii 

have measurable  effects on  the nutritional  status of vulnerable groups  ‐  is a higher priority  at  this stage of the Program than adding phase II crops.   The SC agrees with  the Panel’s observation  that  the program will not  impact significantly on  the <2 age group, in terms of iron and zinc, as this age group has very high micronutrient requirements and consumes small amounts of food. Thus, the SC agrees with the Panel in cautioning HarvestPlus not to promise what  it  cannot deliver. Nevertheless,  the Panel  recognizes,  and  the SC  concurs,  that other groups  at  high  risk  for  anaemia,  such  as  pregnant  and  lactating women  and  older  children  and adolescents can be helped significantly through biofortified staples. The SC also requests clarification of the efficacy and feasibility of the Randomized Controlled Trial (RCT) approach in China, India and Brazil. This is a component of assuring donor confidence and support in the continuing program.  The SC notes that there is no inherent conflict between the approaches of HarvestPlus and Bioversity. Bioversity’s  approach  is  to  increase  the diversity  of  fruit  and vegetables  in  the diet. The  approach being followed by HarvestPlus on staple crops complements this because it is known that iron intake is significantly enhanced by consuming foods that are high  in Vitamin C.   In addition, while the SC concurs with  the  Panel’s  recommendation  that  the  Program  strengthen  collaborations with  other organizations, it agrees with the Panel that the Program undertake independent external evaluations for large contracts.   Governance and management‐related  The  Panel  offers  eight  recommendations  on  governance  and  management,  with  which  the Management  response  largely concurs, although  it points out  the pros and cons of continuing with voting membership of IFPRI and CIAT on the PAC.  Since the SC discussion of the Report, there has been further clarification on the position of the Program Advisory Committee (PAC) with respect to membership and rotation of membership. The SC believes it is important to synthesise these points of view  across  CPs  so  that  the  lessons  learned  from  early  experience  with  CPs  can  inform  the development of best practice for the management of science and governance of future CPs.  In general, the Panel found HarvestPlus well managed with a solid funding strategy.   In summary, the SC considers HarvestPlus a key CGIAR program, which is innovative, adds value, is well  governed  and  managed,  and  concurs  with  the  Panel’s  recommendations  that  the  Program continues into a second phase. In addition, the SC suggests that the following elements are taken into account in the next phase: (i) explore and encourage donor commitment, not only from the agriculture and  development  side,  but  also  from  the  health  side;  (ii)  the  Program  should  focus  on  strategic research, staying within proof‐of‐concept (breeding for enhancement, efficacy trials, deployment and impact assessment) for the crops already under research, so as not to become thinly spread; (iii) ensure that  deployment  research  adequately  includes  quality  analysis  along  production  to  consumption chains;  (iv) combine both conventional and  transgenic breeding  in  the activities of  the Program;  (v) expand  public  and  private  sector  partnerships;  and  (vi)  seriously  consider  explicit  attention  to  IP issues in anticipation of scientific success.    

viii

RESPONSE OF THE HARVESTPLUS PROGRAM MANAGEMENT TEAM TO THE EXTERNAL REVIEW The HarvestPlus Program Management Team (PMT) thanks the Review Panel for their comprehensive analysis, based on the considerable time and effort that went into understanding how HarvestPlus organizes its activities and into writing the External Review. We are appreciative of their many complimentary remarks on progress made to date. Nevertheless, there are areas where improvements in science, implementation, and governance can be made. It is important to indicate here that the responses to the recommendations below are those of the PMT, i.e. this is a response of the HarvestPlus management. The timing of the submission of the External Review and the schedule of bi-annual meetings of the HarvestPlus Project Advisory Committee (PAC) did not permit an official response from the PAC. The PAC will meet next on October 29-30, 2007, at which time the report, the management response, and the recommendations will be thoroughly discussed. The Boards of CIAT and IFPRI also will review the report and, in particular, the governance-related recommendations at their next meetings. Below we state where we concur with the Panel’s recommendations and, as appropriate, how we feel we can address those recommendations and suggestions within the program. In some cases, we did not fully concur with issues raised. We provide discussion and explanation which are intended to provide further insight for the Review Panel, the Science Council, and the PAC on the activities of HarvestPlus and justification for them. The Panel’s sixteen recommendations can be divided into four broad areas (the discussion of breeding strategy and dissemination strategy are closely interconnected in the External Review): 1. Project Objectives and Justification – Recommendations 1, 2, 5 2. Breeding Strategy – Recommendations 6, 7 3. Dissemination Strategy – Recommendations 3, 8, 9 4. Governance – Recommendations 4, 10, 11, 12, 13, 14, 15, 16 We chose to organize our responses according to the above four groupings. RECOMMENDATIONS 1. Project Objectives and Justification Recommendation 1. The Panel unanimously agrees that the HarvestPlus program has worthy objectives and progress to date is significant; thus it recommends to the PAC Chair and CGIAR Director that the challenge program should continue in advancing its work towards the stated goal. HarvestPlus appreciates these comments from the panel and also feels that progress to date under the CP has been significant and positive, thus justifying continued advancement in developing this strategy for reducing micronutrient malnutrition. Recommendation 2. The Panel recommends that the management team of the CP clearly define what realistically can be expected from the CP and examine what should not be expected from the CP. The Panel concurs with the views expressed by the SC on the need for the CP to be explicit in defining the justification and rationale for the planned activities and recommend that the CP reexamine and more clearly define its objectives based on a realistic assessment of potential impacts. This should include defining the scope of the program at various levels of potential funding. Recommendation 5. The Panel recommends that the program clearly define the overall objective considering this is fundamental in order to assess if the implementation strategies, fund raising efforts, x

ix

resource allocations, level of scientific productivity, efficacy/ effectiveness and cost effectiveness of the HarvestPlus CP are in line with the objectives. The Panel appreciates the difficulty of trying to restrict or place boundaries in what is up to now an exciting and highly successful program. However, the Panel thinks it is best to do it now than risk the future of the CP because of vagueness and lack of focus. Recommendations 2 and 5 can best be addressed simultaneously. We accept the recommendation of the Panel to be more explicit about the objectives of the HarvestPlus CP. Objectives, Activities, Justification In Chapter 2, the Review Panel describes very well the intended objective of HarvestPlus in reaching the general population:

‘We consider the CP will have the greatest long term impact in the general population by contributing in securing adequate critical micronutrient intakes, if we are able to improve the

micronutrient content of the food supply we will have sustained long term impact.’ 2.4 External Review Report

The primary activities of HarvestPlus are to:

i) breed micronutrient biofortified staple food crops which (i) are high in nutrient content (as eaten) to the extent feasible and (ii) are high yielding/profitable when grown in target regions -- in collaboration with National Agricultural Research institutions (NARS)

ii) test the feasibility of these biofortified crops to provide adequate levels of increased micronutrient contents, through food science and human nutrition studies

iii) measure the efficacy of biofortified staple foods to improve micronutrient status, thus providing the justification for a larger scale dissemination activities

iv) demonstrate the ability to successfully disseminate biofortified crops (in 2-3 target countries for each biofortified crop) with reasonable rates of adoption by farmers and consumption by key target groups (in particular, women and children); this entails conducting research to identify successful implementation strategies; rates of adoption should generate public health benefits which significantly exceed costs incurred under (i) through (iv)

v) advise other countries on successful ways to disseminate and promote biofortified crops, and thus to achieve effectiveness in reducing micronutrient malnutrition

vi) assist with some level of capacity building (as funds permit) in key countries, and development of enabling technologies, which ultimately contributes to the likelihood of sustainability of a biofortification program

We believe that the overall objective of HarvestPlus, to contribute to improved health by reducing micronutrient deficiency prevalence rates in selected target countries, is achievable and its potential will be fully demonstrated when the above activities are accomplished. Biofortification’s complementary niche with respect to fortification, supplementation, and nutrition education is that it will be particularly effective in reaching rural populations, who typically do not rely on centrally-processed, purchased foods and who may not be reached by supplementation programs. Target countries by crop under (iv) and target populations within those target countries will be further refined under an assessment process (to be completed by December, 2007) in which HarvestPlus is currently participating, funded by the Gates Foundation in preparation for a new four-year proposal (2009-2012). The extent to which prevalences of micronutrient deficiencies can be reduced by biofortification among various age and gender groups is still speculative, but some evidence on which to base these estimates is emerging from HarvestPlus nutrition research. Potential for benefit has already been demonstrated through an efficacy study showing the impact of iron-rich rice on the iron stores of iron deficient Filipino women, and the effect of provitamin A rich sweet potato on vitamin A status of children has been demonstrated in both efficacy studies and an effectiveness study.

x

With respect to justification, HarvestPlus has made a major investment in developing and applying a methodology for ex ante benefit-cost analysis of biofortification. Using conservative assumptions which we believe generate significant underestimates of potential benefits, the analysis shows that biofortification is highly cost-effective relative to fortification and supplementation. Because of the inherent uncertainty of ex-ante impact assessment, the analysis uses a range of assumptions to assess impact (not just on area coverage, but other key parameters including enhanced micronutrient content, and retention in processing and cooking), so that the robustness of the results to alternative assumptions can be checked. The methodology and its application for selected case studies have been published in peer reviewed journals. We believe that these objectives, activities, and justification are implicit within, and reflected by, the activities and results produced by the HarvestPlus CP, as documented in proposals, annual donor reports, and the Medium Term Plan. Nonetheless, we recognize that these have not been explicitly stated as such. Specific Target Populations and Expected Extent of Impact In one section of the review report (2.1.2) the Review Panel perhaps misunderstood the goal of HarvestPlus to include eradication of micronutrient malnutrition:

‘2.1.2 However, the panel considers that the eradication of micronutrient malnutrition as a goal is beyond the CP’s mission, the boundary should remain in improving access to

micronutrient rich foods that have a measurable effect on nutritional status.’ This has never been a stated goal of HarvestPlus and we are uncertain why it was considered by the Panel. Complete eradication of micronutrient deficiencies is not at all implied by the ex ante benefit estimates made for biofortification. As stated above, conservative assumptions as to potential benefits have been used. The Review Panel expresses concern about other underlying expectations of the HarvestPlus CP that may not be met. One is the potential impact on the most vulnerable age group, those < 2 years of age. A second is that the causes of morbidity and mortality are multifactorial in nature and solving micronutrient deficiencies alone will not be sufficient to reduce morbidity and mortality. As a result, they believe the estimated impact of biofortification has been overestimated:

“We consider that the program will not be able to impact significantly [on] micronutrient deficits in the group < 2 years of age; and that the potential biological impact of vit A, iron and

zinc enhanced food has been overestimated. Our view is in line with the SC expression of concern that the CP strategy and impact pathways fail to identify the multifactorial nature of the factors that condition the consequences of micronutrient deficiencies.” 1.2.1 External

Review Report Under Two’s Can biofortification have an impact? We agree with the general consensus in the nutrition community that the < 2 years age group is a critical period which accounts for a high proportion of the Disability Adjusted Life Years (DALYS – a commonly used metric of the burden of morbidity and mortality) lost due to micronutrient malnutrition. We agree that interventions other than biofortification will be needed to substantially reduce micronutrient malnutrition among this group, especially the < 1 year olds because of their low food staple consumption. Many in the nutrition community are focused on under two’s and the potential for impact of biofortification in having a major impact on this age group is perceived as being relatively small.

xi

However, we feel that biofortification can have some impact on this group through direct consumption of biofortified staples, especially for the 1 year olds. Although no such benefits are assumed in the benefit-cost calculations, it is also possible that the < 2 years age group could be helped through better micronutrient status of their mothers (during pregnancy and lactation), after an extended period of consuming biofortified staples (e.g. iron stores in young women increased in the efficacy trial involving high iron rice conducted in the Philippines). There is a need for research in this area to quantify the effects of biofortification. Some evidence is already available from a published effectiveness study involving orange-flesh sweetpotato (OFSP) (Jan Low et al, Journal of Nutrition, 2007). Children 1 year of age reported 80 grams of consumption of OFSP and the prevalence of vitamin A deficiency was reduced. Has ex ante impact on under two’s been overestimated? To the extent that intakes vary by age group, so does the impact of a biofortified food; that is, the larger the intake of a food vehicle the larger the impact. The ex ante impact analyses do take account of age disaggregation, and the corresponding age-specific food intakes. For example for zinc, the age categories are children 6 months to 1 year, children 1 to 3, and children 4 to 5 years. Obtaining information on intakes of food at this level of disaggregation for a large number of countries is difficult, and information on current intakes of micronutrients from all food sources is scarcer still. While assumptions were involved, these data were always checked by in-country nutritionists for their reasonableness, and sensitivity analysis was undertaken as to level of consumption of the biofortified food. The sensitivity analyses suggest that even with very low levels of staple food consumption by very young children, biofortification continues to have the potential for impact. Multi-factorial nature of the factors that condition the consequences of micronutrient deficiencies Should HarvestPlus simultaneously address such issues during dissemination? HarvestPlus agrees that programs that, for example, improve breastfeeding and child feeding practices, prevent infectious diseases, improve sanitation, or reduce parasitic infections – all would have an interactive effect with increasing vitamin and mineral intakes and are all necessary for the eventual near eradication of micronutrient malnutrition. In any given country, it is hoped that public health officials, working with NGOs and other partner institutions, will implement (and to the extent possible coordinate) national or appropriately targeted programs in all these areas. Biofortification is one tool that may be included in such a comprehensive health and nutrition program. HarvestPlus believes that, in any given context, biofortification can contribute to improved micronutrient status of the population in a cost-effective way (as outlined above under steps (i) through (vi) above) without the need for simultaneous introduction/expansion of such types of public health programs (i.e., the benefits observed should not be conditional on the presence of all other public health interventions). Fortification, supplementation, and dietary diversity programs currently operate under this same presumption. Nevertheless, HarvestPlus will look for cost-effective, opportunistic ways to coordinate with such public health programs. For example, in the case of OFSP (where pro-vitamin A carotenoids are visible to consumers) it is necessary to create demand for OFSP through nutrition education which are targeted at mothers of young children. Additional messages may be combined with messages surrounding the consequences of and ways to overcome vitamin A deficiency. Should HarvestPlus undertake research to quantify the interactions between biofortification and other public health interventions? xii

While we agree that addressing all of the many causes of death and disability is the ultimate goal of development, the purpose of HarvestPlus is to develop and test the tools of one specific intervention. Therefore, HarvestPlus does not believe that it should bear responsibility to define and measure the benefits of comprehensive packages of interventions, encompassing micronutrients, prevention of infectious disease, safe and adequate water supplies, and so on. Research on the combination of these interventions would best be designed and tested in the context of national health and welfare programs. Again, it may be possible to be cost-effective and opportunistic in investigating the magnitude of these interactions in the design of particular studies. Additionally, the HarvestPlus nutrition research program has already begun to include, and will continue to include, considerations of other health conditions that may modulate the impact of biofortified staple foods on nutrient absorption and status (e.g., infection status of individuals, and markers of intestinal health and permeability). Specifically, we believe that HarvestPlus should not be expected to:

i) quantify the contribution of other causes of morbidity and mortality in addition to micronutrient malnutrition

ii) demonstrate the effectiveness of biofortification only if other public health strategies are also implemented; the latter may not be feasible to implement on a sustainable basis and could therefore result in unrealistic benefits.

iii) demonstrate the long term effectiveness of biofortification programs to reduce national rates of infectious disease or mortality once implemented on a national scale.

It is noteworthy that attributable risk due to micronutrient deficiencies and the impact of interventions such as fortification have been derived using empirical data largely from controlled efficacy trials of single micronutrient interventions. Thus far these have not relied on effectiveness studies, nor have they included multiple public health interventions such as improved breastfeeding, and prevention of infectious diseases. True effectiveness studies of micronutrient interventions are as yet uncommon, yet micronutrient interventions such as supplementation and fortification are still considered to be cost-effective interventions to reduce morbidity and mortality in at risk populations (1.1.1, and Annex 7 of the External Review report). Has the ex ante impact been overestimated due to these interacting factors? To repeat, HarvestPlus agrees that micronutrient malnutrition has multiple cause and have therefore taken care to be conservative in quantifying the DALY burden of malnutrition (which we consider to be underestimates) that can be attributed to insufficient intakes of iron, zinc, and pro-vitamin A. For example, recognizing that anemia has multiple causes, only one-half of the prevalence of moderate and severe anemia is assumed to be attributed to insufficient iron intakes (and it is only these populations, therefore, who are amenable to improved iron status through a food-based intervention). That is, zero benefit to increased iron intakes from biofortified crops is attributed to anyone (i) who is iron deficient but not anemic, nor to anyone (ii) who suffers from mild anemia. A similar approach has been taken with pro-vitamin A and zinc as outlined in HarvestPlus Technical Monograph #4. 2. Breeding Strategy Recommendation 6. The Panel recommends that the CP strengthen collaborations with others or explore tripartite arrangements (CGIAR Centers, extra CGIAR Centers and HarvestPlus CP). The Panel considers that there is clear need to strengthen the breeding program, in terms of applying the use of modern biotechnology in assisting the breeding process. The progress reports need to include key milestones indicators that serve to document the achievements necessary to further increase breeding efficiency by using the relevant biotech tools (Genetic mapping, QTL and MAS).

xiii

Recommendation 7. The Panel recommends that the science base effort necessary for efficient breeding methodology should be strengthened. This is essential to secure crops with enhanced nutritional traits that will also combine superior agronomic traits, this approach is needed to establish a clear economic advantage in growing the new crops and thus assure sustainable use of the crops developed by HarvestPlus. Recommendations 6 and 7 can best be addressed simultaneously. We concur with these recommendations of the Panel. Several of the points raised already are part of the HarvestPlus agenda. HarvestPlus is endeavoring to develop and integrate molecular tools into the breeding process. Activities include (i) simulation/modeling of marker assisted selection (MAS) and assessment of cost/benefit of molecular marker development, and (ii) implementation of (MAS) for selected HarvestPlus crops. Simulation/modeling of marker assisted selection HarvestPlus initiated a project in 2005 with a leading group in this area of research at the Chinese Academy of Agricultural Sciences (CAAS), Beijing, in collaboration with the Generation Challenge Program (GCP). The objective was to discover and define novel and optimal MAS strategies, and to evaluate their cost/benefit compared to conventional and combined conventional/MAS strategies. Simulations consider realistic assumptions regarding, for example the number of genes, variation explained by QTLs, population size, timing of MAS in the breeding process. Recovery of superior adapted genotypes is also considered. Assessment of cost/benefit of molecular marker development Related HarvestPlus research is then addressing cost assessment in germplasm product development, a major knowledge gap in public sector breeding efforts. HarvestPlus teamed with John Brennan, a leading expert in this field, to develop a program for Cost Assessment of Research and Plant Breeding Options (CARBO H+), building on a previously developed program applied for wheat at CIMMYT. The program is expected to cover all crops, breeding stages, and conventional and marker assisted selection. Prototype versions for wheat, rice, maize, bean and cassava are already available. CARBO H+ in combination with simulation allows consideration of all primary factors related to breeding efficiency (not only nutrient content) and development of strategies based on their contribution to genetic progress and benefit/cost. MAS must take into account all breeding goals (high yield, pest resistance, etc) in defining crop biofortification strategies which maximize genetic gains and breeding effectiveness -- which combine all the attributes which are critical for adoption by farmers such as agronomic performance and by consumers such as sensory traits. For most, if not all the range of traits relevant for farmer adoption, molecular markers are not yet available at CGIAR Centers and may not be available in the near future. Consequently, effectiveness in product and impact oriented crop biofortification is also driven by genetic knowledge gains for these traits and strategies to reduce time to market such as rapid generation advancement techniques, high-throughput screening techniques/diagnostics, generating micronutrient environments, computer-assisted design of crosses, and spatial experimental designs. For example, NIR high-throughput diagnostics allows, at low cost, estimation of micronutrient levels in crops and a wide range of other traits and compounds (among these compounds associated with bioavailability) and permit using selection indices and taking into account correlations among these compounds in selection. The NIR technology for micronutrient pre-screening has been further developed under HarvestPlus, and implemented for several crops at CIP, CIAT and CIMMYT. Plans are in place to expand the use of the NIR technology to all HarvestPlus crops, and participating CGIAR Centers and NARS partners.

Defined milestones are on target to be met in 2008 and will be highlighted in future reports. A publication on CARBO H+ is planned for Crop Science. Collaborative Arrangements For MAS Several teams are currently collaborating on MAS for specific crops with the CGIAR Centers responsible for these crops. In some cases, output from the collaborative research eventually can also be directed to development of transgenics: Wheat - MAS Ismail Cakmak, Sabanci University, Turkey Preben Bach Holm, University of Aarhus, Denmark Hugh Wallwork, University of Adelaide, Australia Maize - MAS Torbert Rocheford, University of Illinois, USA Rice - Gene Discovery for MAS and/or Transgenics Janette Palma Fett, University Federal do Rio Grande do Sul, Brazil Naoko Nishizawa, University of Tokyo, Japan Alex Johnson, University of Adelaide, Australia More upstream and cross-cutting genomics research by Peter Beyer (provitamin A carotenoids), Michael Grusak (iron and zinc), and Dean Dellapenna (provitamin A carotenoids) contributes to MAS for several crops. Such collaborative arrangements can be strengthened in the future as required, for example for cassava. Implementation of MAS for HarvestPlus crops During the first three years of HarvestPlus, the crop breeding teams focused on identifying the appropriate micronutrient trait(s) sources and donors, developing the needed mapping populations for the target traits and the phenotypic characterization. Existing mapping populations were also screened regarding their suitability to develop molecular markers for micronutrients to accelerate the trait discovery. Depending on the crop, 1-2 years were needed to validate results from screening and to finalize the list of superior donor parents; a two-year time frame was needed for the development of the recombinant inbred lines for mapping. At the end of 2006 the HarvestPlus teams had developed mapping populations for beans, rice, maize and cassava. In the case of wheat, due to lack of genotypic variation in populations initially developed, and the wild species donor source, the populations for zinc will be available only in 2007. With these preparatory activities in place, implementation of MAS activities will take place during HarvestPlus II (2008-2012). In the current strategy, molecular marker development, routine MAS, and marker assisted back-crossing are intrinsic parts of the breeding strategy (a crucial enabling technology). Due to the integration of HarvestPlus crop teams with breeding and MAS at the CGIAR centers, the program is able to leverage complementary activities. Therefore, the present strategy reinforces the mechanisms necessary for a closer interaction between biotechnologists and breeders. Key milestones describing the above activities have been defined, met, and summarized in reports. Publications are being prepared. In future reports, more detailed milestones and accomplishments towards these milestones will be highlighted and communicated.

The Need For Superior Agronomic Traits Central to HarvestPlus strategy is the incorporation of micronutrient density into adapted, superior agronomic backgrounds with added-values from higher productivity, better tolerance to abiotic and biotic stresses, better end-use quality characteristics and production economics, and combinations of those. For example, biofortified elite bean lines combine high iron with drought tolerance in commercially accepted market classes. This has resulted in the .selection of more than sixty lines by farmers in Kenya, DR Congo, Rwanda, Burundi, Malawi, Madagascar, Uganda and Tanzania and the promotion of lines developed as part of the HarvestPlus program to National Performance Trials in Kenya and National Variety Trials in Ethiopia. HarvestPlus research thus far indicates that micronutrient density and yield can be can be combined. Micronutrient-dense breeding products developed under HarvestPlus outperformed or were competitive with commercial checks for maize (Nigeria), cassava (DR Congo, Brazil), bean (several African countries) and orange-fleshed sweetpotato (Uganda); further evidence exists for rice (the Philippines), soft wheat (China), Lentil (Syria, Ethiopia, Bangladesh) and pearl millet (India). 3. Dissemination Strategy Recommendation 9. The Panel strongly recommends that the CP consider the NARS as the end users of its product (nutritionally enhanced crops) and thus include the NARS from the early stages of development to the implementation in pilot projects with farmers. Recommendation 3. The Panel recommends that the implementation strategy be based mainly by establishing partnerships with NARS or equivalent national bodies at an early stage. The Panel considers that this model is the best way to assure a cost effective and sustainable implementation. The Panel considers that the CP should not primarily be concerned with implementation; the CP should stay within the proof of concept testing mode, evaluating and facilitating the actual implementation by national partners. Recommendation 8. The Panel recommends that further steps be explored to ascertain that the final product be eventually acceptable to the target groups, namely the farmers that are going to be growing the crops and the consumers of such nutrients-rich staples. Without their early buy-in, there is always the prospect of such products not being acceptable to the intended users. Recommendations 9, 3, and 8 can best be addressed simultaneously. We accept all of the points in these three recommendations, with the possible exception of the last sentence of recommendation 3 as discussed below. The “Reaching End Users Conceptual Framework In broad terms, three things must happen for biofortification to be successful. First, the breeding must be successful as defined in step (i) above under 1. Project Objectives and Justification. Second, the retention, bioavailability, and efficacy studies as defined under steps (ii) and (iii) above must be successful, and third the biofortified crops must be adopted by farmers and consumed by those suffering from micronutrient malnutrition. In HarvestPlus, this third step is addressed under the rubric of “Reaching End Users,” or REU. HarvestPlus has developed four REU typologies, as outlined in the diagram below. REU will be more difficult and expensive depending on (i) whether or not the nutrient trait is invisible or visible and can piggyback on a superior agronomic trait and (ii) the extent to which institutions and markets are strong and conducive to the rapid spread of new crop technologies.

REU Framework for Visible Nutrients

Orange-fleshed sweetpotatoin Africa

•Active behavior change•Agronomic ‘equality’ crucial•Assistance to understanding and overcoming constraints to adoption crucial

Farmer participation in breeding andvarietal selection

Seeds systems developmentProduct and market development

High Beta Carotene Transgenic Rice in Asia (Golden Rice)

•Active behavior change •Agronomic ‘equality’ crucial•Market development

High Mineral Wheat in Asia

•Passive behavior change•Superior agronomic and quality traits crucial

High Mineral Beans in Africa

•Passive behavior change•Superior agronomic and quality traits crucial•Assistance to understanding and overcomingconstraints to adoption crucial

Farmer participation in breeding andvarietal selection

Seeds systems developmentProduct and market development

INFRASTRUCTUREWell developedLower cost

Under developedHigher cost

VISI

BLE

TR

AIT

Hig

her C

ost

INVI

SIB

LE T

RA

ITLo

wer

Cos

t

1. Diagnostic analyses

3. Develop products &

markets4. Create demand

2.Farmer adoption

Extension SeedPrograms Systems

5.Monitor & feedback

REU Typologies

In the case of visible nutrients (that is, where provitamin A carotenoids change the color from white to orange), it is recognized that some type of nutrition education program (in conjunction with high profit, good agronomic qualities) will have to drive adoption (“demand creation” in the diagram above). The above framework is being applied to the dissemination of OFSP in Uganda and Mozambique. The cost-effectiveness of alternative means to provide information on the consequences of and ways to overcome vitamin A deficiencies are being assessed. Lessons learned/best practices will be derived from a comparison of these two contrasting case studies. With this as background, we very much concur that all steps be explored “to ascertain that the final product be eventually acceptable to the target groups, namely the farmers that are going to be growing the crops and the consumers of such nutrients-rich staples.” Participation of NARS We recognize that a particularly vital element of any REU strategy is that the biofortified varieties are just as high-yielding and profitable as the best lines otherwise available to farmers. Therefore, they must be well-adapted to local growing conditions. In this regard, we agree that it is important to work with NARS as collaborating partners and as key entry points for delivery of the biofortified crops. However, in each country it must be a coalition of implementing agencies in agriculture and health and their “enablers” (those who at higher levels administer those who implement) who must work together to make the third step happen of adoption by farmers and intake by malnourished consumers. NARS have been included in early stages development in projects with farmers since HarvestPlus commenced. Deployment and implementation strategies are an integral part of product concepts. On the following page is a list of collaborating NARS who have received HarvestPlus funding and who have attended HarvestPlus crop meetings: Degree of Participation of HarvestPlus in Dissemination A key question raised in recommendation 3 is the extent to which HarvestPlus should get involved directly in the REU process. The second part of recommendation 3 implies that HarvestPlus should focus on breeding and nutrition studies, and be marginally involved in REU. We think we have some disagreement here with the Review Panel. First, it must be emphasized that collaborating partners (CGIAR Centers, NARS, and a number of other institutions) do all the work of development and dissemination of biofortified varieties -- activities which the relatively small HarvestPlus staff endeavors to coordinate through contracts which are funded by a consortium of donors and which are issued to partner institutions. This cuts across the three broad steps described above of breeding, establishing efficacy, and dissemination. For each biofortified crop, HarvestPlus believes that it is important to demonstrate feasibility and success in 2-3 target countries. We believe HarvestPlus should assist in coordinating, identifying and relieving bottlenecks, and learning lessons from dissemination efforts. Importantly, this involves taking leadership in raising the funds (only a part of which may be channeled through HarvestPlus to collaborators) so that national-scale REU activities can be realized in selected target countries.

Phase 1 Crops

Type of Collaboration

Rice Maize Wheat

Sweet-potato

Beans Cassava

Received HarvestPlus Funding for Breeding (Attended HarvestPlus Crop Meetings) Bangladesh Ghana India Mozambique Kenya Ghana Indonesia Guatemala Pakistan Uganda DR Congo DR Congo Philippines Zambia Kazakhstan Kenya Burundi Togo Vietnam Ethiopia Turkey China Malawi Guinea China Brazil China Uganda Brazil China Tanzania Brazil Funded for Germplasm Evaluation/Receive Germplasm and/or Attend HarvestPlus Crop Meetings India Angola Uzbekistan Tanzania Rwanda Benin Nepal Nigeria Kyrgyzstan Ghana Madagascar Sierra Leone Thailand Kenya Tajikistan Ethiopia Angola Nigeria Malawi Azerbaijan Rwanda Lesotho Colombia Mozambique Georgia Nigeria Cameroon Zimbabwe South Africa Mexico India South Africa Indonesia Cameroon Zambia India Madagascar Nigeria Co-Funding from National Sources India India India Brazil Brazil Brazil Brazil Brazil China China China China

4. Governance Recommendation 10. Concerning gender and citizenship balance in the PAC, the Panel recommends that the PAC works towards a gender and origin-balanced membership. This should be pursued as a strong 2nd

priority. The first priority should remain the PAC members’ expertise and background. Agreed. Recommendation 11. In order to shield the institutional representatives – and in consequence HarvestPlus – from any alleged conflicts of interest, the Panel recommends to differentiate between external members and institutional representatives in the PAC terms of reference (as listed in the HarvestPlus Governance and Management Handbook), and to specify their respective roles and responsibilities. Institutional representatives should be full PAC members in all respects, but should not have formal voting rights. The institutional representatives are the Directors-General and one Board member each from the CIAT and IFPRI Boards of Trustees. CIAT and IFPRI have been entrusted with the legal responsibility for managing HarvestPlus’ financial resources and activities to attain project objectives. It would in our view be inappropriate to dilute their responsibilities by excluding them from key decisions of the program. Recommendation 12. The Panel recommends implementing the PAC membership rotation as defined in the HarvestPlus Governance and Management Handbook. In selecting new PAC members, the representation of HarvestPlus beneficiary groups should be increased. Agreed. Recommendation 13. The Panel recommends that the PAC agrees and formulates an explicit voting policy that specifies the meeting quorum, necessary majorities for different types of decisions, potential tie braking processes and requirements for voting through representatives or delegated votes. The independent nature of the PAC as an external expert Panel should be strengthened without damaging the present achievements in terms of process and working relationships with the host centers. While remaining active PAC participants, the overall role and the "ex-officio" status of the four institutional representatives of CIAT and IFPRI should be clarified and they should not have formal voting power in the PAC. Agree to first two sentences. Third sentence repeats Recommendation 11 which is addressed above. Recommendation 4. The Panel recommends independent evaluations of quality and cost effectiveness of such major activities as discussed in the governance section of this report. While the Management Team should assist implementing these evaluations, the PAC should be responsible for them. A corresponding recommendation has been presented in the governance section of this report. Recommendation 14. The Panel recommends that the PAC commission and oversee external assessments of output, relevance and cost-effectiveness for major HarvestPlus activities contracted to major HarvestPlus partners. The periodicity of this outside evaluations should be yearly or more frequent depending on specific situations. Recommendations 4 and 14 are similar. We agree with the concept of ongoing evaluations for contracted research work. Indeed this is why contracts with collaborating institutions are written on a calendar year basis. Funding trenches are released based on contracted deliverables every six months. The PMT reviews the results and determines whether the next trenche of funding should be released and, at the end of the calendar year, reviews a proposed workplan and budget for the following calendar year. The PAC is informed on the overall progress of contracts at its meetings. The audited financial statements of HarvestPlus clearly indicate what amounts are being disbursed under each contract. Through these mechanisms, PAC and its audit committee satisfy themselves of

the quality of the research being undertaken. If the PAC were unsatisfied with progress, it could commission a quality assurance review. Lead researchers from collaborating institutions have attended and presented at PAC meetings. Recommendation 15. The Panel therefore agrees with the PAC’s assessment and recommends tasking the Audit Committee to oversee that full compatibility of the HarvestPlus competitive mechanisms with CGIAR guidelines is verified or, if needed, established. Agreed. Recommendation 16. The Panel therefore recommends that the ultimate responsibility for the performance evaluation of the Program Director should be with the PAC chair. The performance assessment should be based on intense consultation with the Director Generals of CIAT and IFPRI, and other relevant observers. The Panel recommends that the PAC chair in consultation with the IFPRI and CIAT Director Generals conducts the performance evaluation of the Program Director and determines the terms of his employment. Agreed. In practice this how the process currently operates. We will ensure that the process is more clearly documented.

 

xxii 

 

xxiii 

Rudy Rabbinge, Chair, Science Council Consultative Group on International Agricultural Research Wageningen Graduate Schools Bode 99, Postbus 102 6700 AC Wageningen  The Netherlands  Ren Wang, Director, Consultative Group on International Agricultural Research The World Bank 1818 H Street NW Washington, DC 20433 USA   

August 15, 2007  Dear Drs. Rabbinge and Wang:  On behalf the External Review Panel of the HarvestPlus Challenge Program (A.H. Zakri, M. Palenberg and R. Uauy)  I submit  the  report of our  review of  the program. This work was undertaken  by mandate  of  the  Scientific  Council  of  the  CGIAR  and  represents  the  first review of the program.    We are particularly grateful  for  the collaboration of   Dr Howarth Bouis, Program Director and to the HarvestPlus Management Team for their interest and willingness to contribute to the review; our task was also made easier by the contribution of the   Chair, Vice Chair and members of the HarvestPlus Program Advisory Committee (PAC), the staff of organizations providing financial support to the program (USAID, World Bank and The Gates Foundation) members of CIAT Laboratories and  field   staff and   other partners of  the HarvestPlus CP; finally  to multiple others  that provided opinion  to  the review  team members  (see Annex 5 for  full  listing of contributors and  interviewees).   We have circulated  the document  to  the HarvestPlus  PMT  and  received  input  from  the Director  on  factual  errors  that  have  been corrected  in  the attached  final version.   We  look  forward  to your comments or request  for clarifications of specific issues.   Best regards.  

   Professor Ricardo Uauy MD PhD INTA University  of Chile   London School of Hygiene and Tropical Medicine U of London UK Chair Review Panel  HarvestPlus Challenge Program     

 

xxiv 

 

xxv 

 

CONSULTATIVE GROUP ON INTERNATIONAL AGRICULTURAL RESEARCH 

SCIENCE COUNCIL AND CGIAR SECRETARIAT 

        

Report of the 

First External Review of the HarvestPlus Challenge Program   

 

  

           Review Panel:   Ricardo Uauy (Chair) 

   Markus Palenberg    Abdul Hamid Zakri  

                  

      

SCIENCE COUNCIL SECRETARIAT 

AUGUST 2007 

 

xxviii 

 

xxvii 

 CONTENTS 

 SUMMARY............................................................................................................................................ 1 RECOMMENDATIONS...................................................................................................................... 3 1 Program Relevance...................................................................................................................... 7 2 Program Efficacy and effectiveness (is the program doing things right?) ........................ 17 3 Program Efficiency (is this program the best delivery alternative relative to allocated 

resources?) .................................................................................................................................. 27 4 Partnerships................................................................................................................................ 35 5 Governance and Management................................................................................................. 43 6 Resource Mobilization and Financial Health......................................................................... 61  TABLES  Table 4.1. Partner ranking in terms of funding for research ........................................................ 35 Table 5.1. PAC members’ expertise ................................................................................................. 45 Table 5.2. PAC meeting attendance analysis .................................................................................. 46 Table 5.3. Survey results: satisfaction with governance functions .............................................. 50 Table 5.4. Survey results: PAC as advisory body?......................................................................... 52 Table 5.5. Survey results: PAC as program steering committee? ................................................ 52 Table 5.6. Management Team functions.......................................................................................... 56 Table 5.7. Survey results: satisfaction with management functions............................................ 57 Table 5.8. Survey results: two masters problem?........................................................................... 58 Table 6.1 Past and planned budgeted expenditures...................................................................... 64 Table 6.2 Cash evolution ................................................................................................................... 65 Table 6.3. Transaction cost ratio ....................................................................................................... 66  FIGURES  Figure 6.1. Past and future donor funding ..................................................................................... 62  ANNEXES  1  HarvestPlus 1st CPER Panel Composition and Biodata............................................................ A‐1 2  CGIAR Challenge Program External Reviews (CPER) Guidelines.......................................  A‐3 3  List of Strategic Issues for the 1st HarvestPlus CPER............................................................ .A‐10 4  Itinerary of the CPER Panel (Schedule of visits to the Program).........................................  A‐12 5  People contacted/ interviewed by the Panel...........................................................................  A‐13 6  List of main documents reviewed by the Panel.....................................................................  A‐15 7  Relevant  information  on Micronutrient  deficiencies    (Vit  A,  Fe,  and  Zn) modified  from 

Lancet 2007 (in press)................................................................................................................  A‐16 8  Costs and contributions of bio‐fortified foods............................................................................. A‐18 9  Principal HarvestPlus collaborators (based on 2003‐2007 budgeting documentation...... .A‐24 10  Survey Respondents and Analysis of Survey Answers.......................................................... A‐25 11  Project 8003 Contractual and Progress Reporting Documentation....................................... A‐46 12  Acronyms....................................................................................................................................... A‐48 

 

 

xxviii 

 

1 

SUMMARY  The goal of HarvestPlus CP is to reduce micronutrient malnutrition among poor populations of Africa, Asia, and Latin America, by breeding and disseminating nutrient‐dense staple food crops thereby improving food and nutrition security in vulnerable populations. HarvestPlus focuses on iron, zinc, and vitamin A;  these nutrients are widely recognized by  the UN system, multi‐ and bilateral development agencies as the key micronutrients given the high prevalence of deficiency and  their  impact  on  population  health  and  well  being.  The  causal  web  for  this  form  of malnutrition includes inadequate access to food of sufficient quality or quantity, limited access to health and inappropriate caring practices; affecting close to 2 billion people, especially women of reproductive age and preschool children. The impact of these deficiencies in terms of the burden of death and disability is staggering; with direct impact on human capital formation, restricting economic growth, human and social development.     HarvestPlus has been able to achieve a number of important milestones towards the stated goals in its first years of existence. HarvestPlus researchers have identified nutrient‐rich germplasm in rice,  wheat,  maize,  beans,  sweet  potato,  pearl  millet  and  potato.  Nutritional  Genomics  and Biotechnology research complement conventional breeding efforts by  identifying  the genes  that synthesize pro‐vitamins A and that translocate Fe and Zn from the soil, to the plant and edible parts  to  improve  the  breeding  efficiency  and  add  other  desirable  traits  providing  agronomic superiority  and  potential  enhanced  economic  productivity.    Thus  the  challenge  program  is uniquely placed  in offering  an opportunity  to  support  food base  approaches  in  the  control of micronutrient deficiencies in a sustainable manner with long term impact.   The  panel’s  view  is  that  the HarvestPlus  program  contributes  in making  the CGIAR Centers more effective, providing an example for innovation, illustrating the strength of multidisciplinary approaches, and serving as a model for greater interaction among CGIAR Centers and with those outside  the System. The panel unanimously  agreed  that  in  their best  judgment  this Challenge Program  is an exciting and value‐added  initiative with major potential  impact on nutrition and health of populations especially those living under poverty in low and middle income countries.  The Panel  considers  that HarvestPlus  is well managed, has  strong governance  structures   and excels in terms of obtaining financial support and keeping donor’s interest; concluding its review with a  firm approval  for  continuation of  its work  towards  the  stated objectives. However,  the panel also identified areas in need for improvement and made specific recommendations which the main ones will be presented briefly.   Program Relevance, Efficacy and Effectiveness: The Panel agrees  there  is clearly  international consensus  that  global  collective  action  is  required  to  address  the  problem  of  micronutrient malnutrition;  the  topic  is being highlighted by a Lancet Series on Malnutrition  to be published later this year. However, in light of existing data on effectiveness of micronutrient interventions and the limitations of providing sufficient micronutrient rich foods for children < 2 years of age, the Panel  considers  that  the program will unlikely be able  to have a  significant  impact  in  this most  significant  age  group.  The  panel  expresses  concern  that  the  CP  strategy  and  impact pathways  insufficiently  recognize  the  multifactorial  nature  of  the  factors  that  condition micronutrient deficiencies. Moreover  the panel suggests  that  the attributable risk reduction,  for death and loss of healthy life years, derived from the provision of nutritionally enhanced staple foods needs  to be derived  from objective data on effectiveness of  the HarvestPlus  intervention under real life conditions.    

 

2 

The  Panel  considers  that  achieving  the  nutritional  enhancement  of  staple  food  crops  is  the essential and specific strategic approach for HarvestPlus. Thus it needs to further examine what are  the  necessary  steps  for  crops  to  go  from  the  breeding  phase  to  actual  adoption with  the concomitant nutritional and agronomic enhancements that assure the economic sustainability of the new crops. The Panel recommends that the science discovery laboratories component of the project should be responsible for generating genetic maps, new markers and QTL studies to link markers with phenotypes, and thus guide the breeding process. This is essential for the program to  accomplish  the  combined breeding of nutritional  enhancement with  agronomic  superiority, disease  resistance  and  equal  or  improved  economic  productivity.  In  the  Panel’s  opinion  this needs  strengthening  in  order  to meet  the  timeline  for  the  delivery  of  nutritionally  enhanced crops.  The  Panel  strongly  recommends  that  the  CP  focuses  its  next  phase  (2‐3  yrs)  in demonstrating  its  capacity  to  deliver  nutritionally  enhanced  crops  that will  have measurable effects  on  nutritional  status  of  vulnerable  populations.  Expanding  to  Phase  II  crops will  not resolve the urgent need to enhance translational research, taking discovery to products that fulfill the promise of improved nutrition.   The  program  needs  to  examine  how  to make  conventional  breeding more  effective  through judicious  use  of  molecular  biology  techniques,  such  as  developing  and  applying  molecular markers, both  in  terms of money and  time; and prove  that  it can deliver what  it has promised. The Panel recommends that the management team of the CP clearly define what realistically can be expected from the CP and examine what should not be expected from the CP in the next 2‐3 years.  The implementation activities should mainly take the form of “proof of principle”, and in terms of overall investment should remain a small fraction of the effort. The Panel considers that establishing partnerships with NARS or equivalent national bodies at an early stage  is  the best way to assure a cost effective and sustainable implementation.   Partnerships:  Up to now, HarvestPlus has developed mainly by directly commissioning research instead of using  competitive bids. The original proposal  indicated  a benchmark of  25% of  the funds to be awarded through competitive bidding, today only about 5% of the overall budget has been  allocated  competitively.  The Panel  recommends  that  the  original  benchmark  of  25 %  of funds  allocated  by  competitive  bids  be  restored  in  order  to  guarantee  transparency  and  best value  for money  of  the  research  program.  Furthermore,  the  panel  suggests  for  large  scientific research projects, an external panel with specific expertise in the field of the contracted research to periodically evaluate the progress and cost effectiveness of the work conducted.    Governance,  Management  and  Finance:  The  Challenge  Program’s  lean  governance  and management arrangements have worked well in the past. Hosting by CIAT and IFPRI has kept costs  at  bay,  while  allowing  for  program  autonomy  since  no  center  can  make  decisions unilaterally.  The  Program  Advisory  Committee  (PAC)  is  a  productive  and  high  quality governance body acting as a steering committee; the PAC independent Audit Committee serves to provide financial oversight and monitoring exemplifying principles of good governance. The panel  recommends  to  further  clarify  the  role  and  the  accountability  of  the PAC  vis‐à‐vis  the boards of CIAT and IFPRI, including the specification of the role of center representatives on the PAC  and  the  recommendation  that  the PAC Chair  be  responsible  for  the Program Director’s performance  evaluation  in  order  to  prevent  duality  in  the  vertical  chain  of  command  of  the Challenge Program.    HarvestPlus  is  in  good  financial  health  and  has  exceeded  its  original  budget  targets  but  still needs to ensure future funding. As the uncommitted cash reserve will melt down with the end of 

 

3 

the first program phase at year‐end 2007, the Panel endorses a recent PAC decision to establish a cash reserve sufficient to guarantee program stability at the end of phase I but that acknowledges the limited lifetime of HarvestPlus.   

RECOMMENDATIONS  Recommendation  1.    The  Panel  unanimously  agrees  that  the HarvestPlus  program  has worthy objectives and progress to date is significant; thus it recommends to the PAC Chair and CGIAR Director  that  the challenge program should continue  in advancing  its work  towards  the stated goal.  Recommendation 2.   The Panel  recommends  that  the management  team of  the CP clearly define what realistically can be expected from  the CP and examine what should not be expected  from the CP. The Panel  concurs with  the views  expressed  by  the  SC  on  the need  for  the CP  to  be explicit in defining the  justification and rationale for the planned activities and recommend that the  CP  reexamine  and  more  clearly  define  its  objectives  based  on  a  realistic  assessment  of potential  impacts. This  should  include defining  the  scope  of  the program  at  various  levels  of potential funding.    Recommendation 3.  The Panel recommends that the implementation strategy be based mainly by establishing partnerships with NARS or equivalent national bodies at an early stage. The Panel considers  that  this  model  is  the  best  way  to  assure  a  cost  effective  and  sustainable implementation.  The  Panel  considers  that  the  CP  should  not  primarily  be  concerned  with implementation;  the CP  should  stay within  the proof of  concept  testing mode,  evaluating and facilitating the actual implementation by national partners.  Recommendation  4.    The  Panel  recommends  independent  evaluations  of  quality  and  cost‐effectiveness of such major activities as discussed in the governance section of this report. While the  Management  Team  should  assist  implementing  these  evaluations,  the  PAC  should  be responsible  for  them. A corresponding  recommendation has been presented  in  the governance section of this report.  Recommendation 5.  The Panel recommends that the program clearly define the overall objective considering this is fundamental in order to assess if the implementation strategies, fund raising efforts,  resource  allocations,  level  of  scientific  productivity,  efficacy/  effectiveness  and  cost effectiveness of  the HarvestPlus CP are  in  line with  the objectives. The Panel appreciates  the difficulty of trying to restrict or place boundaries in what is up to now an exciting and highly successful program. However, the Panel thinks it is best to do it now than risk the future of the CP because of vagueness and lack of focus.  Recommendation 6.   The Panel recommends  that  the CP strengthen collaborations with others or explore tripartite arrangements (CGIAR Centers, extra CGIAR Centers and HarvestPlus CP). The Panel considers that there is clear need to strengthen the breeding program, in terms of applying the use of modern biotechnology in assisting the breeding process. The progress reports need to include key milestones indicators that serve to document the achievements necessary to further increase  breeding  efficiency  by  using  the  relevant  biotech  tools  ( Genetic mapping, QTL  and MAS).   

 

4 

Recommendation  7.    The  Panel  recommends  that  the  science  base  effort  necessary  for  efficient breeding methodology should be strengthened. This  is essential  to secure crops with enhanced nutritional  traits  that will  also  combine  superior  agronomic  traits,  this  approach  is  needed  to establish a clear economic advantage in growing the new crops and thus assure sustainable use of the crops developed by HarvestPlus.   Recommendation 8.   The Panel  recommends  that  further  steps be  explored  to ascertain  that  the final product be eventually acceptable to the target groups, namely the farmers that are going to be growing the crops and the consumers of such nutrients‐rich staples. Without their early buy‐in, there is always the prospect of such products not being acceptable to the intended users.   Recommendation 9.   The Panel strongly  recommends  that  the CP consider  the NARS as  the end users of  its product  (nutritionally  enhanced  crops) and  thus  include  the NARS  from  the  early stages of development to the implementation in pilot projects with farmers.  Recommendation  10.    Concerning  gender  and  citizenship  balance  in  the  PAC,  the  Panel recommends  that  the  PAC  works  towards  a  gender  and  origin‐balanced  membership.  This should be pursued as a strong 2nd priority. The  first priority should remain  the PAC members’ expertise and background.  Recommendation  11.    In  order  to  shield  the  institutional  representatives  –  and  in  consequence HarvestPlus  –  from  any  alleged  conflicts  of  interest,  the  Panel  recommends  to  differentiate between  external members  and  institutional  representatives  in  the PAC  terms of  reference  (as listed  in  the  HarvestPlus  Governance  and  Management  Handbook),  and  to  specify  their respective roles and responsibilities. Institutional representatives should be full PAC members in all respects, but should not have formal voting rights.   Recommendation  12.    The  Panel  recommends  implementing  the  PAC membership  rotation  as defined  in  the HarvestPlus  Governance  and Management Handbook.  In  selecting  new  PAC members, the representation of HarvestPlus beneficiary groups should be increased.  Recommendation  13.    The  Panel  recommends  that  the  PAC  agrees  and  formulates  an  explicit voting  policy  that  specifies  the  meeting  quorum,  necessary  majorities  for  different  types  of decisions, potential tie braking processes and requirements for voting through representatives or delegated  votes.  The  independent  nature  of  the  PAC  as  an  external  expert  Panel  should  be strengthened  without  damaging  the  present  achievements  in  terms  of  process  and  working relationships with the host centers. While remaining active PAC participants, the overall role and the  ʺex‐officioʺ  status  of  the  four  institutional  representatives  of  CIAT  and  IFPRI  should  be clarified and they should not have formal voting power in the PAC.  Recommendation  14.    The  Panel  recommends  that  the  PAC  commission  and  oversee  external assessments  of  output,  relevance  and  cost‐effectiveness  for  major  HarvestPlus  activities contracted  to major HarvestPlus partners. The periodicity of  this outside evaluations should be yearly or more frequent depending on specific situations.     Recommendation  15.    The  Panel  therefore  agrees with  the  PAC’s  assessment  and  recommends tasking  the Audit Committee  to oversee  that  full  compatibility of  the HarvestPlus  competitive mechanisms with CGIAR guidelines is verified or, if needed, established.  

 

5 

Recommendation  16.    The  Panel  therefore  recommends  that  the  ultimate  responsibility  for  the performance evaluation of the Program Director should be with the PAC chair. The performance assessment  should  be  based  on  intense  consultation with  the Director Generals  of CIAT  and IFPRI, and other relevant observers. The Panel recommends  that  the PAC chair  in consultation with the IFPRI and CIAT Director Generals conducts the performance evaluation of the Program Director and determines the terms of his employment.  List of suggestions  The Panel suggests  that  the attributable risk reduction,  for death and  loss of healthy  life years, resulting  from  the provision  of  nutritionally  enhanced  staple  foods  needs  to  be derived  from objective data on effectiveness of the HarvestPlus intervention under real life conditions.  The Panel suggests the model for the impact evaluation of the HarvestPlus program be based on empirical data from cluster randomized controlled trials  in multiple sites to  include the context specific  components  and  thus  strengthen  the  potential  to  have  a  true  effectiveness measured under diverse conditions.  The Panel suggests that HarvestPlus take into consideration all factors that would come into play in its transgenic work, which includes the costs involved in embarking on such an undertaking. This  reinforces  the  case  for  collaboration with  centers  of  excellence  in  the developed  and  the developing world that are undertaking this type of work.  The Panel  suggests  that HarvestPlus  incorporate  the above principles  in a Plan  for Transgenic Outputs which include a detailed description of its strategies, rationale for transgenics use and a plan  of work.  This  document  should  be  shared with  and  preferably  endorsed  at  the  earliest possible  time  by  existing  and  potential  partners,  taking  into  account  local  regulatory  and biosafety guidelines.  The Panel  suggests  that  the CGIAR Alliance  establish  the  appropriate mechanisms  to  support synergy and  complementarity of  the CGIAR  food based approaches  to  improve micronutrient nutritional  status  (HarvestPlus  and  bioversity)  and  generate  the  organizational  structure  to support these worthy objectives.  The Panel suggests that the reporting to donors be programed in a manner that is less disruptive of  the work of  the  team  leaders,  ideally  the donors should evolve  into becoming development partners so that they fund components of the   HarvestPlus CP that are in accordance with their planned  investments  in  a  sustainable manner. Having  a  set  of  pre  scheduled meetings with developmental partners/donors (once or twice a year) with discussions that incorporate feedback from  them may  be  in  the  long  run  beneficial  in  enhancing  support  and  securing  sustainable partnership.  The Panel suggests that the HarvestPlus program strengthen partnerships with research scientists conducting  genomic  research  on  the  Phase  I  crops.  This  is  needed  to  obtain  the mapping  of nutritional and agronomic desirable traits. The mapping of QTLs and or specific genes linked to these traits and the respective molecular markers should further increase the chances of success and the efficiency of the breeding effort.  

 

6 

The  Panel  suggests  that  the  present  target  of  25 %  of  total  funding  should  be  respected  and possibly  expanded  in  areas where  scientific  breakthroughs  that  have potential  bearing  on  the program objectives are foreseen.  The  Panel  suggests,  subject  to  the  availability  of  funds,  that  HarvestPlus  develop  a comprehensive capacity‐building program based on the functional areas and impact pathway of the  CP.  The  capacity  strengthening  activities  need  to  be  appropriately  funded,  planned  and implemented in support of the HarvestPlus objectives.  For a better understanding of improvement potential in terms of these issues, a detailed analysis of  perceptions  and  experiences  of HarvestPlus  program  partners  and  stakeholders would  be needed, e.g.  through a survey with  follow‐up  interviews  targeted at  these overlapping groups. Such a  thorough assessment, however, exceeded  the allocated capacity for  this Review and has therefore not been undertaken. The Panel nevertheless suggests conducting such an assessment to  further analyze  improvement potential  for  these  functions. Any  statements made  regarding these points in the report are based on the Panel’s observations within HarvestPlus and selected stakeholder and program partner interviews.  The  Panel  suggests  that  the  CIAT  and  IFPRI  board  further  clarify  the  specific  governance functions and level of authority delegated to the PAC in a document that is endorsed by PAC, the board of CIAT and the board of IFPRI.  Legal and financial assessment of related risks should be examined for each governance function. 

 

7 

1 PROGRAM RELEVANCE  The Overview of the HarvestPlus Challenge Program (CP) presented below was extracted from the CP’s Medium Term Plan (MTP) 2008‐2010.   Micronutrient  malnutrition,  primarily  the  result  of  diets  poor  in  bioavailable  vitamins  and minerals, affects more than one‐half of the world’s population, especially women and preschool children. The costs of these deficiencies in terms of lives lost, forgone economic growth, and poor quality of life are staggering.   The goal of HarvestPlus is to reduce micronutrient malnutrition among poor populations in Africa, Asia,  and Latin America, by breeding  and disseminating nutrient‐dense  staple  food crops thereby improving food security and enhancing the quality of life.  HarvestPlus focuses on three micronutrients that are widely recognized by the World Health Organization as limiting: iron, zinc, and vitamin A. Full‐time plant breeding programs are under way for six staple foods—rice, wheat, maize, cassava, sweetpotato, and common beans—that are consumed by the majority of the world’s poor in Africa, Asia, and Latin America and for which feasibility  studies have already been completed. Breeding  feasibility and germplasm discovery studies  are  being  undertaken  for  10  additional  staples:  bananas/  plantains,  barley,  cowpeas, groundnuts,  lentils, millet, pigeon peas, potatoes, sorghum, and yams.  In 2007, with most gene discovery  and  screening  activities  complete,  HarvestPlus  crop  improvement  work  is  well underway with several varieties set to enter nutrition testing trials in 2008.  The primary objectives of HarvestPlus’ 10‐year plan (2004–2013) are to: • select and breed nutritionally improved varieties of six major staple food crops with superior • agronomic properties that make them attractive to farmers to grow; • carefully test promising varieties under development to establish that sufficient nutrients are • retained in staples as consumed, and that these nutrients are sufficiently bioavailable so that • micronutrient status in undernourished people is improved; • develop  efficient,  accelerated  mechanisms  for  testing  promising  materials  with  farmers, 

consumers,  and  other  end  users,  including  those  in  the most  nutritionally  disadvantaged areas, to identify varieties with superior agronomic, socioeconomic, and end user‐acceptable traits; and  

• measure  the  nutritional  impacts  of  these  improved  varieties  in  community‐based  studies where these varieties have been adopted. 

 Main Accomplishments of HarvestPlus CP 2003‐2007 in the opinion of the panel. Within the first three years of its existence, the conventional breeding component of HarvestPlus has  been  able  to  achieve  a  number  of  important milestones  towards  the  stated  goals.  These include  identifying  nutrient‐rich  germplasm  in  rice, wheat, maize,  beans,  sweet  potato,  pearl millet and potato. This activity is being assisted by research efforts in assaying the bioavailability of Fe in breeders’ lines (using in vitro cell cultures and piglet models) and through an upstream research program  to  identify more  efficient ways  of  enhancing  the  nutritional  value  of  staple foods. The research  issues  linked to this  latter objective  include breeding for  increased  levels of factors  that  promote  bioavailability  and/or  breeding  for  decreased  levels  of  substances  that inhibit bioavailability. The Nutritional Genomics and Biotechnology research efforts complement this  strategic  approach  by  increasing  the  efficiency  of  conventional  breeding,  research  is  also 

 

8 

focused on identifying the genes that synthesize pro‐vitamins A and that translocate Fe and Zn from  the soil,  through  the plant,  to  the seed. The anticipation  is  that  the results of  this research will provide a strong  foundation  for  the development of nutritionally enhanced crops  through conventional breeding, genetic modification or eventually transgenic crops should the need arise in the future.   The  program  has  also  contributed  to  enhancing  the  awareness  for  improved  food  quality  in addressing nutritional problems. Renewing and enhancing  the  interest of donors  in  food based approaches to the prevention and control of micronutrient deficiencies.   Identifying gaps in our methods to assess nutrient bioavailability from staple crops and contributing in developing new approaches to evaluate it. The application of low cost high throughput methodologies to screen crops at various levels for nutritional content, starting from the field to the refined analytical labs (especially  for  carotenoids)  has  been  an  important  contribution  of  HarvestPlus.  Attracting agricultural development centers of large countries (China, India and Brazil) to invest in research and development of nutritionally enhanced staple crops. The expectation  is  that other national agricultural research centers will play important roles in reaching end users with the support in terms of training and demonstration projects spearheaded by the CP.   The panel considers that the problem of micronutrient deficiencies is indeed important and that more  than  one  approach  is  needed  to  adequately  control  and prevent  these  conditions under different conditions and contexts.   We are extremely excited by  the promise of  the HarvestPlus CP  of  contributing  in  the  control  and  prevention  of micronutrient  deficiencies  by  providing nutritionally enhanced staple crops. We view the program as one of several potentially effective strategies  that should be considered depending on context. The HarvestPlus program offers an excellent  opportunity  to  support  food  base  approaches  in  the  control  of  micronutrient deficiencies  in  a  sustainable  manner  with  long  term  impact.  The  panel’s  view  is  that  the HarvestPlus program contributes  in making  the CGIAR centers more effective and provides an example  for  innovation,  illustrating  the  strength  of multidisciplinary  approaches,  serving  as  a model for greater interaction between centers and contributes in fulfilling the CGIAR’s mission. The Panel considered  that overall  the CP  is well managed, has as strong governance structures that link it to the CGIAR system and excels in terms of obtaining financial support and keeping donor’s interest.  The panel unanimously agreed that in their best judgment the HarvestPlus Challenge Program is an exciting and  important  initiative with major potential  impact on  the nutrition and health of populations  living  under  poverty  conditions  in  low  and middle  income  countries. Moreover there are significant benefits  in supporting nutritional security  in  industrialized countries alike. Our  recommendations  are  essentially  addressing  areas where we  as  an  external  review panel consider  there  is room  for  improvement. The balance between  the  impressive progress and  the areas in need for improvement may not be reflected by the corresponding text in our report, in terms of length since our task as a review team was to critically examine  the program, more than to summarize the progress and achievements. We understand that the SC has received progress reports and detailed information on the HarvestPlus program over the past years.  1.1 How relevant are the overall program goals? 

The Panel  first  considered  if  there was  a need  for  the program,  it  analyzed  the nature  of  the micronutrients  deficiencies  in  terms  of  the  causal  web,  the  consequences  and  the  potential contribution  the HarvestPlus CP  could have  in  terms  of  impact. There  is  clearly  international 

 

9 

consensus  that  global  collective  action  is  required  to  address  the  problem  of  micronutrient malnutrition. The problem has been recognized by the UN and international agencies addressing food and nutritional problems. There is an extensive network of agencies and academic research centers  addressing  the  problem,  the  topic  of micronutrient malnutrition  from  a  public  health perspective  is  being highlighted  by  a Lancet  Series  on Malnutrition  to  be published  later  this year, material relevant to the topic has been abstracted in Annex 7.     The existence of micronutrient deficiencies is well known by the international and bilateral health and nutrition/food organizations. For the past decade, the three micronutrients (Vit A, Fe and Zn) selected  by  the HarvestPlus  CP  are  amongst  the  top  priorities  in  the  international  nutrition agenda.  The  approach  to  the  prevention  of  other  critical  micronutrients  has  been  food fortification,  in  the  case of  iodine,  salt  and water have been used  as vehicles by  adding  small amounts of Iodine. Iodine fortification of salt has contributed in the significant decline in Iodine deficiency  disorders  (goiter,  abnormal  growth  and  development, mental  retardation,  decrease educational  performance  and  work  productivity).  The micronutrients  of  interest  selected  by HarvestPlus play important roles in defining child survival in the first years of life and also are key  for  normal  physical  growth  and  mental  development  of  those  that  survive  the  early childhood years. These micronutrients affect infant and child mortality rates, ability to learn and capacity for physical work, thus also have an important impact in human capital formation and in  overall  socio‐economic  development.  The  WB  has  considered  micronutrient  fortification programs  amongst  the  most  cost  effective  interventions.    Economists  at  the  Copenhagen Consensus Center have concurred with this.   The  latest estimate on  the burden of death and disability  from micronutrient deficiencies  to be published as part of the Lancet series on malnutrition later this year (Lancet Malnutrition series) indicates  that  close  to  one  third  of  all  death  and  disability  [lost  disability  adjusted  life  years (DALYs)] for children under 5 yrs of age can be attributed to child and maternal undernutrition. More  than  20%  of  global  deaths  and  DALYs  lost  in  children  less  than  5  years  old  can  be attributed to stunting, severe wasting and intrauterine growth restriction.  Of the micronutrients, vitamin A and zinc deficiencies, by far have the largest remaining disease burden. In the case of Vitamin A 7.5 % of all death and 6 % of all DALYs; for Zinc 6.4 and 5.5 % and for Iron 0.2% and 0.5 % respectively. The geographic distribution of  these deficiencies  is well known; although  in many  cases  mean  national  figures  underestimate  the  degree  of  deficiency  present  amongst populations marginalized because of social, economic, ethnic or religious reasons. However, the fact  that  these  deficits  exist  should  not  be  equated with  stating  that  these  problems will  be resolved by enhancing the micronutrient content and the bioavailability of the nutrients from the food sources. Even if the Panel is able to secure the basic nutritionally enhanced food crops there is at the very least a need to secure access to appropriate preventive and curative health, and to maintain vital  care practices  for young  children  and women of  reproductive age. The  latter  is particularly critical in the first 6 months of life, exclusive breast feeding for the first 6 months of life,  followed  by  continued  breast  in  combination  with  appropriate  micronutrient  rich complementary foods is the most efficacious way to prevent death and loss of healthy life years of  children  below  2  years  of  age.  Complementary  foods  need  to  provide  adequate  energy, protein,  as  well  as  all  essential  micronutrients,  and  be  free  from  microbial  and  chemical contaminants.     Based on the recognition of this problem over the past 15‐20 years major global initiatives trying to prevent  and when necessary  treat  vit A  and  iron deficiencies have  been undertaken; more recently zinc has been  included. The present  interventions are directed at  targeted or universal 

 

10 

supplementation for the severely affected and to fortification of staple foods; results demonstrate varying degrees of success depending on the specific nutrient and the context of the intervention. In some cases the delivery of the supplement is done within the health services (vit A capsule at time of  immunization)  to secure uptake, since  it  is virtually  impossible  to deliver  the necessary dose with regular or even fortified foods. Often, those who most need the critical micronutrients (the urban and rural poor) have  the most difficulty  in having access  to  the fortified foods or  in some  cases may  be  excluded  from  the  benefit  since  they  have  difficulty  accessing  the  health services. There  is  clear  recognition  that  further  action  to  address micronutrient deficiencies  is required, particularly in those under 3 years of age; what is definitely less well defined is which of  the  alternative  strategies  available  is  most  effective,  and  most  cost  effective  in  different settings. Since the micronutrient needs of infants and children below two years of life are much higher on a body mass basis (per kg of body weight) or even relative to energy needs (per kcal consumed) it is very unlikely that foods modeled to meet the needs of adults or older children; can provide sufficient micronutrients within the constrained volume of food consumed by young children. Even  if  foods have  increased micronutrient density  small  children are  limited by  the volume of food they can ingest because of small stomach capacity. In general unless flesh foods are included (ruminant meat, fish, poultry, liver or flesh from other small animals) it is virtually impossible  to meet  the micronutrient needs of  small  children. Thus,  the approach has been  to fortify  these  foods  centrally  (low  cost  manufactured  processed  foods  as  provided  by  many governments of Latin America and some countries  in Asia) or  in various modes of home  level fortification  (condiments, vegetable  oils  or  fat  spreads,  sprinkles,  or  tablets  to  be  crushed  and mixed with the food prior to serving it).   1.2 How realistic are the program goals? 

The Panel next analyzed if the CP could realistically achieve the goal of reducing the prevalence of micronutrient deficiencies, namely  (vit A,  iron and zinc).   The Panel has   provided  the brief  summary  above  and  additional  information  in  the  Annex  7  describing  of  the  nature  of  the problem being addressed by the HarvestPlus CP and the multi factorial nature of the causal web since  this  is  necessary  to  assess  whether  the  objectives  have  been  set  realistically  and  the promise of impact can be fulfilled assuming the program was implemented perfectly. The view of the  Panel  is  that  if  the  expectations  are  that  “  the  CP  will  have  a  significant  impact  in decreasing the burden of death and disability of young children (< 2 yrs of age) in terms of death and DALYs” this will not be achieved by the CP even if it is successfully implemented. The Panel considers that the program will not be able to impact significantly on micronutrient deficits in the  group  <  2  years  of  age;  and  that  the  potential  biological  impact  of  vit A,  iron  and  zinc enhanced food has been overestimated. Our view is in line with the SC expression of concern that the CP  strategy and  impact pathways  fail  to  identify  the multifactorial nature of  the  factors that  condition  the  consequences  of micronutrient  deficiencies.  In  addition  based  on  the  latest available information, the consequences have been overestimated since it is extremely difficult to single  out  the  relative  benefit  of  solving  micronutrient  deficits  in  isolation  of  overall improvement in food supply, access to health and care.   The Panel chose to examine the capacity of the CP to impact the group under 2 years of age for this  assessment,  since  this  age  represents  the  critical  target  group.  It  accounts  for  the  largest fraction of the total death of children < 5 yrs; moreover, mortality for those below 1 year of age accounts for two thirds or at least one half of the total death for those under 5. The Panel based its judgment on  the available evidence reviewed or  in what can be projected based on progress  to date. The Panel has used the most recent estimates for malnutrition related death and disability 

 

11 

to  be  published  later  this  year  in  the  Lancet  (see  appended  data  from  the  Lancet  series  on Malnutrition).  Even  in  an  optimistic  scenario,  in  terms  of  the  capacity  to  achieve  the  stated objectives, the anticipated short and medium term expected results are not in accordance with the theoretical expectation proposed  in  the HarvestPlus CP documents and presentations.  It  is  true that the CP has avoided making clear commitments in terms of exact age of the target group, the magnitude of  the  reduction or  the  time  it will  take  to have  a measurable  effect on death  and DALY’s. The Panel agrees with  the concern expressed by  the CGIAR SC  in  terms of  the urgent need to clarify goals and purpose of the CP since this vagueness  limits the capacity to evaluate the program and our task of assessing potential for impact.   However,  despite  the  vagueness  in  the  final  objective  against  which  to  assess  impact  and progress, the considerations the Panel presents remain fully valid for the purpose of assessing the value  of  the  ex‐ante  cost  effectiveness  evaluations  being  conducted  by  the  HarvestPlus  CP program  (i.e.  impact  of  specific micronutrients  provided  by  given  crops).  The  Panel  is  well impressed  by  the  methodological  approaches  taken;  indeed  they  are  of  interest  since  they provide an idea of maximum potential impact. However as noted in the short summary provided in  the previous  sections  the  causal web  for death  and disability due  to  each micronutrient  is extremely complex and  is also context specific  (see  figure  in Annex 7 adapted  from  the Lancet series  in press). Thus  in  the absence of empirical evidence and based on  the  latest  information available the estimates of impact provided by HarvestPlus CP are considered by the Panel to be overly optimistic and have great uncertainty.   The Panel suggests  that  the attributable risk reduction,  for death and  loss of healthy  life years, resulting  from  the provision  of  nutritionally  enhanced  staple  foods  needs  to  be derived  from objective  data  on  effectiveness  of  the  HarvestPlus  intervention  under  real  life  conditions. Moreover, as pointed out previously, the proportion of death averted and DALYs saved can not be derived  from overall  figures since  the proportion of young children contributing  to both death and disability burden is much greater and the relative benefit obtained in relation to the total population benefiting from HarvestPlus CP  is much smaller than those derived from the average estimates of impact. In fact the evidence summarized to date indicates that the effect  is maximal when  interventions  target children <2 yrs of age and have much  less impact in those over 3 yrs of age in terms of linear growth and mental development. Thus, the  real  efficacy  and  effectiveness  of  the  HarvestPlus  CP  for  younger  children  remains unknown. It is even possible, that this critical age group has no direct gain at all. The worst case scenario is that only, children who are born from mothers who received carotenoid rich foods and were exclusively breast fed during the first 6 months of life, are the ones to benefit. The program benefit would be based on their chance to receive the extra carotenoid and vit A from human milk. In this case, provided the unstated assumptions of the HarvestPlus CP are proven  correct,  the differential gain  in DALYs  and  risk of death  should  consider  that breast  fed  infants  whose  mothers  did  not  received  the  HarvestPlus  benefit  but  are comparable  in all other aspects  is  the valid comparison group. Comparisons should not be derived contrasting the results from breast fed HarvestPlus beneficiaries with observed risk of death and disability using non breast fed infants as comparison groups.   Appropriate  ex  ante  impact  is  considered desirable,  empirical  evidence  should be  collected  to define a model  that allows context specific estimates and  to  test  if  the assumptions are proven correct. The Panel suggests the model for the  impact evaluation of the HarvestPlus program be based on empirical data from cluster randomized controlled trials in multiple sites to include the 

 

12 

context  specific  components  and  thus  strengthen  the  potential  to  have  a  true  effectiveness measured under diverse conditions. This would allow for extrapolations and a scaling up process that may be able to address the critical barriers that impede effectiveness.  Until this is obtained, the extrapolation of the ex‐ante analysis is unwarranted and potentially misleading. The present approach for the ex ante evaluation has undoubtedly merit and technical rigor; it represents what can  be  done  with  the  existing  information.  Unfortunately  there  are  problems  that  limit  the validity of  the estimations,  the assumptions need  to specified,  the uncertainties acknowledged, and  there  is a need  to  incorporate  the age  related  factors and  the  confidence estimates  for  the results  provided.  The  ex  ante  cost  effectiveness  evaluation model  can  serve  as  a  template  to define  the  type  of  data  that  will  be  needed  to  conduct  an  appropriate  evaluation  of  cost effectiveness of the CP.   Despite  these concerns  the Panel  thinks  that  the CP can contribute  to  improve  the nutrition of those  living under conditions of poverty and nutritional  insecurity depending on the context  in which  the  program  is  implemented.  The  Panel  unanimously  agrees  that  the  HarvestPlus program has worthy objectives and progress  to date  is  significant;  thus  it  recommends  to  the PAC Chair and CGIAR Director  that  the  challenge program  should  continue  in advancing  its work  towards  the stated goal. This will  require not only  that  the CP delivers  the nutritionally enhanced staple crops and demonstrates that they are efficacious under controlled conditions in improving  the nutritional  status of  individuals  studied; but also  that  the non  food  factors  that contribute  to micronutrient deficiencies  in practice are being addressed  in conjunction with  the CP.  These  include:  access  to  adequate  health,  clean  water  and  healthy  environment,  good governance, promotion  and protection  of  the  rights  of women  and  children  (including  caring practices such as breast feeding), participation and empowerment of communities in their quest to fulfill their right to food (sufficient in amount and quality). It is likely that in order to do this, the CP will need to prioritize crops where major progress in the breeding has been achieved and where  the  impact  of  enhanced  crop  on  micronutrient  malnutrition  of  the  target  group  is potentially greatest. This will also require that sites to test the effectiveness of the HarvestPlus should have  in place programs  that contemplate  the other essential health, nutrition and care interventions.   The fact that the Panel considers that these intrinsic limitations are significant; by itself, does not decrease our interest in the HarvestPlus CP. The Panel recommends that the management team of the CP clearly define what realistically can be expected from the CP and examine what should not be expected from the CP. The Panel concurs with the views expressed by the SC on the need for the CP to be explicit in defining the justification and rationale for the planned activities and recommend  that  the CP  reexamine  and more  clearly  define  its  objectives  based  on  a  realistic assessment  of  potential  impacts.  This  should  include  defining  the  scope  of  the  program  at various levels of potential funding.    1.3 Alternative program goals 

The Panel next  examined potential alternative goals  in order  to assist  the CP  in defining  their main  objective,  the  following  three  alternatives  (not mutually  exclusive) were  considered  of greatest interest and are detailed below.    The Panel first considered the broadest possible impact, which has the greatest applicability since it  affects  virtually  all  humankind.  This would  be,  enhancing  the  nutritional  quality  of  the human food supply. If this is achieved it could contribute significantly in fulfilling, not only 

 

13 

the right to adequate food (sufficient in micronutrient quality to prevent deficiency), but also generate the science base for a food supply that would promote lifelong health and well being for humankind. This goal, in fact has wider implications than the present important but narrow focus  of  preventing micronutrient malnutrition.  This  broader  goal  “to  contribute  to  lifelong health,  freedom  from  hunger  and  malnutrition  in  all  its  forms”  has  been  the  fundamental contribution  of  agriculture  to  humankind  from  its  origins.  The  strategy  proposed  and  tools developed under  the HarvestPlus CP can serve equally well  to address  the suggested goal as a key issue facing humans now and in their evolutionary trajectory. Our biological evolution from its beginnings has been shaped by the available food supply; the presence of plant and animal life has influenced the hierarchy of the various species (including Homo sapiens) in a given ecological niche.   The nutritional needs  and  the  corresponding  foods  available  to humans have  been  intimately linked throughout evolutionary times. Heterotrophic life evolved based on the capacity of using autotrophic forms of life or other heterotrophic forms occupying a lower place in the food web. Humans within  their  evolutionary  tree/web  are unique  in  being  able  to  gain  from  successive individual and social experiences not only in the selection of foods consumed; but also defining what foods are produced, how they are processed and preserved. Humans as hunters, scavengers or  gatherers  were  able  to  pass  to  others  and  to  the  next  generation  their  dietary  patterns including  food  processing,  preservation  and  culinary  preparations.  Agriculture  made  food culture possible and allowed the species to expand  in relation to the amount and quality of the foods  produced,  it  permitted  larger  human  settlements,  made  cities  and  urban  settlements possible.  In  fact modern man  evolved  thanks  to agriculture. Presently we are not only able  to choose our foods from naturally occurring forms of life, but are also able to select and modify our food supply, or even design new foods that have selective advantages in the production process or  in  the desired nutritional properties. Up  to now  the planning of our  food  supply has been based mainly  on  optimizing  the  energy  supply  necessary  to  assure  the  survival  of  an  ever growing human population.  In  fact, FAO continues  to define hunger solely on  the  food energy available merely considering the effect of income on the access to energy by the poor [see SOFI 2006 (State of the Food Insecurity in the World)]. The HarvestPlus CP has now incorporated the need to secure micronutrients (vit A, iron and zinc), these nutrients should clearly be considered in  shaping  the  future  of  our  food  supply.  Perhaps  it  is  time  that we  expand  our  vision  and consider which traits in plants and animals we use as foods contribute to our life long health or to the  burden of disease  at  every  stage  of  the  life  course  in  a  broad manner. Nutrition not  only affects the growth, mental development and survival of young children but also determines the risk of  chronic diseases we will  suffer  as  adults,  accounting  for nearly  50 % of  the premature death  burden  of  adults  (WHO/FAO  TRS  916  Diet  Nutrition  and  the  Prevention  of  Chronic Disease  2003).  The  present  estimates  for  maximum  human  life  span  suggest  that  we  can potentially  live  to  slightly  over  100  years. The data  from  both  epidemiological  and  controlled interventions suggests that most cardiovascular diseases and a significant proportion of cancers can be prevented or significantly delayed by optimizing diet and physical activity patterns. There is also growing evidence that the macronutrients in the foods (quality of carbohydrates and fats) affect the prevalence of obesity, diabetes, cardiovascular diseases, some forms of cancer and age related functional losses. It is time that we consider what diet and activity patterns are needed to preserve  muscle,  bone,  immune,  and  brain  function  in  older  people.  Thus  the  objective  of HarvestPlus is relevant in the development, enhancement, and preservation of human capital at all  stages  of  the  life  course.  This  may  sound  a  bit  farfetched  but  indeed  the  marriage  of agriculture  and  health was  the  inspiration  that  lead  Lord  Boyd  Orr  to  propose  in  1943  the creation of the Food and Agriculture Organization before there was a UN. We are at the dawn of 

 

14 

a new era in which humans may in fact actively contribute in the reshaping of their food supply and  be  able  to modify  their  life  course  health/wellbeing;  possibly  affecting  their  evolutionary trajectory.   A second possibility would be to target the nutritional enhancement of foods for groups that are highly  vulnerable  to micronutrient deficiencies,  as presently proposed  but  to  limit  the  role  of HarvestPlus  CP  in  developing  the micronutrient  rich  foods with  demonstrated  efficacy  (can improve  the nutritional status of  those deficient) under controlled conditions. The  focus would remain future mothers and young infants, but would not promise having a significant impact in the control of micronutrient deficiencies. Rather it would secure that what is “on the plate” meets the nutritional needs of these groups. As pointed out previously vulnerable groups lack not only access  to  the  nutritional  enhanced  foods  but  have multiple  other  factors  that  condition  their vulnerability, making  it  extremely difficult  to  judge,  in  a general way,  the  contribution of  the access  or  lack  of  access  to micronutrients  in  the  end  result.  For  these  groups  the  promise  of HarvestPlus needs to be seen in combination with other interventions that are context specific.   A  third alternative,  less ambitious and more  immediate as an objective for  the HarvestPlus CP, would be to contribute in meeting the MDG goals expanding the definition of hunger beyond the narrow FAO undernourishment (based on energy available ), proposing the need to secure that the  micronutrient  needs  of  those  who  are  poor  or  food  insecure  be  adequately  met.  This comprises  the  large  masses  of  urban  poor  in  low  and  middle  income  countries  and  the subsistence  farmers  in  developing  countries.  These  two  groups  should  be  considered  as complementary. The HarvestPlus CP would have  as  a goal  filling  the  food micronutrient gap between the present level of micronutrient intakes and the existing nutritional recommendations. The impact would be assessed by the added micronutrient content delivered by the HarvestPlus CP,  basically  what  is  in  the  plate  being  consumed.  How  can  nutritionally  enhanced  foods contribute  to meeting  the  existing  food  based  dietary  guidelines  (FBDGs),  defined  based  on present dietary patterns, food composition  information and prevalent social and environmental conditions  that  affect  the  fulfillment  of  nutritional  requirements  in  practice.  In  this  scenario HarvestPlus would  contribute  in meeting  FBDGs  for  a  given  country  or  region  in  a  context specific manner that would include the full agronomic cycle.     The Panel recommends that the program consider the three options detailed above and clearly  defines  the  overall  objective  considering  this  is  fundamental  in  order  to  assess  if  the implementation  strategies,  fund  raising  efforts,  resource  allocations,  level  of  scientific productivity, efficacy/ effectiveness and cost effectiveness of the HarvestPlus CP are in line with the objectives. The Panel appreciates  the difficulty of  trying  to  restrict or place boundaries  in what  is up  to now an exciting and highly successful program. However,  the Panel  thinks  it  is best to do it now than risk the future of the CP because of vagueness and lack of focus.  As  a  team  the Panel  considers  it  is  essential  that  the  objectives  be  clearly  specified,  since  this defines  the  framework  of  our  work  as  evaluators.  It  is  difficult  to  evaluate  the  present achievements  unless  the  Panel  has  these  boundaries  in  place.  The  assessment  of  activities, products to date and overall direction require clearly defined objectives, especially at a time the program is planning to expand in its scope and level of funding.  The Panel recommends that the CP undertakes a   self‐assessment of its progress including a SWOT analysis and clearly states, objectives, identify end users, specifying where it adds value; where it can partner with existing national and international centers, and  in what specific areas it should be held accountable  in terms  of  expected  impact  in  a  given  time  period.  This  should  help  in  defining  two  or  three 

 

15 

potential  future  scenarios depending on projected  level of  funding. This  recommendation  is  in agreement with guidance provided previously by the SC.    1.4 Identification of the end user/beneficiary of HarvestPlus CP 

Based  on  the  documents  examined  it  appears  that  the  CP  evolved  from  an  initial  narrowly focused  idea of providing  the potential benefits  to subsistence  farmers, who would be  in great need, and at the same time could produce and consume the bio‐fortified foods themselves. This option is indeed attractive, but in many parts of the world, the urban poor are equally affected or possibly more vulnerable  than  the  rural  farmers.   Moreover  the  IFPPRI data  indicates  that  the rural poor  relative  to  the urban poor  are  a  shrinking  group,  thus  the CP  rightly  expanded  to consider  the  needs  of  farmers  and  non  farmers  who  have  limited  access  to  foods  naturally containing  essential  micronutrients  or  fortified  with  these.  If  fortification  strategies  were successfully  implemented  across  all  levels  there would  be  limited  space  for  the HarvestPlus program.  This  is  clearly  recognized  by  the HarvestPlus  CP  in  presenting  itself  as  a  superior alternative in terms of running costs once installed, and for long term sustainability. On the other hand,  the HarvestPlus  as  it  presently  stands,  even  if  successful will  not meet  the  promise  of reducing micronutrient malnutrition  in  young  children;  the most  significant  target  group  in terms of death and disability.   The Panel considered who where the potential end users of the CP and identified two potential groups:    individual  farmers  and  agricultural  organizations  (public  or  private)  charged  with supplying of advising on crops selection to farmers. Potentially, individual farmers can be seen as end users; however, the alternative is to have national governments and specifically the existing or projected NARS as the real end users. In pondering the two alternatives the Panel decided that individual  farmers  should be  considered  end users only  in  the pilot phase of  implementation mainly  to prove  the  efficacy  and or  effectiveness of  the  crops developed by HarvestPlus. The Panel  considered  that  the  sustainable  adoption  of  the HarvestPlus  program  requires  that  the suppliers or those that influence the selection of crops by farmers take up the new crops as part of their  program  activities.  If  national  organizations, NARS  or  their  equivalent  are   weak,  their strengthening could be assisted by the HarvestPlus CP in conjunction with other funders and in partnership with government national agricultural research and development centers is the best way forward. The early experience of HarvestPlus partnerships with India, China and Brazil are excellent examples of this approach.    The  Panel  recommends  that  the  implementation  strategy  be  based  mainly  by  establishing partnerships with NARS or  equivalent national bodies at an  early  stage. The Panel  considers that this model is the best way to assure a cost effective and sustainable  implementation. The Panel  considers  that  the CP  should  not  primarily  be  concerned with  implementation;  the CP should  stay within  the  proof  of  concept  testing mode,  evaluating  and  facilitating  the  actual implementation  by  national  partners.  The  fact  that  there  is  a  need  for  supporting  the implementation process to the farmer does not mean that the CP should be the one to do it. The HarvestPlus should consider where it adds most value for money and where it should work with others that have the responsibility to support farmers and disseminate innovations at the national level.    

 

16 

 

17 

2 PROGRAM EFFICACY AND EFFECTIVENESS  (IS THE PROGRAM DOING THINGS RIGHT?) 

 2.1 Clarification on measurement of effectiveness 

The Panel agreed that based on the information provided by the program and our review of the documents  describing  the  program  the  overall  goal  of  the HarvestPlus  is  the  amelioration  of micronutrient deficiencies.   However, there is no specific target population or magnitude of the expected reduction ascertained. For the purpose of the assessment exercise as a review team, the Panel  has  taken what  is  stated  by  the HarvestPlus  CP  as  a  reasonable working  definition… Develop micro  nutrient  dense  staple  crops  using  the  best  traditional  breeding  practices  and modern  biotechnology  to  achieve  provitamin A,  iron,  and  zinc  concentrations  that  can  have measurable effects on nutritional status...this served  to orient our deliberations and  to conduct our evaluation.   The Panel has  taken  this statement using  it as a guide  in assessing  the purpose, objectives and strategies  being  implemented  by  the program;  independent  of  the potential uncertainties  that result  from  it.    The  Panel  considers  that  the  principal  strategy/approach  that  is  essential  and specific to the HarvestPlus CP goal is achieving the nutritional enhancement of staple food crops. That is, unless the CP is able to deliver the promise of nutritionally enhanced staple food crops it has  no  reason  to  exist.  The  Panel  concurs with  the CP’s  vision  that  this  area  of  discovery  is fundamental  but  yet may  be  insufficient,  if  the  Panel  accepts  that  the working  definition  of purpose in the previous paragraph specifies that the crops need to have a measurable impact on nutritional status; this places additional demands in the implementation phase.    The CP needs to further emphasize examining what are the necessary steps for crops to go from the breeding phase to actual adoption in an economically sustainable manner, ideally with both nutritional  and  agronomic  enhancements.  These  latter  two  conditions  are  essential  to  achieve success  in  terms of having a measurable effect on nutritional  status. The next  steps  taking  the crop from the farm to the mouth of the end user is important but can and should be done in clear partnerships with existing national institutions. The Panel considers that funding allocations and evaluation of progress should reflect this relative prioritization.   The implementation activities should mainly take the form of “proof of principle”, and in terms of overall investment should remain a small fraction of the effort. The CP should consider where it adds value in a sustainable manner and it can do things better than others. This does not imply that  implementation  is  less  important,  but  rather  that  sustainability  of  implementation  will depend on the buy‐in of national government and development partners. There are many ways other  than  the  HarvestPlus  to  facilitate  implementation.  HarvestPlus  needs  to  clearly demonstrate efficacy of nutritionally enhanced crops, effectiveness  is  the desired  final product, but  the CP  should  take  it  to  the  proof  of  concept  and  not  to  the  national  coverage  and  final impact.  The  latter  are  best  done  in  partnerships  with  national  institutions.  Since  the  Panel considers partnerships to be of crucial  importance the Panel has generated a specific chapter  in our report to address partnerships as crucial elements for the success of the HarvestPlus.   In terms of evaluation and accountability the Panel considers that the CP should be measured by the  results  of  the  breeding  and  equally  important  as  facilitators  and  enablers  for  final implementation  of  the  nutritional  enhanced  crops  in  terms  of  nutrient  utilization,  food consumption, and nutritional impact at the various levels.  

 

18 

 However,  the  Panel  considers  that  the  eradication  of micronutrient malnutrition  as  a  goal  is beyond the CP’s mission, the boundary should remain in improving access to micronutrient rich foods  that  have  a measurable  effect  on  nutritional  status.    The  eradication  of micronutrient malnutrition and its consequences in terms of death and disability is indeed extremely important but will  require at  the very  least effective actions  to prevent and  treat  infections and parasites, adequate care of mothers and  infants and appropriate access  to preventive and curative health care.  In  the  final  analysis  it will  relate  to  overall  human,  social  and  economic  development. Undoubtedly the HarvestPlus CP has the potential to contribute to this process by breaking the chain  of  events  that  leads  to poor human  capital  formation,  but  clearly  its  core  expertise  and scope are insufficient to achieve this most ambitious goal.    2.2 Program design  in  terms of  its strategic approach and appropriateness of priorities for 

achieving program objectives 

The Panel considered  that  the overall approach  is  reasonable; within  the  first  three years of  its existence,  the  conventional  breeding  component  of  HarvestPlus  has  been  able  to  achieve  a number of important milestones towards the stated goals. These include identifying nutrient‐rich germplasm  in  rice, wheat, maize,  beans,  sweet  potato,  and  cassava,  and  phase  II  crops  pearl millet, banana/plantain sorghum, potato,  lentil, cowpea, barley and yams. This activity  is being assisted by research efforts in assaying the bioavailability of Fe in breeders’ lines (using in vitro cell  cultures  and piglet models)  and  through  an upstream  research program  to  identify more efficient ways of enhancing the nutritional value of staple foods. The research question posed for this  later  issue  includes  breeding  for  increased  levels  of  factors  that  promote  bioavailability and/or breeding  for decreased  levels of  substances  that  inhibit bioavailability. The Nutritional Genomics  and  Biotechnology  research  is  intended  to  complete  this  strategic  approach  by increasing  the  efficiency  of  conventional  breeding,  research  is  also  being  directed  to  identify genes  that synthesize pro‐vitamins A and  that  translocate Fe and Zn from  the soil,  through  the plant,  to  the  seed.  The  anticipation  is  that  the  results  of  this  research will  provide  a  strong foundation for the development of nutritionally enhanced crops through conventional breeding, genetic modification or eventually transgenic crops should the need arise in the future. The Panel examined progress  for  each  of  the  4  key HarvestPlus CP  objectives  based  on  the  information available to us including peer reviewed publications, phone interviews with collaborating centers and visits to IFPRI and CIAT.   Select and breed nutritionally  improved varieties of six major staple  food crops with superior agronomic properties that make them attractive to farmers to grow.  This  is  the key objective of  the HarvestPlus CP  (Nutritional enhancement of staple  food crops) and  could  be  used  to  assess  overall  impact  in  a  generalizable  manner.  The  scientific developments necessary  to achieve  this objective are already at hand, and available  to  the CP. They  include  genetic mapping  of  relevant  traits  for  specific  crops, QTL or  specific  gene  locus identification, markers  for  QTLs  or  genes, molecular  assisted  selection. With  these  tools  the efficacy of breeding could be significantly enhanced.    Breeding activities include: • Additional evaluation of germplasm  to  identify additional micronutrient‐dense progenitors 

for crosses to use in breeding of parent building and germplasm with potential for short‐term impact  through  fast‐tracking  (  new  information  in  this  area  is  not  yet  reflected  in  the 

 

19 

publications, however ongoing work at CG centers and partners particularly for phase I crops are advancing). 

• Implementation of molecular markers for large‐scale selection programs (Not documented by publications but evidence that this is occurring at  IRRI, CIAT CIMMYT, Univ of Illinois, U of Adelaide, USDA‐Baylor  for phase  I   crops   was documented  including during    the visit  to CIAT and phone interviews). 

• Genetic  and QTL  analyses  to  determine  loci  involved  in micronutrient  content  (based  on publications  1  QTL  study  in  rice  after  5  years  using  a  population  characterized  and developed by others,  additional work  in  this  area was documented  for beans  and  cassava during site visit to CIAT). 

• Development  of  varieties with  high micronutrient  concentration  and  superior  agronomic traits, in collaboration with NARES and farmersʹ groups. (Unclear how much progress in this area,  specifically  reported  in MTP  and  reports but not  reflected  in publications.   Work on drought resistance and disease resistance  in  this area documented during  the visit  to CIAT for beans and cassava; similar work for other phase 1 crops is ongoing). 

• Leverage and integrate new methods in genomics, genetics, and molecular biology to identify and understand plant biosynthetic genes of nutritional importance, specifically those related to zinc, iron, and vitamin A; (Scientific ‘nutritional genomics’ group has excelled especially in the area of carotenoids, work in progress on iron and zinc). 

• Demonstrate proof of concept nutritional enhancements by engineering genes involved in the biosynthesis of essential vitamins and accumulation of essential minerals (no publications in this  area  provided  in  the  report,  however  excellent  recent  progress  published  in  2007  on carotenoid biosynthesis  in potatoes  in collaborating  laboratories and  important work being carried out at CIAT  in  this area documented during  the site visit  relative  to carotenoids  in cassava). 

• Analyze  the  consequences  of  proof  of  concept  enhancements  on  nutrients  and bioavailability,( apparently limited progress in modifying crops to increase bioavailability of key micronutrients no specific publications in this area). 

• Transfer proven materials  to partner breeding centers  for  implementation  in Phase 1 and 2 crops  (For OFSP  a  agronomically  superior  high  carptempod  variety  has  been  released  in Uganda  and  deployed  to  African  partner  NARS.  For  bean,  high  Fe  final  products  with superior drought tolerance developed under HarvestPlus are tested by several African NARS and  entered variety  registration  trials.  (State‐of‐art, progress  and projections  regarding  the transfer of micronutrient dense crops are documented in MTP and donor reports. Given the short lifespan of the project, publications regarding breeding can not be yet expected, but will be forthcoming). 

• Assist with analysis of micronutrient  composition and agronomic  traits  (extensive work  in this area  including  standardization of methods,  implementation of new methods  for  rapid assessment  of  micronutrient  composition  of  crops.  Practical  Manuals  and  dissemination material produced. Less evidence of productivity from agronomic traits work, however this is expected given  the  limited    lifespan of  the project, publications  likely will be  forthcoming since several articles have been submitted in 2007 and 1 recently published). 

• Aid  breeders  in  identifying  and developing molecular markers  for nutritionally  important genes, in order to incorporate into molecular breeding programs (No publications supporting this objective which is critical for the success of the CP are reported yet, however the visit to CIAT revealed  that  the potential  for  this  is available and  is being explored  in collaboration with  the University of Freiburg  for  cassava and work at CIAT on beans, parallel activities reported from other CG and partner research centers for phase I crops). 

 

20 

The Panel agrees that in order to be able to perform breeding for mineral content, the availability of genetic variation  is  essential. However,  in order  to  conduct  efficient breeding,  the  scientific knowledge on the genetic components of the observed variation and insight into the genotype by environment  (G  x  E)  interaction  are  highly  relevant  and  of  practical  importance.  Recent developments in quantitative genetics making use of molecular markers allow the determination of  genetic maps  and  using map  positions  one  can  establish  the  relative  contribution  of  the different loci to the observed trait variation. The obvious application of this knowledge is the use of   marker‐assisted  breeding  (MAS), where molecular markers  linked  to  the  loci  determining variation for the trait can be used to select the most favorable genotypes with a  reduced need for  assays  in  all  breeding  generations.    In  addition,  this  approach  allows  the  incorporation  of multiple genes at a time into the breeding lines as 3‐4 markers can be used to “pyramid” 3 or 4 genes of interest. Markers can help select initially those that have the desired combination of 3‐4 genes and then advance these lines gaining efficiency.    The CP has confirmed  that  there  is abundant genetic variation  for  the concentrations of Fe, Zn and other minerals in the germplasm of major crops to justify selection. Despite some reported G x E interactions, mineral traits are generally stable across environments in the above mentioned crops, and it is feasible to combine high micronutrient traits with high yield varieties or combine these genes with other potentially useful agronomic properties more efficiently and rapidly than what the CP could  achieve with markers not yet available or can  achieve unless it incorporates the MAS and uses genetic modifications as tools to test the interactive effects of the desired traits. There is a clear need to reinforce the present strategy by creating the mechanisms necessary for a closer interaction between biotechnologists and breeders.   The Panel  is  somewhat concerned  that  the novel mechanistic  insights being produced will not translate into HarvestPlus CP products (nutritionally enhanced crops) in the short/medium term unless  they  are  applied  in  collaboration with  the  breeders. Unless  the  scientific  knowledge  is used  to  determine  if  the  novel  genes  have  an  effect  on  the  desired  phenotypic  traits  in agronomically  sustainable  crops  and  to  develop  robust  genetic  markers  to  allow  molecular assisted selection  in breeding programs  the program will unlikely be able  to  fulfill  its promise. The Panel recommends that the science discovery laboratories component of the project should be  responsible  for  generating  genetic maps,  new markers, QTL  studies  to  link markers with phenotypes, and thus guide the breeding process. This is essential for the program to accomplish the  combined  breeding  of  nutritional  enhancement  with  agronomic  superiority,  disease resistance and equal or improved economic productivity. In our opinion this needs strengthening in order to meet the timeline for the delivery of nutritionally enhanced crops.   Carefully  test promising  varieties under development  to  establish  that  sufficient nutrients  are retained  in  staples  as  consumed,  and  that  these  nutrients  are  sufficiently  bioavailable  so  that micronutrient status in undernourished people is improved.  For  now  the  HarvestPlus  CP  has  made  significant  advances  in  upgrading  methods  to  test bioavailability  and  to  assess nutrient  interactions  that  affect vit A, Fe  and Zn utilization  from foods. This  is being done  in partnership with major  international research groups  in  the North but with a global scope. The exploration of in vivo methods to define bioavailability is of interest but of  limited value  since  the human model has multiple dietary and physiologic  interactions that can not be appropriately modeled by the in vitro studies. Work in this area should be based in developing strong collaborations with existing established laboratories as is being done more recently.    

 

21 

 Develop  efficient,  accelerated  mechanisms  for  testing  promising  materials  with  farmers, consumers, and other end users, including those in the most nutritionally disadvantaged areas, to identify varieties with superior agronomic, socioeconomic, and end user‐acceptable traits.  This  is  clearly  an  important  area  and  one  in  which  the  CP  is  clearly  making  progress  in identifying the natural variability and the gene/environment interactions that define the nutrient content and nutrient utilization in the end product as consumed by humans. However unless the breeding efforts are effective  in providing nutritionally enhanced  crops  that are agronomically superior and economically advantageous the stated objective will not be met. The requirements for  successful  and  effective  breeding  include  genetic  mapping  of  desired  traits  (gene identification or QTLs), molecular markers  to assist crop selection. Progress  in  this area would have been greater  if  the breeding  effort had been guided by modern molecular biotechnology rather than by phenotypic characterization   Measure  the  nutritional  impacts  of  these  improved  varieties  in  community‐based  studies where these varieties have been adopted. Is there beneficiary ownership? Since for now most of  the potential products are still  in  the development stage,  it  is difficult  to have  evidence  of  direct  ownership  by  beneficiaries.  In  the  case  of  the  carotenoid  rich  sweet potato, the implementation phase contemplates intensive efforts at generating demand; in some ways this is worrisome. The fact is that the program has to spend money and efforts doing this, rather  than responding  to existing demand. The process of generating end user  interest should establish  a  demand  that  is  sustainable  over  time  based  on  consumer  preference,  agronomic superiority and farmers’ economic interest; otherwise it will be a waste of resources. On a more positive note, the fact that 3 major governments (India, China and Brazil) are partnering with the CP  is  strong  evidence  that  there  is  a  clear  interest  in  the  program,  this  is  a  pre  requisite  for effective  demand  for  the  approach  taken  by  the  CP;  the  Panel  considers  that  in  this  case governments are an excellent proxy for social demand.   The Panel examined the scientific productivity relative to objectives and whether the science in the CP overall and in the different components is of high quality and recognized by peers?  The  scientific  productivity  of  the  CP  has  been  mixed  in  some  areas  it  has  an  excellent productivity while  in others  is of  limited value  in  terms of original scientific  findings, multiple publications  to  increase  awareness  and  disseminate  the  potential  of  bio‐fortification. Methodology  reviews  and  manuals  to  disseminate  existing  knowledge  are  of  value  for  the dissemination efforts but do not substitute  the need  for scientific research necessary  to achieve the main  objective  of  the HarvestPlus,  that  is  to deliver nutritionally  enhanced  crops  that  are agronomically superior and economically sustainable.     Science discovery. (excellent collaborators and publications in the carotenoid field) less strong on mineral content of crops (reasonable scientific output).  Translating scientific discovery to enhanced breeding methodology. This particular area needs to be  strengthened  (limited productivity  based  on publications  record  related  to mapping, QTLs and MAS as evidenced  from phone  interviews; however observations during  the visit  to CIAT suggest  that  the  work  is  on  ongoing  but  can  be  enhanced  if  a  specific  effort  in  terms  of prioritizing human resources and funding to this area is made).    

 

22 

Improving bioavailability and utilization of nutrients from crops. Extensive collaborations with Nutrition  Research  Centers  has  great  promise  for  enhancing  knowledge  and  methods  with widespread applications. (Emerging publications in this area in mid to low impact  journals, but there is evidence from abstract that there is potential for increased impact).  Facilitating uptake by end users. Publications  in  this area are emerging  for now  in  the studies document efficacy  in  relevant groups, but not quite addressed  to  the  target group, as a  recent publication in this area by Jan Low shows.   We encourage the HarvestPlus CP to consider including genetically modified or transgenic crops as necessary tools to improve the effectiveness of the breeding program. We will discuss this later in our report, the panel views of genetic modified crops for direct human consumption and agree with  the HarvestPlus  CP  cautious  approach  to  this;  however we  firmly  believe  that  genetic modification is an important tool to enhance breeding process of nutritionally and agronomically enhanced cultivars. It would be important for the HarvestPlus CP to have a clear idea of who to partner with to be able to effectively link modern genomics into the breeding efforts; this may be related  to  the  limitations  that  are  intrinsic  to  the  CGIAR  centers.  This  limitation  should  be resolved as soon as possible.   In fact the latest evaluation of CIMMYT expressed that the center lacked the critical mass in the area molecular genetics, which is essential to the present and future needs of  the CP. The Panel  recommends  that  the CP  strengthen  collaborations with others or explore tripartite arrangements (CGIAR centers, extra CGIAR centers and HarvestPlus CP). The Panel considers that there is clear need to strengthen the breeding program, in terms of applying the use of modern biotechnology in assisting the breeding process. The progress reports need to include key milestones indicators that serve to document the achievements necessary to further increase breeding  efficiency by using  the  relevant biotech  tools  ( Genetic mapping, QTL and MAS).   2.3 Is the potential use of transgenic methods as research tools or in final products  a way to 

improve nutritional value of stable crops?  

The  Panel  concurs with  the  prevailing  philosophy  of HarvestPlus  and  its  three  prerequisites, namely that research on transgenics be initiated only and only if:   (a) natural variation does not exist in the crop germplasm for the targeted nutrients, (b) the micronutrient levels in the crops in question  are  not  sufficient  enough  to  have  a  nutrition‐biological  impact;  and  (c)  transgenic breeding materials would only be sent to countries having in place national biosafety regulatory systems.   The panel considers that the use of gene transfer should be seen as an important tool to achieve nutritionally enhanced staple crops. The addition of genes foreign to a given species (transgenic) to  nutritionally  enhance  crops  has  been well  documented  by  the  success  of  Golden  Rice  in addition gene  transfer allows  for proof of principle by expressing  the gene products of  interest with certainty. It is now over five years since Golden Rice was first discovered/engineered based on transgenic methods; yet it is still not available to meet the needs of target populations. Many years  of  regulatory  hurdles  have  to  be  overcome  before  the  promise  of  golden  rice  is  finally fulfilled; it may be 4‐5 yrs before golden rice is available for common use. This shows that despite the obvious advantage of  transgenic varieties  in  the  time  required  to develop  them  relative  to conventional breeding, the time to reach market might actually be comparable (+/‐ 10 years).  

 

23 

From  the breeding perspective, use of  transgenic  techniques  can  facilitate  the work  in various ways.   Taking  the  example  of  enhancing  carotenoid  content,  since  the  pathways  are  relatively well known,  transgenics  can be used  to modify  components  in  the metabolic pathways. The use of RNAi  (i  for  interference)  serves  to  selectively  silence particular genes  in  this pathway. Recent examples in potato show that silencing of lycopene epsilon cyclase (LCY‐e) responsible for alpha carotene synthesis and  the beta‐carotene hydroxylase  (CHY) responsible  for  transforming beta‐carotene  to  zeaxanthin will  induce  a  dramatic  increase  in  total  carotenoid  and  beta‐carotene contents of potato tubers (Diretto et al. 2007). Although these potatoes cannot be used for human consumption  the  experiments  show  that  by  decreasing  the  activity  of  genes  responsible  for synthesis of other carotenoids (in this case alpha carotene and zeaxanthin), the beta‐carotene can be significantly  increased. These results  indicate  that  in some cases  it may be useful  to develop knockout  alleles  for  genes  responsible  for  breakdown  of  the  product  of  interest,  rather  than trying  to  increase  the product  itself  (in  this  case beta  carotene) by  conventional breeding. The knockout  alleles  can  then  be  introgressed  into  adapted  germplasm  and  expanded  using conventional breeding strategies, but with the advantage of demonstrated effectiveness in terms of  increased  nutrient  content  from  the  transgenic  experiments.    In  the  case  of  zinc  and  iron relatively less is known compared to the carotenoid metabolic pathway. In fact the HarvestPlus nutritional genomics group  is engaged  in studies of genes regulating metal‐homeostasis  in rice.  Studies  to define  the  specific  functions  for  the genes of  interest are underway with promising results in a few cases. The use of transgenics would greatly aid in assigning specific functions and could allow  for a better understanding of  their  specific  roles. This might  lead  to a purposeful manipulation of the genes regulating the metabolic pathways for mineral transfer between roots, plant and seeds for the purpose of enhancing the storage  in the endosperm. The definition and understanding  of  the metabolic  pathways  hopefully will  lead  to  the  identification  of  specific alleles that might enhance nutrition.   However,  this process has  limitations, you  can only do gene  transfer,  enhanced  expression or silencing  of  candidate  genes  you  already  know. Thus,  it  is  important  to  identify  the QTLs  in order  to  characterize  the  specific  genes  affecting  the  traits  of  interest. QTLs will  lead  to  the identification of candidate genes, which can then be used in gene transfer experiments to validate the  gene  and  define  its  function  in  the  plant. As  in  the  case  of  carotenoids,  once  a  gene  is identified  in  species A,  the homologous genes  in  species B, C and D  can be  studied promptly using  transgenics  to  see  if  the  similar mechanisms are  in operation.  In  the case of carotenoids, much of  the  information has been gained  from  the study of Arabidopsis,  this  information  then can be used in studies of the cultivated staple crop species of interest.   The analysis of whether to use transgenic methods should also consider cost related to regulatory processes and intellectual property rights. Given the mission‐oriented nature of the HarvestPlus CP,  and  the  state‐of‐the‐art  knowledge  on  transgenics,  it  would  be  prudent  to  assess  the contribution  of  transgenic  experiments  in  increasing  the  likelihood  of  achieving  the  target  of developing  nutrients‐dense  food  crops  within  the  stipulated  timeframe.  This  is  especially relevant with  the  recent  success  in  the  beta  carotene  enhancement using  genetic modification which serves as proof of concept.  The Panel suggests that HarvestPlus take into consideration all factors that would come into play in its transgenic work, which includes the costs involved in embarking on such an undertaking. 

 

24 

This  reinforces  the  case  for  collaboration with  centers  of  excellence  in  the developed  and  the developing world that are undertaking this type of work.  The Panel  assumes  that HarvestPlus  fully  subscribes  to  the Guiding Principles  on Genetically Modified  Organisms  released  by  Bioversity  International  and  the  CGIAR  Centers’  Position Statement on Biotechnology. It is important that HarvestPlus in the course of its work declares its adherence  to  the  five primary principles which  refer  to  the need  to  ensure  transparency  in all activities related to GMOs.   “GMOs will only be used  to produce global public goods;  that HarvestPlus  take  into  account socio‐economic implications, intellectual property rights and environmental and health impacts; observe  the  highest  standards  of  safety  in  the  conduct  of  laboratory  and  field  experiments, meeting national and international legislation and codes of conduct, and working with partners to  study  the  impact of potential  and  actual gene  flow  from GMOs  to  local varieties  and wild relatives.”   The Panel  suggests  that HarvestPlus  incorporate  the above principles  in a Plan  for Transgenic Outputs which include a detailed description of its strategies, rationale for transgenics use and a plan  of work.  This  document  should  be  shared with  and  preferably  endorsed  at  the  earliest possible  time  by  existing  and  potential  partners,  taking  into  account  local  regulatory  and biosafety guidelines.  Need to consider local regulatory and biosafety guidelines will be necessary for field studies?    In the absence of such local regulations, it is incumbent on the part of HarvestPlus to embark on a program of capacity‐building on biosafety and risk assessment and management specific  to  the nutrients‐dense  traits  of  interest.  As  this  is  an  area  of  interest  among  many  governments including  those  in  the developing countries,  it  is pragmatic  for HarvestPlus  to collaborate with NARS  and  to  identify other  relevant partners  at  the national  level  such  as  the National Focal Point for Biosafety (normally residing at the Ministry of Environment by virtue of its jurisdiction over the Cartagena Protocol on Biosafety).   2.4 Will the HarvestPlus CP have health and nutrition impact?  

The health and nutrition benefits are directly linked to achievement of program objectives. This is why  the Panel  thinks  it  is  crucial  to have  clearly  established goals  in order  to  judge program effectiveness over the short and long term. The Panel considers that it is most realistic to achieve the  first  potential  objective  stated  under  1.3  that  is  “contributing  in  securing  an  adequate micronutrient intake from staple food crops for most people”. This will have a likely benefit on health over the long term. If the CP focuses in closing the gap for vulnerable groups it can expect short term and long term benefits in terms of preventing deficiencies. What the Panel considers most difficult is to effectively impact young children who are presently deficient and in greatest need; the limitations in this case are intrinsic to young children or others living under poverty as already outlined.  The Panel considers the HP will have the greatest long term impact in the general population by contributing  in  securing  adequate  critical micronutrient  intakes,  if we  are  able  to  improve  the micronutrient  content  of  the  food  supply  we  will  have  sustained  long  term  impact.  The alternatives  strategies  (food  fortification  at  a  central  and  home  level;  and  micronutrient supplements) have greater possibility for short  term  impact,  the dose of supplement or  level of 

 

25 

fortification  can  be  adjusted  to  level  of  deficiency  and  to  the  specific  target  populations depending on the context specific needs.   2.5 Are  the  CP’s  key  assumptions  and  expected  impact  pathways  concerning  critical 

scientific  and  technological  constraints,  socioeconomic  conditions,  adoption, markets, researchers’ motivation and donors’ interests appropriate?  

The  Panel  has  reviewed  extensively  key  assumptions  and  impact  pathways  and  consider  the assessment to date has been overly optimistic both in terms of overestimating the contribution of nutritionally enhanced crops as one of multiple factors that condition micronutrient malnutrition (population attributable risk fraction) and also in terms of overall potential impact in terms of the number of lives and loss of healthy life years potentially averted (public health effectiveness).  The donors’ interest so far have been very favorable to the program as an exciting opportunity to test a novel approach, however as will be discussed in chapter 3 there is danger of losing support if the program is not able to deliver products in a timely fashion or if the expectations have been overstated  and  the  real  impact does not meet what  the donors perceived would  be  the  likely impact.   2.6 Is the program aligned with the beneficiaries’ needs, priorities and strategies? 

The first 4 years of the CP have been guided and oriented by the needs of beneficiaries as they are perceived by those involved in the program and the related professional technical staff. Despite this,  the Panel  found no  evidence of direct  input  from beneficiaries being  incorporated  in  the design of the program or of processes in place that would allow for this to occur. Indirectly the NARS might  fulfill  this  role  since  they  are both partners  and beneficiaries of  the CP  and will surely play a key role  in making  the new crops available  to  farmers.  Ideally  input  from NARS should be brought  in  to  the planning of  the work well before  final products are ready  for  field testing. In fact, the ideal crop cultivar to be bio‐fortified is the one that is presently preferred by farmers as considered  in  the breeding strategy of  the CP, because of  their properties relative  to the soil where it will be planted. The best way to secure uptake would be to improve the varieties that  are  already being planted,  this minimizes  the need  for behavioral  change of  farmers  and consumers.    On the other hand, if by beneficiaries we mean the children or women who will benefit from the program, we should think of ways of incorporating both the small farmers and urban poor who might end up consuming these products. There is ample experience that the social, cultural and economic determinants of food choices are more powerful than the nutritional benefits. Even in famine conditions people might starve because their preferred food is not accessible (as the Irish farmers faced starvation because of the potato blight, corn was being fed to the pigs).    In response to a specific question on the potential significance of work on QPM (Quality Protein Maize)  presented  to  the  panel.  The  panel  agrees  that  while  neither  protein  nor  amino  acid deficiencies are presently priorities as global problems in human nutrition, QPM is recognized as superior  food  relative  to  other maize  varieties  that  can  benefit  some  individuals,  specifically young children, at risk of severe malnutrition. The greater direct impact of QPM is on increased availability  of  some  amino  acids  (lysine  and  tryptophan)  on  animal  production.  This  could potentially benefit human nutrition at the population level. The experience in the past with high lysine  opaque  corn  and  multiple  efforts  at  developing  novel  protein  sources  (fish  protein 

 

26 

concentrate,  single  cell  protein  etc)  have  demonstrated  that modifying  consumer  behavior  is extremely  difficult,  access  to  nutritious  food  is  clearly  necessary  but  insufficient  to  secure nutritional impact.   In discussing  this  issue with  the   HarvestPlus Program director    the panel was  informed  that QPM and protein or essential amino acid concentration in the context of QPM are not breeding target traits and are not part of the research agenda. The PAC has been strict and explicit in not allocating any  funds  in QPM. Consequently HarvestPlus does not  invest  in QPM. Breeders use their best elite germplasm in developing bio‐fortified crops by combining those genotypes with micronutrient  dense  sources.  Frequently  the  best  elite  locally  adapted  germplasm  is  in QPM backgrounds, particularly  in  countries  such  as Ghana  or Mozambique which  concentrated  on developing QPM germplasm. Based on the above information, we make no recommendations or suggestions  on QPM  other  than  the  need  for  the  SC  to  acknowledge  that  this  issue  has  been satisfactorily clarified.   2.7 Is the global level the most appropriate level for the program?   

An  international  or  even  better  global  level  for  this  CP  is  essential,  the  need  for  foods with enhanced nutrient content is not only a problem for those who suffer deficiencies, the crops that will be derived from this effort will benefit  humankind as a whole. Virtually all major countries fortify their staple foods with iron to prevent anemia, and many foods in industrialized countries have vitamin A added. The product of this CP is clearly a global public good, thus legitimately the  initiative  should  be  global. However,  the  program  clearly  needs  to work with  regional, national and local partners to avoid duplications, unnecessary conflicts and to promote synergies both in the science and in the implementation of actions that result from the CP.   

 

27 

 3 PROGRAM EFFICIENCY  (IS THIS PROGRAM THE BEST DELIVERY ALTERNATIVE 

RELATIVE TO ALLOCATED RESOURCES?)  3.1 Progress of the HarvestPlus CP  in advancing  the strategic objectives relative  to overall 

resources  and  resource  allocation  relative  to  productivity  in  advancing  the  key objectives of the program.  

The Panel notes the substantive effort of the Nutritional Genomics group and the need to better integrate its work into the breeding activities. With the exception of sweet potato which already has a high level of beta carotene in its germplasm, work in support of the development of marker related  activities  has  been  undertaken  for most  of  the  Phase  1  crops.  The  characterization  of populations  in  terms  of  phenotyping  for  nutritional  content  of  crops  under  various environmental conditions has been undertaken. This will support  the mapping of  the desirable traits  and  identifying  the QTLs or  the  specific genes of  interest. After  four years of work,  the HarvestPlus  teams have  the  characterized populations  of  beans,  rice, maize  and  cassava with enhanced  nutritional  components  and  in  some  cases  advanced  in  collaboration  with  other research centers in identifying the genes responsible for these traits. In rice, for example, a set of 43 genes putatively related  to metal homeostasis have been  identified by 2006, several QTLs of interest have been  characterized A  recent  collaboration between  researchers  in  IRRI and CIAT has  resulted  in  the  design  of  SNP  primers  to  assist  in  a  high  through  put markers  assisted selection  breeding  scheme.  The  Panel  is  assured  of  the  prudence  and  pragmatism  of  the Nutritional  Genomics  Group  to  utilize  the modern  tools  available  on  hand  to  speed  up  the breeding process  and  the willingness  to  expand  its  collaborative network  to  include  expertise which originally may not have resided in HarvestPlus. The Panel recognizes progress in several areas  notably  in  identifying  the multiple  elements  and  interactions  of  factors  that  determine bioavailability and utilization of key nutrients in food crops.   The CP has contributed  in defining  the variable spectrum of nutritional content of carotenoids, iron and zinc  in  food crops,  thus setting  the stage  for  the development of novel varieties with enhanced  nutrient  content;  it  has  also  examined  gene  environment  interactions  that  should facilitate the nutritional enhancement of staple food crops in a sustainable manner.   Notable progress from the nutritional genomics group relative to the support received is detailed below Peter Beyer (Freiburg University) US$1.349.475 • Co‐inventor of golden rice with Ingo Potrykus.  • Proven track record and leader in his field, specifically related to carotenoid enhancement of 

plants. • Outstanding  quality  (and  quantity)  of  publications  in  leading  journals  (Science,  Plant 

Physiology, etc) over last few years  • International team working with him including private sector  Dean Dellapenna (Michigan State University) US$1.098.726 • Has discovered  several key  enzymes  in  the  carotenoid pathway of plants,  including novel 

members and is also leader in vitamin E metabolic pathways • Also has outstanding publication record and is the leader in his area.  • Also has international team with multiple collaborations.  

 

28 

These  researchers  are  two of  the  top people  in  their  field working  in very  similar  areas, with significant  complementary overlap. Dellapenna  research  scope  includes  tocopherols/vitamin E; both are outstanding scientists and provide excellent scientific support to HarvestPlus in the field of carotenoid metabolism in plants.   Michael Grusak (USDA, Baylor College of Medicine) US$1.081.600 • Plant physiologist specializing in iron and zinc status in the plant. • Many of the publications  listed  in the HarvestPlus summary are for Medicago truncatula, a 

model legume species and there is some work in crops.  • Publication record is very good category; Abstracts presented at recent meetings show that he 

is currently working on several projects related to Zinc and Iron uptake and remobilization. Also currently working with Gpc‐B1. 

• All in direct relationship with the needs of the HarvestPlus program    Naoko Nishizawa (Japan Contract‐ University of Tokyo) US$200.000 • Expert who has helped elucidate the role of nicotianamine in the transport of Zinc and Iron in 

xylem and phloem.  • Very productive lab that is doing high quality research in zinc and iron transporters in rice, 

barley and other agronomic species. • Publication record is top‐notch in high impact journals (Nature Biotech, PNAS, Plant Journal)  • Excellent scientist to have in project since he has worked in this area full time over his career.   Janette Fett (Brazil Contract‐ FAURGS) US$200.000 • Working on Iron‐Zinc transporters in rice, few recent publications. • Most  of  important  publications  have  come  in  collaboration  with  Mary  Lou  Guerinot 

(Dartmouth);  small  contract  in  an  important  topic,  resources  allocation  in  line with  initial phase of her contribution.  

 General Comments The group should generate basic scientific knowledge to allow new target genes to be identified. The scientists on the list are some of the leaders in nutritional genomics worldwide (specifically Beyer, Dellapenna and Nishizawa). Major contributions are in carotenoids and zinc/iron uptake and transport in plant. This is in close agreement with HarvestPlus priority nutrients (Vitamin A, Zinc and Iron).    The  focus  in  terms  of  funding  level  up  to  now  has  been mainly  on  breeding  objectives  and bioavailability  of  critical  nutrients  from  relevant  crops,  some  resources  are  funding  nutrient utilization studies and nutritional assessment but little has been spent on testing best practices to facilitate  end  user  uptake.  This  is  not  unreasonable  given  the  stage  of  development  of  the program.   The specific details of partnerships within and beyond the HarvestPlus CP will be addressed in chapter 4 (Partnerships) including the relative contributions to the progress of the project of the main collaborating centers. The breeding objective group productivity is analyzed under 4.2 and the productivity of the breeding of Phase I crops under 4.2 (see these sections for further details).  The focus will most  likely will change as new crops come  to  the  implementation face. For now the  orange  flesh  sweet potato  is  serving  to  test  the CPs  capacity  to  implement  a  vegetatively propagated  crop with  a  visible micronutrient  trait  at  the  farmer’s  level.  In  this  case  the  CP 

 

29 

benefits from having an experienced team that has been working on this for nearly 8‐10 yrs, well before the CP came into being.   The Panel recommends that the science base effort necessary for efficient breeding methodology should be strengthened. This  is essential  to secure crops with enhanced nutritional  traits  that will  also  combine  superior  agronomic  traits,  this  approach  is  needed  to  establish  a  clear economic  advantage  in  growing  the  new  crops  and  thus  assure  sustainable  use  of  the  crops developed by HarvestPlus.   The Panel  is  concerned  that despite  the  excellent  scientific knowledge being generated by  the nutritional  genomics  group  the  breeding process  and  the  final products  could not  yet  benefit sufficiently from the science. HarvestPlus has established linkages between the high level science and what  is being done by breeders but  additional  efforts will be  required  to  ensure  that  the science  and  new  knowledge  related  to  mechanism  of  uptake,  metabolism,  distribution  and transport  of  nutrients  by  plants  is  being  translated  into  breeding  the  new  crops.  Efforts  by specific members of the scientific team with the capacity to contribute in the translational phase of  the  work  to  the  breeding  process  need  to  be  strengthened.    The  level  of  science  being conducted is likely too complex for traditional breeders to utilize directly unless there is an effort of  translating  this  into  practical methods  to  follow  and  tools  to  utilize.  Breeders may  have difficulties in the incorporation of molecular markers for MAS. This issue was further discussed at  the  time of a visit  to CIAT by one of  the panel member. The CIAT  scientists and managers acknowledged the need for strengthening the interface between biotechnology and breeding.  3.2 Other program achievements 

The program has contributed  indirectly  to  the achievement of other  important objectives,  these include: • Enhancing the awareness for improved food quality in addressing nutritional problems.  • Identifying  gaps  in  our methods  to  assess  nutrient  bioavailability  from  staple  crops  and 

contributing in developing new approaches to evaluate it.  • Applying  low  cost  high  throughput methodologies  to  screen  crops  at  various  levels  for 

nutritional  content,  starting  from  the  field  to  the  refined  analytical  labs  (especially  for carotenoids). Near  Infrared  spectrometry  (NIRS):  high  precisions  calibrations  has  been developed  for minerals and pVAC  and NIRS  implemented at CGIAR Centers;  calibrations developed  for  Phase  II  crops.  Colorimetric  high‐throughput  staining  techniques  will  be further developed and  implemented at  ICRISAT, CIMMYT,  IRRI and selected collaborating NARS. 

• Renewing and enhancing the interest of donors in food based approaches to the prevention and control of micronutrient deficiencies.  

• Attracting  agricultural development  centers of  large  countries  (China,  India  and Brazil)  to invest in research and development of nutritionally enhanced staple crops.  

• Simulation/modeling:  in  a  joint  project with  Generation  Challenge  Program  and  Chinese Academy  of  Agricultural  Sciences,  Beijing.    Simulation  will  be  applied  to  assess  the cost/benefit  of  conventional  and  molecular  marker  assisted  breeding  for  minerals  in comparisons of different breeding strategies. 

    

 

30 

3.3 Is there competition with regional, national or local programs (subsidiarity principle)?  

There are clearly multiple actors in the field of provision of micronutrients, several in the area of food fortification in various manners, directly included during processing of foods such as wheat during milling or sugar during packing while others prefer the home level fortification by adding micronutrients  to  condiments  such  as  salt  or  use  a  combined micronutrient mix  to  be  added before the food is consumed.   This  is  a  crucial  issue,  since  there  are  indeed  successful  universal  fortification  and  targeted supplementation programs in place which in many cases are doing a good  job at delivering the micronutrients. However the CP is intended to reach where these do not reach and in the future to  be  an option  that  in  some  cases might  be more  cost  effective. The  cost  effectiveness  of  the alternatives proposed  by  the CP  in  the  long  run may  be  as  or more  effective  for  less money. Presently  the  theoretical  models  indicate  that  bio‐fortification  may  be  less  costly  and  more effective than supplementation provided it can deliver the necessary amounts in a way that the micronutrients are well absorbed and safe.   The tables provided in Annex 8 provide the type and amount of nutrients that can delivered by fortification considering for each food matrix the level of fortification and type of fortificant used the proportion of daily need that is provided for each nutrient and the cost per year. For example the costs of providing 100% of the mean requirement for retinol as fortified oil is about US 5 cents per person per year, while for sugar is almost double that amount. The costs of adding (Retinyl Palmitate,  Thiamin,  Riboflavin, Niacinamide,  Pyridoxine,  Folic Acid Vit.  B‐12  iron  as  ferrous fumarate and Zinc as oxide)  to  refined wheat  flour  to cover 50‐90 % of needs according  to  the nutrient  is  about  3  cents  for  each  nutrient  per  person  per  year,  similar  costs  are  given  if maza/maize  flour  is  used  as  the  food matrix.  An  alternate  approach  is  based  on  the  use  of reconstituted micronutrient fortified cereal grains (rice) [Nutririce or Ultrarice] providing 50 % of daily needs Vitamin A, Vitamin B1, folate, Niacin, Vitamin B12, and Iron in 200 g of rice at a cost of an additional 2‐3 % the cost of the rice or 0.3 to 0.7 US$ per person per year.   International  (WHO/FAO)  public  and  private  (GAIN  Global  Alliance  for  improved  nutrition funded by Gates) and national  initiatives  supporting micronutrient  fortification of staple  foods are in place in most countries. HarvestPlus should work in close interaction with these programs, since they will be competing at the national level for the limited human resource base needed to support local actions and potential would compete for government resources in terms of scaling up to cover the population at large.      Of  greater  concern  is  the  apparent  parallelism  and  potential  for  antagonism  between  the HarvestPlus CP  and  the Bioversity  International  Initiative  (former  IPGRI), part  of  the CGIAR system. The proposal from IPGRI is the use of agrobiodiversity for dietary diversity and poverty reduction.  Integration  of  food‐based  approaches  based  on  diverse  plant  genetic  resources  can move beyond  the single nutrient, staple  food,  interventions  that  in  the past have made health, nutrition,  and  food  security  programs  difficult  to  sustain  and  manage  locally.  With  the perspective  of  bioversity,  bio‐fortification  strategies  can  be  considered  as  a  component  of  the solution when they are practical, cost effective, ethical, and culturally appropriate to address the fundamental determinants of undernutrition.   

 

31 

In order for bio fortified foods to have a positive impact, the introduction of enhanced genotypes must be  complemented with  conservation  and greater use of  traditional  forms of biodiversity that needs to take into account: 1. broader nutrition and health needs, 2. the  sociocultural,  economic  and  political  context  in  which  people  undertake  their  

development and livelihood decisions, 3. the need to promote improved economic self‐sufficiency of poor farmers, 4. the need to secure long term sustainability of agricultural and food systems.  During the visit of one of the panel members to CIAT there was an opportunity to review within the same institution, CIAT complementary activities related to the HarvestPlus CP, the Bioversity initiative, and a specific Canadian CIDA program AgroSalud (AgriHealth) in Latin America  with close or nearly  identical objectives but  run  in parallel. AgroSalud  involves  the work of CIAT, CIMMYT,  CIP  and  Embrapa  and  NARS  in  Latin  America  and  is  a  linkage  program  to HarvestPlus  reviewed by an external panel commissioned by HarvestPlus every 18 months.  In addition  a  panel member  had  the  opportunity  to  see  at  a  recent  nutrition meeting  in Africa respective  parallel  symposia  by  the  Bioversity  and  HarvestPlus  program  and  clearly  in competition with each other. Since these programs are all within the scope of the CGIAR system, they  should  at  the  very  least  be  harmonized,  ideally  sufficiently  coordinated  to  gain  in  their synergy  and  avoid  unnecessary  confusion  and  competition  for  the  national  or  community partners.  The Panel suggests that the CGIAR Alliance establish the appropriate mechanisms to support synergy and complementarity of the CGIAR food based approaches to improve micronutrient nutritional status (HarvestPlus and bioversity) and generate the organizational structure to support these worthy objectives.  3.4 Is there a value added, comparative advantage of this programs compared to other global 

or regional programs?   

The overall value added by  the program  is  in principle reasonable, although some components are clearly not as competitive as others. The two highest budget items in the breeding objectives are provided as direct unrestricted grants, their productivity over the past years is relatively low, in  low/middle  impact  journals  and  refers  mostly  to  topics  unrelated  to  the  key  breeding objectives  of  the CP.    The  nutrional  genomics  component  adds  good  value  and  has  excellent scientific productivity. Overall  judgment is that there is great promise but not much in concrete output to date in terms of high impact scientific developments. The potential value added from the  application  and  end  user  side  are  yet  unrealized,  the  initial  studies  in  school  children provides great expectation  that  the high carotenoid orange  flesh sweet potato will demonstrate the CP’s capacity to impact community level nutrition, specifically mothers and young children. The work  on  testing  bioavailability  and  final  impact  of  the nutritionally  enhanced  crops  is  in progress  so a  final  judgment on whether  the HarvestPlus CP will deliver  the  expected  results must be left pending.   3.5 Donors’ perspective on overall program (strengths and weaknesses).  

The Panel had the opportunity to discuss strengths and weaknesses of the HarvestPlus CP with the  three  major  donors  by  personal  visits  and  discussions  and  in  other  cases  by  phone conversations. All donors considered that the problem of micronutrient deficiencies was indeed 

 

32 

important and that more than one approach was needed to adequately control and prevent these conditions under different contexts.   Most were extremely excited by the promise of the HarvestPlus CP of contributing in the control and prevention of micronutrient deficiencies by providing nutritionally enhanced  staple crops. Most donors  saw  the program  as one of  several potentially  effective  strategies  that  should be considered depending on context.   Relative Strengths:  The  program  offers  an  exciting  opportunity  to  support  food  based  approaches  to  control micronutrient deficiencies in a sustainable manner with long term impact.   The World Bank  (WB) valued  the CP and  thought  it helps make  the CGIAR more effective, as new way  of doing  things,  in multidisciplinary  approaches,  and  serves  as  a model  for  greater interaction between centers and contributes in fulfilling the CGIAR’s mission.   Gates expressed continued  interest  in supporting  the CP  in  its  future development considering the potential  impact and  the outstanding  leadership of  the CP. What  is pending  is defining  the appropriate  level  of  support  especially  given  the  various  competing  alternatives  strategies  to improve micronutrient nutrition. Gates has recently shifted the management of the HarvestPlus CP from health to agriculture. This may modify the strategic value of HarvestPlus and the level of support in the future. Gates considered that the level of support would most likely be similar to present levels.    The Panel considered that overall the CP is doing extremely well in terms of fund raising and in keeping donor’s interest. However the interviews serve to document the need for the program to define more clearly what it can be held accountable for in terms of deliverables and impact over the  short  and  mid  term.  If  expectations  for  short  term  impact  in  terms  of  controlling micronutrient deficiencies are not fulfilled there could be a critical disenchantment with the CP and potential loss of interest and support. This is discussed in more detail under finance section.  Presently  there  is  great  dependence  of  the CP  on  one  or  two major  donors,  there  is  need  to diversify the funding for the program spending more efforts in diversification, this may require that  the  fund raising effort be shared by several of  the program  leaders and not dependent on any one person exclusively.   Relative weaknesses There was concern expressed by some on the capacity of the program to deliver on its promise, others  were  concerned  on  the  expansion  to  phase  two  crops  without  clearly  demonstrating efficacy on phase  I  crops. The possibility of  limited uptake by  farmers  and national  level  end users was also an  issue for others; historically multiple “high  tech fixes” have failed because of lack of uptake by end users.   The  behavioral  issues  that  define  the  foods  consumed  were  according  to  some  not  fully acknowledged in the program design and implementation. Past failures in changing people food cultures were brought  into  the discussions. Most considered  that  fortification of staple foods at the household level for rural populations and at the central level for urban populations was not only  most  effective  but  also  most  cost  effective  on  the  short  term  considering  there  were 

 

33 

immediate needs that required urgent attention. The capacity of delivering the required levels of nutrients by bio‐fortification was also questioned by several donors’ technical staff members.    USAID  expressed  the need  to  incorporate donor  input more  effectively, provide  feed back on progress  and  to  enhance  interactions  with  other  complementary  approaches  to  improving micronutrient  nutrition.  The Nutrition Group  at USAID was  concerned with  the HarvestPlus timeline to deliver products, nutritionally enhanced crops, which could in fact fulfill the promise of  measurable  nutritional  impact.  There  was  concern  that  the  program  might  be  siphoning resources in a disproportionate manner and restricting available support to other alternatives of established effectiveness. On  the other hand  the agricultural group at USAID was pleased with the ongoing relationship with the HarvestPlus program.       The Panel suggests that reporting to donors be programed in a manner that is less disruptive of the work  of  the  team  leaders,  ideally  the  donors  should  evolve  into  becoming  development partners so that they fund components of the   HarvestPlus CP that are in accordance with their planned  investments  in  a  sustainable manner.  Having  a  set  of  pre  scheduled meeting  with developmental partners/donors (once or twice a year) with discussions that incorporate feedback from  them may  be  in  the  long  run  beneficial  in  enhancing  support  and  securing  sustainable partnerships. This  is perhaps  a more difficult  approach  to  raising  funds  than presently  being used but is likely to be more secure over time.   3.6 To what extent should resources be applied to completing the work with Phase I crops 

versus expanding to Phase II?   

This is an important point that needs to be assessed relative to overall objectives and the strategy. As  indicated  in  preceding  sections  this  project  is  predicated  on  the  ability  to  produce nutritionally enhanced staple crops with additional agronomic advantages.   So far  this objective has not been achieved by  the HarvestPlus CP,  the OFSP as a source of pro vitamin A was developed prior to HarvestPlus. Thus it would seem sensible to first demonstrate to  its  fullest  the capacity  to address Phase  I crops since  they constitute  the main crops  feeding humankind. Resource allocation should focus on strengthening the science base for breeding and into translating this knowledge  into products. The solid approach to this is mapping of desired traits  (related  to  nutritional  enhancement  and  agronomic  advantages),  establishing  QTLs, identifying genes and markers  to be used  in MAS. The HarvestPlus CP should demonstrate  its capacity to deliver the main object of its work.   It is true that the CP has succeeded in attracting funding to undertake efforts in both Phase I and Phase II crops, but this by itself should not be considered a measure of success. Expanding a yet unfulfilled  promise  may  potentially  backfire  since  the  CP  sooner  rather  than  later  will  be accountable  to stakeholders  in  its capacity  to deliver. This  is why  it  is also  important  to clearly state  what  are  the main  goals  of  this  program;  if  it  is  the  first  alternative  posed  under  1.3 (enhanced nutrition security for all) or the second 1.3 (contribute in filling the micronutrient gap in  vulnerable  populations);    these  are  achievable  goals.  If  the  promise  is  conquering micronutrient malnutrition then the Panel considers it will be unfulfilled based on the available evidence and progress to date.  The Panel strongly recommends that the CP focuses its next phase (2‐3 yrs) in demonstrating its capacity to deliver nutritionally enhanced crops that will have measurable effects on nutritional 

 

34 

status of vulnerable populations. Expanding to Advancing in Phase II crops will not resolve the urgent  need  to  enhance  translational  research,  taking  discovery  (by  HarvestPlus  or  in partnership with others) to products that fulfill the promise of improved nutrition. The program needs  to examine how  to make breeding more effective, by developing and applying molecular markers, both in terms of money and time; and prove that it can deliver what it has promised. The Panel thinks that it is time the CP effort concentrates in phase I crops and demonstrate what the program will do to its fullest in these, rather than expand thinly and broadly without a clear focus on deliverables.  

 

35 

4 PARTNERSHIPS  Considering  the  critical  nature  of  partnerships  for  the HarvestPlus  CP  the  Panel  has  placed several of  the key  issues  relative  to partnerships  in  a  separate  chapter.  In general  these  items address  the need  for stronger partnerships  in order  to allow  the CP  to concentrate  in where  it adds value. The Panel also examined potential need for partnerships beyond the CGIAR system that can provide synergies and help advance the HarvestPlus objectives  in a cost effective way.  The need to strengthen monitor and evaluation is included under chapter 5.  4.1 Should the program reach out more to new partners, e.g. NARES and outside CGIAR?   

HarvestPlus  has  a  total  of  46  institutional  partners  that,  at  some  point  in  time,  have collaborated with (and received funds from) the Challenge Program (Annex 9).  Based on total cash disbursements for research from 2003‐2006, the following ranking in terms of research  funds  received  per  institution  can  be  compiled.  As  can  be  seen  from  this  chart, HarvestPlus focuses its funding on a group of 5 to 10 key partners, receiving 52% (top 5) and 80% (top 10) of the total research funding of 25.2 million US$ from 2003‐2006.  

Table 4.1. Partner ranking in terms of funding for research 

Rank  Name of Institution  Research disbursement share 2003 – 2006 

Research disbursements  2003 – 2006 In million US$ 

1  IFPRI  16%  4.1 2  CIP  10%  2.5 3  CIAT  9%  2.3 4  CIMMYT  9%  2.2 5  USDA  8%  2.0 6  IITA  7%  1.8 7  IRRI  6%  1.5 8  University of Adelaide  6%  1.4 9  Michigan State University  5%  1.2 10  University of Freiburg  4%  0.9  The Panel suggests that the HarvestPlus program strengthen partnerships with research scientist conducting  genomic  research  on  the  phase  I  crops.  This  is  needed  to  obtain  the mapping  of nutritional and agronomic desirable traits. The mapping of QTLs and or specific genes linked to these traits and the respective molecular markers should further increase the chances of success and the efficiency of the breeding effort.  There  are  several  research  networks  in  place  addressing  exactly  these  topics  (the  USDA  is investing on wheat and  rice, addressing mainly agronomic properties  see  section 4.3). The CP could  contribute by adding  the  corresponding nutritional  traits  to  these  crops and gain  in  the process since there is no need for exclusivity since the research is funded with public resources it should be made available to those in greatest need.   The  value  for  money  of  this  CP  should  be  more  specifically  targeted  to  the  breeding  of nutritionally enhanced crops that are effective in improving nutritional status and in defining the 

 

36 

best way to reach end users mainly NARES and farmers only to facilitate the uptake as proof of principle.   Partnership with NARES  in  the breeding effort would be  ideal, as appears  to be  the case for India, China and Brazil. This will help to achieve sustainable results. The USDA wheat and rice (Coordinated Agricultural Projects) CAPs, which have similar objectives in terms of the science  and  the  application  of  genomics  to  breeding  programs  offer  a  unique  opportunity  to increase value for money since the USDA effort at present is not focused on nutritional objectives.   The Panel considers that the effort to recruit the best science within the CGIAR but also make use of every possibility to synergize with existing efforts outside the CGIAR, promoting partnerships in  competitive bidding  (about 1.25 million or 5 %  is done by competitive on  the basis on cash disbursement of 25 M to the end of 2006) helps to strengthen the science. If the ground rules are set appropriately, the bidding process can help to establish partnerships that include developing countries, thus contributing to capacity strengthening and greater uptake by the end users.   4.2 What has been the added scientific value from the CP; in particular, by the partnerships 

represented by the CP?  

“Breeding Objectives Subprogram”: US$ 3.388.960  This subprogram was originally conceived as an upstream research effort that would investigate new strategies for optimizing the constraints to achieving HarvestPlus goals of breeding nutrient‐dense staple crops. Specifically, first, it was intended to assist breeders to assay the bioavailability of Fe in breeders’ lines using in vitro cell cultures and animal models; its second objective was to identify more efficient ways for breeders to enhance the nutritional content of crop plants such as exploring, among others, the role of inulin and carotenoids in promoting the  bioavailability of Fe and Zn.   The  key  researchers  are  Graham  and  Stangoulis  from  Univ.  of  Adelaide  (US$2.047.415)  and Welch from USDA‐Cornell (US$2.258.208). Ross Welch and Robin Graham are both distinguished researchers who have championed the case for bio‐fortification since the 1990s and the Panel was informed  that  their  work  has  been  a  source  of  inspiration  and  provided  the  scientific underpinning for HarvestPlus CP.   It  is  in  that  context  that at  the outset of  the program, a  significant amount of non‐competitive funds was disbursed to the PSNL in Cornell and the University of Adelaide respectively. Welch is  leading an active  research group  trying  to develop  tools  to make breeding more efficient by incorporating  the  two  strategies mentioned  above.  His  scientific  leadership  of  the  project  is demonstrated  by multiple  key  review  articles  on  the  subject  and  also  by  a  steady publication record  from  the  inception of  the project until  the present  time; more  than 20 articles have been published in reputable journals by this group. The Cornell Group under Welch is also involved in technology  transfer and  training of  researchers particularly  from developing  countries  such as China, Colombia, Nigeria, Thailand and Peru.   The Adelaide group (Graham and Stangoulis) list 20 publications in the 5 year period, many are not fully related to the HarvestPlus objectives. Twelve of them have to do with selenium toxicity, or selenium accumulation  in wheat, with no mention of zinc,  iron or carotenoids. Two of  them are reviews or proceedings  from meetings. Six publications address  the HarvestPlus objectives. These publications are on the right track, with a QTL study on zinc/iron content in rice, screening methods for zinc/iron and carotenoids in crops and general diversity studies. However six out of 

 

37 

twenty    publications  directly  related  to  the  HarvestPlus mission  over  5  years  is  considered insufficient taking into account the over US$2 M in funding.  Subsequent  phone  interviews with  the Cornell  and Adelaide  groups  reported  that  additional papers directly related to the HarvestPlus CP are in press or have been submitted for review. In addition the Adelaide Group is active in developing capacity building analytical laboratories for HarvestPlus collaborators  in  India, Nigeria, China, Mexico, Colombia and  the Philippines. The technical assistance and support  to  the HarvestPlus crop  leaders has been an  important part of their effort. For  instance,  they have contributed  to  the establishment at CIAT of a  laboratory  to analyze minerals and contributed to the design of the equipment necessary to ensure there was no contamination of Fe and Zn during the sample preparation process. The Panel is appreciative of the scientific and leadership inputs from the Cornell and Adelaide Research Groups since the beginning of the HarvestPlus CP and looks forward to their contribution as the program expands and enters its new phase. These groups could play a pivotal role in training and capacity building of young researchers from developing countries.  

 Partnerships for breeding of “Phase I Crops”  Each  major  crop  has  received  between  US$1.5  and  US$2.5  M  over  5  years  to  enhance  its nutritional quality. This  is  roughly ~US$400.000 year/ crop  to  the different CGIAR  institutions. The  funds provided  for each crop  studied by  the CP  seems very  reasonable  for  the objectives, considering that additional funding sources likely exist for each crop. Therefore, the US$400,000 /year should be used specifically  to  implement strategies  to  increase carotenoids, zinc and  iron contents in the grains.  While scientific output is not outstanding based on publication records, the measure of success in this case should not be research papers but the actual new crops, product of the breeding effort. The Panel is somewhat concerned with the limited documented novel scientific output over the initial  4  years.  The    publications  of  original  research  over  this  period  directly  linked  to  the HarvestPlus CP are limited in quantity and of rather low scientific impact if one assesses the ISI impact rating of the journals where these are published  [wheat (5), maize (1), cassava (4), rice (0), beans (0)  and sweet potato (1)]. There are multiple other outputs of research information such as proceedings from meetings, and abstract but these represent outreach and dissemination efforts that  contribute  little  to  the  science  base  needed  to  support  the  breeding  objectives  and implementation  of  novel  methods  required  by  the  breeding  centers.  After  several  years  of funding,  there should be more visible results  for  the different crops such, as QTL analysis and molecular/genetic maps with markers linked to the traits that will allow more efficient breeding.   This serves to highlight a potentially significant weakness in the science base of the CP, that is the clear  need  to  strengthen  the  link  between  the  basic  research  described  under  ‘nutritional genomics’ with the application tools necessary for a more effective breeding process. The Panel considers  there  is  a need  to  incorporate molecular markers  to  assist  the breeding process  and make if more effective. A stronger link between the nutritional genomics and the breeding effort will  strengthen  the  ambitious  breeding  objectives  in  terms  of  nutritional  enhancement, agricultural  superiority  and  economic productivity  can  be met without  strengthening  the  link between the nutritional genomics and the breeding effort.     

 

38 

4.3 How  do  program  costs  (or  cost  per  achieved  output/outcome/impact)  relate  to  other benchmarks?  Is the cost per output/outcome/impact reasonable?  

For  comparison  of  this CP  the  Panel  examined  and  reviewed  the USDA wheat  and  rice (Coordinated  Agricultural  Project)  CAPs,  which  have  similar  objectives  in  terms  of  the science  and  the  application  to  breeding  programs  http://www.uark.edu/ua/ricecap/ http://maswheat.ucdavis.edu/ . The USDA finances wheat and rice CAP projects in the US at a level of US$ 4‐ 5 Million over a 4 year period (~US$1.25 M per year/crop). This is divided into 15  laboratories,  receiving  less  than US$100.000 per year  if you consider overhead  (indirect costs):  • The CAP programs have 16 and 14 publications respectively in 2006‐07, all directly related to 

breeding  of  wheat  and  rice  respectively,  QTL  analysis,  phenotypic  characterization  of accessions and generation of novel markers for traits of interest. This type of work is vital for the  effective  translation  of  basic  science  into  breeding  as  it  generates  the  necessary  tools required for a more targeted breeding. 

• For the wheat CAP project, there are currently 17 groups mapping populations, each looking at multiple phenotypes  in  to achieve an accurate mapping of  the QTL  linked  to  the specific traits. This  is parallel  to germplasm  release and other work being  carried out. These maps serve to yield new markers for yield, disease resistance, quality, etc that can be used directly in breeding within the next few years. Nutritional quality is not seen in the CAP program as a major  aspect  and  was  has  not  been  incorporated  in  the  objectives.  This  offers  a  unique opportunity for the HarvestPlus CP to explore synergism.  

 4.4 What has been achieved by the CP that could not have been achieved without it, through 

Center activities or SWEPs?   

The Panel noted  that HarvestPlus CP has  several  innovative  features which  sets  it apart  from other undertakings in the CGIAR system. For example, the governance and matrix management structure  in  place  facilitates  the  flow  of  information  across  crops,  disciplines,  cultures  and institutions  thus  minimizing  duplications,  learning  from  best  practices  developed  elsewhere within  the  program  and  enabling  the  sharing  of  new  scientific  findings  derived  from  cross‐disciplinary  exchange  of  perspectives  and methods.  The  Panel  agrees  that measures  of  cost‐effectiveness  could be  enhanced by  closer  coordination of work on  several  crops.  for  example relating the gene discoveries on the regulation of Fe and Zinc translocation from plant to seeds in wheat to those in rice and vice versa.       HarvestPlus mission‐oriented research focus on concurrently using conventional plant breeding and molecular biology on one hand and human nutrition and food science on the other to bring about  nutrient‐dense  staple  foods  for  the  under  privileged  of  the  world  is  a  path‐breaking approach that is worthy of emulation by other researchers working on issues of pressing global importance. This mission oriented work, taking the best science has to offer in improving human nutrition, health and well being should serve as a model for others to follow.   The  Panel  views  positively  the  extensive  network  of  some  sixty  research  and  implementing organizations in over forty countries developed by HarvestPlus since its establishment. It is also noteworthy that this network is multidisciplinary in nature bringing together diverse disciplines ranging from human nutrition, food science, plant breeding, molecular biology, economics, farm extension, and communications.   

 

39 

 4.5 Is  there  any  evidence  of  synergies  and/or  new  modes  of  operation  of  the  Centers 

involved in the CP? Can these synergies be improved?   

Synergies among  the Centers  involved are already built‐in early on with  the core management structure  of  HarvestPlus  ‐  the  Program  Management  Team  (PMT)  being  based  at  the  two cooperating  centers,  namely  IFPRI  (Nutrition,  Impact,  Communications)  and  CIAT  (Plant Breeding, Nutritional Genomics, Reaching End Users). The Program Director is based in IFPRI.   These  strategies  are  further  strengthened  by  the  coordinating  roles  of  the  functional  research leaders  of  the  above disciplines  across  the  six Phase  1  crop  groups. One  facet  of  the CP  that would  ensure  the  delivery  of  the  final  product  is  the  10‐phase HarvestPlus  Impact  Pathway which  includes phases of  research, development and dissemination. While  such  strategies and new mode of operation are commendable, the Panel recommends that further steps be explored to  ascertain  that  the  final  product  be  eventually  acceptable  to  the  target  groups,  namely  the farmers that are going to be growing the crops and the consumers of such nutrients‐rich staples. Without their early buy‐in, there is always the prospect of such products not being acceptable to the intended users.   To what  extent  and when  should NARS  be  involved  in  adaptive  and  participatory  breeding activities of the promising varieties?   As discussed under who should be the end users of the CP, the Panel strongly recommends that the CP consider the NARS as the end users of its product (nutritionally enhanced crops) and thus include the NARS from the early stages of development to the implementation in pilot projects with farmers. This partnership is essential to enhance potential for sustainability of the effort and is most cost effective. An early and on‐going engagement of HarvestPlus with stakeholders and target recipients of its research outputs is not only desirable but absolutely crucial.      The Panel considers the partnership with the NARS as an essential component of implementation process;  interaction  with  NARS  should  start  early  incorporating  members  of  the  national agricultural research community in the design of the new crops and training NARS staff so they can adequately support the  implementation during the pilot phase and  in the expansion phase. NARS should also be involved wherever possible in the evaluation of the nutritionally enhanced crops for agronomic properties and in gene/environment optimization processes.   4.6 Policies regarding intellectual property?  

As the products of HarvestPlus are global public goods, all intellectual property arising from the CP must be freely available for use in developing countries. Participating institutions must agree and  sign  such  Agreements  prior  to  receiving  any  funds.  The  Panel  takes  note  that  a  PAC committee has been  formed  to consider a reformulation of  the HarvestPlus  IPR strategy which would be based on many elements of the Generation Challenge Program structure.    HarvestPlus,  and  specifically  the  PAC,  has  spent  considerable  effort  on  clarifying  the International Public Goods (IPG) nature of  its program outputs. The original program proposal also addressed this point. While recognizing that the absence of a legal HarvestPlus entity would not  allow  direct  Intellectual  Property  (IP)‐related  agreements  between  HarvestPlus  and  IP‐owners in the private and public sector, the original proposal defined a series of requirements on how  Intellectual  Property  Rights  (IPR)‐protected  program  outputs  owned  by  one  or  more 

 

40 

collaborators would be handled, including publication and royalty‐free and unrestricted access to the outputs through a licensing agreement. Subsequently, the PAC has revisited and updated the HarvestPlus IP‐policy  in almost every PAC meeting,  leading  to  the currently valid HarvestPlus IP‐policy  (see Governance and Management Handbook)  that  is  largely  in  line with  the original policy but contains a few adjustments.   Firstly, while  IP‐ownership  remains with  the  collaborators  that developed  it,  the  royalty  free, irrevocable,  perpetual, worldwide,  non‐exclusive  license  (for  non‐commercial  purposes  only) allowing access  is restricted  in a first step  to CIAT and IFPRI who  then also obtain  the right  to sublicense to all other present and future HarvestPlus collaborators under the same conditions.  Collaborators obtain the right to commercialize the Challenge Program IP in one or more of the “More Developed Countries and Territories”.  In  this case, a  royalty  fee needs  to be negotiated and is payable to HarvestPlus.  The Panel did not  assess  the  current HarvestPlus  IP‐policy  in great detail.  It  seems, however, obvious  that  the  IPG  character  of HarvestPlus  outputs  has  been  clear  from  the  outset,  albeit reduced  to Regional Public Goods  (RPG)  targeted primarily at  less developed  countries  in  the case of commercialization. As recommended in the governance and management sections of this report, the Panel encourages HarvestPlus to update the Governance and Management Handbook (that  contain  the  current  IP  policy)  because  recent  PAC  meeting  minutes  indicate  that  the discussion has moved further forward since the Handbook was last updated (in May 2005). 

 4.7 Are  the rules and mechanisms for commissioned research  transparent? Is  there a well‐

established,  clearly  defined  and  transparent  internal  control  environment  on implementing competitive grants? 

The  HarvestPlus  original  proposal  differentiates  between  commissioned  activities  and competitive grants. Commissioned activities  include  those undertaken by collaborators  in areas central  to  the  core program pillars of nutrition, nutritional genomics, genomics, breeding,  and policy  analysis.  Some  central program  services,  such  as  sample  analysis  and plant  nutritional pathway elucidation, will also be commissioned by the program to ensure consistency of results and  obtain  efficiencies  of  scale.  Competitive  grants  are  awarded  in  open  competitions.  An important aim of these competitive grants is to widen the pool of developing‐country institutions and  networks  participating  in  the  Challenge  Program,  thus  building  national  and  regional capacity  in  the  target  regions  of  the  program.  The  PAC  will  determine  a  process  for administering  these  open  competitions,  including  peer  review  mechanisms,  to  ensure independence and transparency in the awarding of the grants within the Challenge Program.  The original proposal  sets  a  target  that  25% of overall program  funds  to be  awarded  through competitive mechanisms. Currently, HarvestPlus commissions most of its overall programmatic funds.    In  fact  if  the  estimation  of  proportion  of  open  bid  funding  is  applied  to  the  overall program funds the competitive mechanisms accounts for only 5 % of the total budget.   There  is  clear  dominance  for  commissioned  activities  in  the  HarvestPlus  program  and management  strongly  supports  the  present model.  The  arguments  supporting  commissioned research are that it is easier, leaner and more efficient to administer and that it helps in building real partnership. However on the down side the fact is that much of the commissioned research remains within the CGIAR centers or the initial universities/research centers that originated the 

 

41 

HarvestPlus CP  thus  the opportunity  to attract others  is  limited. Commissioned research at  the very  least needs  careful monitoring and  evaluation  in place  since  it  is difficult  to have proper accountability in place when the contracted are also the owners of the program. It is crucial that the products to be delivered by the contractor be clearly established at the outset.   Competitive grants have been implemented more recently for the work on nutritional genomics and  for  specific methodological  aspects  to  assess  bioavailability  of  nutrients  and  interactions within the food matrix.   The Panel considers that the best way to secure the highest quality scientific products needed by the HarvestPlus CP to reach its key objective is to deliver nutritionally enhanced staple crops is to have a competitive award research program with clearly defined terms on both what is required and how it is delivered. The Panel suggests that the present target of 25 % of total funding should be respected and possibly expanded in areas where scientific breakthroughs that have potential bearing on the program objectives are foreseen.  4.8 In what ways has the CP contributed to capacity building of partners?   

The  Panel  did  not  identify  a  specific  capacity‐building  effort  or  program  at  the  start  of  the HarvestPlus program. The Panel acknowledges that capacity‐building is a long‐term investment and requires substantial financial resources. So far there has been no specific funding allocation for capacity‐building during HarvestPlus I but it was budgeted in HarvestPlus II.  While  it  is understandable  that  a  research  of  this  kind may  not  have  capacity  building  as  its prime consideration at  the outset, at  this phase of  its development,  it  is  imperative  that such a scheme  be  set  in  motion.  It  is  evident  from  the  documents  provided  that  HarvestPlus  has contributed  to  training  efforts  and  educational  programs  conducted  by  others.  The  recent development  and upgrading  of methods  and protocols used  in  the  area of nutrition  research, food analysis and nutrient content of plants have served to generate manuals and other materials that  serve  to  disseminate  knowledge,  This  is  a  clear  contribution  to  training  and  capacity development workshops held in Brazil, China and Tanzania.   Training  also  took  the  form  of  post‐doctoral  fellowships  on  ‘Breeding  Objectives’  at  Cornell University or  the University of Adelaide. While  they may have been useful, such  instances are ‘ad hoc’ at best.   If the CP is to live up to its promise of being seen as a major research effort at tackling micronutrient deficiencies for the benefit of the poor in the developing countries, a major component of its future program should be capacity building.   While conventional breeding may be taken for granted in many places, it would be opportune to include  this component  in any  training program besides  food processing and human nutrition. Undoubtedly, high on the priority list would be training on nutritional genomics. Such training is preferably organized  in situ  in  recipient countries with  the active participation of NARS but  it should not preclude  training  exchanges with  training  components  in  advanced  laboratories  in developed  countries.  Eventually,  this  CP  program may  spawn  hands‐on  training  on  how  to initiate, manage and coordinate a multidisciplinary program on research on issues of innovation of crops either for enhanced nutrition, agronomic superiority and possibly multiple uses of crops with  particular  traits  deemed  useful  for  human  food  production,  animal  feeds  and  other economic uses.  

 

42 

The Panel  is  in agreement with the view expressed  in the SC’s comments on HarvestPlus 2007‐2009  Medium  Term  Plan  that  “capacity  building,  which  is  of  great  importance  for  the implementation and carrying forward of the outputs… (should involve)…Program‐wide human resource  development  and  infrastructure  support  at  the NARS  levels,  specifying  the  training components with detail on numbers and people targeted.” The Panel notes the expressed interest of HarvestPlus  to  focus on  training opportunities  for agriculture and nutrition scientists  in  the area  of  bio‐fortification  for  improved  nutrition  and  to  explore  the  prospect  of  strengthening laboratory facilities and upgrading equipment to conduct bio‐fortification research. HarvestPlus is also looking into the feasibility of using the web as a virtual tool for training scientists.   The  Panel  suggests,  subject  to  the  availability  of  funds,  that  HarvestPlus  develop  a comprehensive capacity‐building program based on the functional areas and impact pathway of the  CP.  The  capacity  strengthening  activities  need  to  be  appropriately  funded,  planned  and implemented in support of the HarvestPlus objectives. 

 

43 

5 GOVERNANCE AND MANAGEMENT  The CGIAR defines Challenge Programs as follows2:   

“A CGIAR Challenge Program  (CP)  is a  time‐bound,  independently‐governed program of high‐impact  research,  that  targets  the  CGIAR  goals  in  relation  to  complex  issues  of  overwhelming global and/or regional significance, and requires partnerships among a wide range of institutions in order to deliver its products.” 

 Since Challenge Programs have a  finite  lifetime,  it seems  reasonable  to avoid heavy setup and close‐down  investments, e.g. related  to  the establishment of a  independent  legal entity and  the buildup of administrative back office capacity within Challenge Programs  themselves.  Instead, the  present  Challenge  Programs  have  opted  for  virtual  organizations  that  outsource  key operative  functions  such  as  human  resources  management  (employment  of  program  staff), accounting,  handling  of  funds,  legal  services  (contracting)  and  the  provision  of  office  and meeting facilities to participating institutions.  In the absence of a legal Challenge Program entity, the boards of the participating institutions are ultimately responsible – and accountable – for governance. The present Challenge Programs have set up diverse Challenge Program governing bodies,  ranging  from advisory panels  to  steering committees that should advise and/or take decisions in the Challenge Programs’ best interest. In order  to  allow  for  “independent  governance”  of Challenge  Programs,  the  boards  of  the  host institutions have delegated (some of) their authority to the CP governing bodies.  This  setup  is  common  to  all  present  Challenge  Programs  and  leads  to  a  certain  intrinsic ambiguity  both  on  the  governance  and  on  the  operational  management  level  that  can  be summarized by the following questions. • How independent is the CP governing body, i.e. how far does the delegation of authority go? 

Has accountability been transferred accordingly?  • How independent is CP management from the host institutions?  

 The  HarvestPlus  Challenge  Program  has  chosen  a  pragmatic  and  lean  governance  and management arrangement that has proven to work well in the past.   HarvestPlus is based on a  joint venture agreement3 between two CGIAR Centers, namely CIAT and  IFPRI.  The  boards  of  these  centers  bear  the  ultimate  governance  responsibility  and accountability for HarvestPlus, but no single center can make unilateral funding decisions for the program4.  The centers themselves employ the program management staff, provide for legal representation (including  contracting),  execute  all  financial  transactions,  deliver  accounting  and  auditing 

                                                      2 CGIAR website, visited on 28.07.2007. 3 “Cooperative Research Agreement”, CIAT, IFPRI, March 14, 2003. 4  In 2003,  IFPRI consulted with  its external auditors  (KPMG) on  the matter. An extract of  their opinion  reads: “IFPRI, by itself, does not have the unilateral power to redirect the use of the transferred funds without the approval of the PAC. The PAC is not controlled by IFPRI but jointly controlled by IFPRI and CIAT, and ultimate resolution of conflicts does not rest with IFPRI but with an external mediator. 

 

44 

services  on behalf  of  the Challenge Program  and physically host  the Program  Secretariat.  For these services, the centers receive an administrative fee from HarvestPlus.  This arrangement has served HarvestPlus well  in  the past. The Panel has observed a powerful, productive and high quality governance body –  the Program Advisory Committee  (PAC) – as well  as  a  well  performing  and  professional  Management  Team.  Both  CIAT  and  IFPRI management  and  governance  have  shown  a  high  degree  of  sensitivity  in  terms  of  letting HarvestPlus act as an independent program.  In what follows, the Panel analyzes the HarvestPlus governance and management structure and performance in more detail and will present some recommendations. Most of these comments do not intend to remedy lack of performance but rather to render high governance and management performance sustainable.  5.1 HarvestPlus Governance 

Overall Governance Performance The governance bodies with direct relevance for HarvestPlus are the CIAT and IFPRI Boards of Trustees, and the HarvestPlus Program Advisory Committee (PAC).   As  far as  the Panel could determine, both  the CIAT and  the  IFPRI boards have  refrained  from interfering with  any  PAC  recommendation  or  decision  in  the  past.  Because  of  this  hands‐off governance approach,  the Panel has  focused on analyzing  the PAC  rather  than  examining  the center  boards.  Information  from  center  boards  has  only  been  requested  about  the  type  and degree of authority delegated to the PAC.  To this end it might be advisable for the center boards to assess risks related to the delegation of authority  to  the  Challenge  Program  from  the  centers’  perspective  and  to  study  related  risk mitigation mechanisms. This  is, however, not within  the scope of  this review and has not been studied further.  Concerning  the  PAC  as  HarvestPlus’ main  governance  body,  the  Panel  has  been  positively impressed  by  the  degree  of  involvement  and  expertise  of  PAC members,  as  well  as  of  the performance of the PAC as a whole. The quality and devotion of the PAC chair and other PAC members, as well as the institutional independence of most of its members has helped to create a working  style  characterized  by  the  right  to  dissent,  open  and  constructive  discussions,  and  a hands‐on problem‐solving approach.  PAC Composition and Processes In  the  original  HarvestPlus  proposal5,  the  PAC  was  designed  as  an  external  expert  body, consisting of 12 individuals, selected according to the following criteria: • Widely recognized expertise in various disciplines (as defined in the proposal), • Gender balance, • Balanced developing‐ and developed‐country citizenship.  The current6 PAC comprises of 17 individuals, 13 of which are external experts in the sense that their institutional affiliation does not contain any direct link to either CIAT or IFPRI7. Compared 

                                                      5“Biofortified Crops for Improved Human Nutrition”, CIAT, IFPRI, August 21. 

 

45 

to the original layout, one additional external expert (the chair of the PAC Audit Committee) and four institutional representatives have been added to the PAC.  While  the  inaugural  PAC members  had  been  chosen  by  CIAT  and  IFPRI,  subsequent  PAC members are chosen by the PAC itself.   Currently, a  total of  five PAC members – or about 30% – are women and most PAC members have a developed country citizenship, only about 30% come from ODA‐receiving countries8.  External expert PAC members  represent a wide  range of scientific disciplines and professional experience.  

Table 5.1. PAC members’ expertise 

Name  Function  Expertise Peter McPherson  PAC Chair  Administration Barbara Underwood  PAC Vice Chair  Nutrition Mark Wahlqvist  External expert member  Nutrition Ruth Oniang’o  External expert member  Nutrition M.S. Swaminathan  External expert member  Breeding, Biotech Richard Flavell  External expert member  Breeding, Biotech Qifa Zhang  External expert member  Breeding, Biotech Maria Jose Sampaio  External expert member  Breeding, Biotech Estrella Alabastro  External expert member  Food Science Michael Lipton  External expert member  Economics Jeroen Bordewijk  External expert member  Private Sector, Food Marketing Peter Sandoe  External expert member  Ethics Patrick Murphy  Chair Audit Committee  Finance  The Panel finds that, in general, PAC member expertise fits the Challenge Program’s needs well. The PAC has chosen  its new members with care,  following a process  that first  identified needs and  then  proposed  and  screened  candidates  involving  the  Nomination  Committee,  a  PAC subcommittee.   While the present selection of PAC members has been primarily based on scientific expertise, the Panel finds that the representation of the program’s beneficiaries could be improved. As pointed out  in  the  programmatic  part  of  this  review,  both  early  strategic  planning  and  the  concrete “reaching  the  end  user”  approach  strongly  depend  on  thorough  understanding  of  the beneficiaries’  situation.  The  PAC  should  therefore  seek  to  increase  the  beneficiaries’ representation  on  the  PAC,  ideally  finding  candidates  that  combine  this  role  with  solid management skills, as currently the case for most PAC members.                                                                                                                                                                        6 Documentation of the PAC meeting on June 14‐15, 2007 7  In  addition,  according  to  the  HarvestPlus  “Conflict‐of  Interest  Policy”  (Annex  of  the  Governance  and Management Handbook), all direct or indirect involvement of PAC members with HarvestPlus operations need to be disclosed by PAC members. 8 Based on the “OECD DAC list of ODA Recipients”, effective from 2006 for reporting on flows in 2006 and 2007. 

 

46 

Concerning  gender  and  citizenship  balance  in  the  PAC,  the  Panel  recommends  that  the  PAC works towards a gender and origin‐balanced membership. This should be pursued as a strong 2nd priority. The first priority should remain the PAC members’ expertise and background.  The PAC  has  been meeting  twice per  year,  starting  from  its  first meeting  in March  2003. All meetings have been in person meetings, lasting generally two days.   Meeting attendance has generally been high, as shown in the table below.  

Table 5.2. PAC meeting attendance analysis       1  2  3  4  5  6  7  8  9 

Name  Function  Mar 2003 

Nov 2003 

May/ Jun 2004 

Nov 2004 

May/ Jun 2005 

Nov 2005 

Jun 2006 

Oct 2006 

Jun 2007 

Peter McPherson  Chair  1  1  1  1  1  1  1  1  1 Barbara Underwood  Vice Chair  1  1  1  0  1  1  1  1  1 Patrick Murphy  Audit Chair           1  1  1  1  1  1 Adiel Mbabu     1  1  1                   Bui Ba Bong     0  0  0  0                Estrella Alabastro           1  0  1  1  1  1  1 J.A. Bordewijk                             1 M.S. Swaminathan     0  0  0  (1)  0  (1)  (1)  (1)  (1) Maria Jose Sampaio     1  1  1  1  0  1  1  0  1 Mark Wahlqvist     1  1  1  1  1  1  1  0  1 Michael Lipton     1  1  1  1  1  1  1  1  1 Peter Sandoe     1  1  1  1  1  0  1  1  0 Richard Flavell     1  1  1  0  1  0  1  1  0 Ruth Oniang’o     0  1  1  1  0  0  0  0  1 Zhang Qifa                             1 Jim Jones  CIAT board        1  1  1  1          Joachim von Braun  IFPRI DG  1  1  1  1  1  1  1  1  1 Joachim Voss  CIAT DG  1  1  1  1  1  1  1  0  0 Michele Veeman  IFPRI board                          1 Suttilak Smitasiri  IFPRI board  1  0  1  1  1  1  1  1    Yves Savidan  CIAT board                    1  1  1                      External PAC members  11  11  12  12  11  11  11  11  13 … thereof present    8  9  10  8  8  8  10  8  11 … in percent    73%  82%  83%  67%  73%  73%  91%  73%  85%                      All PAC members  13  14  16  16  15  15  15  15  17 … thereof present    10  11  14  12  12  12  14  11  14 … in percent    77%  79%  88%  75%  80%  80%  93%  73%  82%                      Legend:     =  not PAC member at that time   1  =  present at PAC meeting   (1)  =  represented by other person at that PAC meeting   0  =  not present or represented at that PAC meeting 

 The  lowest attendance was 73%  (or 11 out of 15 PAC members) during  the 8th PAC meeting  in October 2006 and the highest attendance was 93% (or 14 out of 15) during the 7th PAC meeting in June 2006. Apart  from PAC members,  the Program Director,  the Management Team as well as selected other guests attend PAC meetings.   Most PAC members have attended meetings  regularly, missing meetings only occasionally.  In one case, however, a PAC member has never attended a PAC meeting in person and has send a representative  in  5  out  of  9  meetings.  MS  Swaminathan  absence  to  all  PAC  meetings  is 

 

47 

problematic,  considering  the major  role  he  plays  in  the  field  of  interest  of HarvestPlus  and additionally  in  Bioversity  International.    His  contribution  in  addressing  need  for  stronger collaboration between these two initiatives could be significant. In another case, a PAC member has only attended 4 out of 9 PAC meetings without sending a representative.  The Panel finds that PAC meeting attendance should be further encouraged. PAC members are selected according to their expertise and background. Missing several meetings in succession can therefore  result  in certain aspects being underrepresented  in PAC decision making. Since PAC members  are  identified  on  an  individual  basis,  their  roles  and  responsibilities  should  include personal  attendance  and  continued  absenteeism  should  be  a  reason  for  rotating  that  PAC member off.   According  to  the Governance  and Management Handbook,  PAC members  serve  for  a  3  year term, starting from March 2006, after which one third of the PAC membership will be replaced each year. New members are hired for a 3 year term with one option for renewal and staggered departures. In the original proposal, membership was planned for a 4 year, non‐renewable term.  In  its  6th  meeting  (November  2005),  the  PAC  decided  to  prolong  membership  for  all  PAC members for a second term. The main reasons reported for this decision were the perceived good performance of  the PAC,  the preservation of  institutional memory  that had been built up over time and  the  limited  life  span of  the Challenge Program. As a  result of  this decision, 9 of  the original  11  external  experts  or  11  of  13  original  PAC  members  (including  the  institutional representatives) currently serve on the PAC, 4 years after its inception.  While  agreeing with  the  positive  self‐assessment  of  the  PAC  in  terms  of  general  governance performance and  the  importance of preserving  institutional memory,  the Panel  finds  that PAC membership rotation should commence in line with original plans, for example based on a 3 or 4 year, one time renewable term and staggered departures. A special weight should be laid on the search  and  selection  process  of  new members,  as well  as  on  a  staggered  rotation  plan  that guarantees an adequate  level of experience with  the Challenge Program within  the PAC at all times.  In  the Panels’ view,  this approach will sustain and potentially  further energize  the good current PAC performance.  As far as the Panel could determine, PAC decisions are taken on a consensus basis. Surprisingly, no  formal  voting  rules  have  been  defined  in  the  original  proposal  or  in  the Governance  and Management Handbook, or seem to be in place.   The Panel finds that the definition and agreement on a set of voting rules, including the quorum needed to constitute a valid PAC meeting, voting rights, necessary majorities to constitute a valid PAC  decision,  and  potential  tie‐braking,  e.g.  by  the  chair,  would  increase  validity  of  PAC decision‐making.   Since the first PAC meeting, the Director Generals of CIAT and IFPRI have participated as “ex‐officio” members at PAC meetings.  In  the second PAC meeting, an  IFPRI board representative was added as  full PAC member. Similarly, a CIAT board  representative became an additional PAC member  in  the  third PAC meeting. Since  then, a  total of  four  institutional representatives from CIAT and IFPRI have been members of the PAC.  

 

48 

In the Panel’s view, the presence of  institutional representatives of CIAT and IFPRI  in the PAC has the clear advantage of facilitating communication between the host centers, their boards, and PAC.  On  an  operational  level,  this  provides  on‐time  information  on whether  potential  PAC decisions can be  implemented by  the centers as planned. On a governance  level,  it allows for a timely feedback from the center boards concerning critical PAC decisions.   On  the other hand,  the PAC perceives  that  its  independence  is diminished by  the presence of institutional  representatives.  In a  survey done  for  this  review, 92%  respondents  from  the PAC either slightly or strongly agreed  that “The presence of IFPRI and CIAT representatives on the PAC introduces some institutional interests into PAC recommendations/decisions.”  While  the  Panel  has  observed  a  high  degree  of  sensitivity  and  professionalism  amongst  the institutional representatives with regard to the independence of the PAC, it is of the opinion that HarvestPlus governance would benefit from a further clarification of the roles and voting rights of  the  institutional  representatives. E.g.  in  the absence of documented PAC voting  rules,  it has not  become  clear  to  the  Panel whether  institutional  representatives  in  the  PAC  have  formal voting rights or not.  External  experts  on  the  PAC,  apart  from  their main  roles  as  scientific  advisors  and  decision‐makers,  guarantee  the  independence  of  all  PAC  decisions  from  real  or  perceived  illegitimate institutional  interests,  such as  interest of  increasing a program partner’s budget  share without programmatic arguments.  Institutional  representatives  in  the  PAC  should  primarily  represent  legitimate  institutional interests, i.e. act as “host center representatives” by advising the PAC on matters relating to the legal  representation, as well as contractual,  financial, HR‐related and other services  the centers provide to the Challenge Program. Institutional representatives should also continue to provide their expert input when appropriate, but should not formally take part in PAC decision making.  In order to shield the institutional representatives – and in consequence HarvestPlus – from any alleged  conflicts  of  interest,  the Panel  recommends  to  differentiate  between  external members and  institutional  representatives  in  the PAC  terms  of  reference  (as  listed  in  the HarvestPlus Governance  and  Management  Handbook),  and  to  specify  their  respective  roles  and responsibilities.  Institutional  representatives  should  be  full PAC members  in  all  respects,  but should not have formal voting rights.   The  Panel  recommends  implementing  the  PAC  membership  rotation  as  defined  in  the HarvestPlus  Governance  and  Management  Handbook.  In  selecting  new  PAC  members,  the representation of HarvestPlus beneficiary groups should be increased.  The  Panel  recommends  that  the  PAC  agrees  and  formulates  an  explicit  voting  policy  that specifies the meeting quorum, necessary majorities for different types of decisions, potential tie braking processes and  requirements  for voting  through  representatives or delegated votes. The independent  nature  of  the  PAC  as  an  external  expert  Panel  should  be  strengthened without damaging the present achievements in terms of process and working relationships with the host centers. While remaining active PAC participants, the overall role and the ʺex‐officioʺ status of the four institutional representatives of CIAT and IFPRI should be clarified and they should not have formal voting power in the PAC. 

 

49 

Functions of HarvestPlus Governance The  last  version  of  the  HarvestPlus  Governance  and  Management  Handbook  (May  2005) describes  the  responsibilities  of  the  PAC  as  follows  (numbering  has  been  added  for  later reference).  Under the leadership of the Chair, the PAC exercises shared responsibility for: 1. Reviewing progress toward meeting HarvestPlus’ objectives and overseeing the Program 

Management Team (PMT) in fulfilling its responsibilities. 2. Discussing and approving HarvestPlus’ strategic research priorities as proposed by  the 

PMT.  3. Reviewing and approving the annual work plans and budgets presented by the PMT. 4. Ensuring  an  independent  and  transparent  competitive  grants  process  for  specified 

components  of HarvestPlus;  approving  peer  review  committees  to  referee  submitted proposals. 

5. Assisting in advocacy and communication on behalf of HarvestPlus. 6. Nominating new members of  the PAC—as required—to  the Boards of CIAT and  IFPRI 

for approval.  7. Reviewing and approving  the annual  financial reports prepared by CIAT and IFPRI on 

Sources and Disbursements of HarvestPlus Challenge Program funds.  This PAC TOR  closely  resembles a “standard”  steering  committee TOR  for global partnership programs.  In  fact,  it  covers  most  functions9  of  governing  bodies  of  global  and  regional partnership programs: • Setting strategic direction10: is covered by PAC TOR 2) and 3). • Management oversight11: is covered by PAC TOR 1). • Stakeholder participation12: is not covered, although PAC TOR 5) contributes partly. • Risk management13:  is partly covered by PAC TOR 7) and by  the responsibilities of  the PAC 

Audit Committee.  • Conflict management14: does not appear  in  the PAC TOR. The HarvestPlus Governance and 

Management Handbook only defines  that arbitration will be  sought  if  conflicts about new PAC members persist between the boards of IFPRI, CIAT and the PAC. 

                                                      9  See  Sourcebook  for  Evaluating Global  and Regional  Partnership  Programs  (Independent  Evaluation Group, OECD/DAC  Network  on  Development  Evaluation,  2006);  adapted  from  the  OECD  Principles  of  Corporate Governance (2004). 10  Exercising  effective  leadership  that  optimizes  the  use  of  the  financial,  human,  social,  and  technological resources of the program. Establishing a vision or a mission for the program, reviewing and approving strategic documents, and establishing operational policies and guidelines. Continually monitoring the effectiveness of the program’s governance arrangements and making changes as needed. 11  Monitoring  managerial  performance  and  program  implementation,  appointing  key  personnel,  approving annual budgets and business plans, and overseeing major capital expenditures. Promoting high performance and efficient  processes  by  establishing  an  appropriate  balance  between  control  by  the  governing  body  and entrepreneurship by the management unit. Monitoring compliance with all applicable laws and regulations, and with the regulations and procedures of the host organization, as the case may be. 12 Establishing policies for inclusion of stakeholders in programmatic activities. Ensuring adequate consultation, communication, transparency, and disclosure in relation to program stakeholders that are not represented on the governing bodies of the program. 13 Establishing a policy  for managing risks and monitoring  the  implementation of  the policy. Ensuring  that  the volume  of  financial  resources  is  commensurate with  the program’s needs  and  that  the  sources  of  finance  are adequately diversified to mitigate financial shocks. 

 

50 

• Audit and evaluation15: the PAC has set up an Audit Committee that fulfills the audit function. The evaluation  function  is not explicitly addressed by  the PAC TOR and will be discussed separately. 

 In  a  survey,  the  Panel  has  asked  the  PAC  and  the  Management  Team  about  the  level  of satisfaction with the PAC performance along these governance functions.  

Table 5.3. Survey results: satisfaction with governance functions 

Core governance function 

Highly satisfied 

Slightly satisfied 

Slightly unsatisfied 

Strongly unsatisfied 

Number of respondents  

(in percent of all survey respondents) 

Giving strategic direction 

88%  12%      N = 17 (94%) 

Exercising management oversight 

82%  12%  6%    N = 17 (94%) 

Fostering stakeholder participation 

29%  65%  6%    N = 17 (94%) 

Risk management 

65%  29%  6%    N = 17 (94%) 

Conflict management 

53%  47%      N = 17 (94%) 

Audit and evaluation 

88%  6%    6%  N = 17 (94%) 

 Overall,  satisfaction  levels were  high  and  in  general  PAC  and Management  Team  responses followed the same trend. For detailed survey results, please refer to the Annex 10.  From  this  self‐assessment,  the  largest  improvement  potential  –  if  any  –  can  be  identified  for “Fostering stakeholder participation” and  for “Conflict management”. These  functions coincide with those functions that were not – or not entirely – covered by the PAC TOR.   For a better understanding of improvement potential in terms of these issues, a detailed analysis of  perceptions  and  experiences  of HarvestPlus  program  partners  and  stakeholders would  be needed, e.g.  through a survey with  follow‐up  interviews  targeted at  these overlapping groups. Such a  thorough assessment, however, exceeded  the allocated capacity for  this Review and has therefore not been undertaken. The Panel nevertheless suggests conducting such an assessment to  further analyze  improvement potential  for  these  functions. Any  statements made  regarding 

                                                                                                                                                                      14 Monitoring and managing the potential conflicts of interest of members of the governing body and staff of the management  unit. Monitoring  and managing  conflicting  interests  among  program  partners  and  participants, especially those that arise during the process of program implementation. 15 Ensuring  the  integrity  of  the program’s  accounting  and  financial  reporting  systems,  including  independent audits.  Setting  evaluation  policy,  commissioning  evaluations  in  a  timely  way,  and  overseeing management uptake  and  implementation  of  accepted  recommendations.  Ensuring  that  evaluations  lead  to  learning  and programmatic enhancement. 

 

51 

these points in the report are based on the Panel’s observations within HarvestPlus and selected stakeholder and program partner interviews.  One  answer  indicating  “strong  dissatisfaction” with  the  governance  performance  in  terms  of “audit  and  evaluation” has been  followed up with  an  interview  revealing dissatisfaction with financial management quality in some parts of the Joint Venture.  As pointed out before,  the Panel  shares  the overall positive  assessment on PAC performance. Apart  from  the  functions highlighted above,  some oversight  functions of  the PAC merit closer attention and will be discussed later in this chapter.  Role and Accountability of PAC vis‐à‐vis the Boards of CIAT and IFPRI Since HarvestPlus is a hosted program, the center boards of CIAT and IFPRI share some of these governance functions with the PAC and carry the ultimate legal and fiduciary responsibility.   Rather  than  taking  an  active  role  in HarvestPlus  related  decisions,  both  center  boards  have chosen to have some representation on the PAC – and to delegate their authority up to a certain degree to the PAC. According to the Panel’s observations, the center boards have never rejected a PAC decision so far.  This  leads  to  the question on how  the  responsibility  for governance  functions, and  the  related accountability, is distributed between the PAC and the center boards, i.e. the role of the PAC vis‐à‐vis the role of the center boards.  The  HarvestPlus  Governance  and Management Handbook  describes  the  role  of  the  PAC  as follows.  

“The HarvestPlus PAC  is an  external  independent advisory body  that provides governance and oversight to  facilitate the Program’s complex collaborative arrangements. The PAC  is not a  legal entity, but has been delegated authority from the CIAT and IFPRI Boards of Directors. (…)” 

 A  similar  statement  can  be  found  in  the  original  program  proposal,  and  in  the  Cooperative Research Agreement between CIAT and IFPRI.  In  the HarvestPlus Governance  and Management Handbook,  the  role  of  the CIAT  and  IFPRI boards are described as:  

CIAT  and  IFPRI have  entered  into  a Cooperative Research Agreement  (March, 2003) with  the objective of cooperating with each other in the development and implementation of the BCP, now known as HarvestPlus, to achieve the objectives set out in the BCP proposal.   Both  the  CIAT  and  IFPRI  Board  of  Directors  have  delegated  their  authority  and  related responsibilities  to  the  Program Advisory  Committee  (PAC)  to  undertake  their mandate  as  an independent expert body. The Director‐Generals of CIAT and IFPRI are responsible for reporting to their respective Boards on progress made under HarvestPlus. 

 From  these statements alone,  the degree of delegated authority does not become entirely clear. Does  the PAC have a  strict advisory  role,  i.e. can  its  recommendations be overruled by  center boards’ decisions? Does  the PAC have governance authority  for some  functions and  the center 

 

52 

boards for others? Or is the PAC the ultimate decision‐making body for HarvestPlus – with full accountability for its actions and decisions?  As far as the Panel could determine, the IFPRI board has not decided to explicitly delegate certain of its oversight functions to the PAC nor specified the respective degrees of delegation, but has rather acknowledged that the PAC exists “as a mechanism of oversight from the Boards of IFPRI and  the  International Center  for Tropical Agriculture  (CIAT)”  and  that  the PAC  approves  the HarvestPlus budget16.  Although requested, no information concerning delegation of oversight functions from the board of CIAT has been obtained.   The PAC itself is divided about its role. In the tables below, the PAC and the Management Team were asked about their level of agreement with the two following statements.   “The PAC is an advisory body without decision‐making power”  

Table 5.4. Survey results: PAC as advisory body? 

Respondent group Strongly agree 

Slightly agree 

Slightly disagree 

Strongly disagree 

Number  of  respondents  from that group  (in  percent  of  all  survey respondents from that group) 

PAC  33%    17%  50%  N = 12 (100%) Management      33%  67%  N = 6 (100%) All  22%    22%  56%  N = 18 (100%)  “De facto the PAC is a program steering committee with decision‐making power”  

Table 5.5. Survey results: PAC as program steering committee? 

Respondent group Strongly agree 

Slightly agree 

Slightly disagree 

Strongly disagree 

Number  of  respondents  from that group  (in  percent  of  all  survey respondents from that group) 

PAC  58%  17%  8%  17%  N = 12 (100%) Management  80%  20%      N = 5 (83%) All  65%  18%  6%  12%  N = 17 (94%)  In both cases, a division of PAC members into a majority seeing the PAC as a steering committee with  decision making  power  and  into  a minority  perceiving  the  PAC  as  an  advisory  body without decision‐making power can be observed.   The  Management  Team,  however,  clearly  tends  to  see  the  PAC  as  the  main  HarvestPlus authority.  

                                                      16 Minutes of the IFPRI Board Executive Committee Meeting, December 10, 2003. 

 

53 

One Panel member has outlined these survey results during the 9th PAC meeting in June 2007. In the ensuing discussion, PAC members suggested to further clarify the role of the PAC vis‐à‐vis the boards of CIAT and  IFPRI and  to analyze potential  implications, e.g.  in  terms of  insurance coverage of PAC members and in terms of general HarvestPlus liability.  The Panel  finds  that  the Challenge Program, CIAT and  IFPRI would  collectively profit  from a further clarification of how authority and accountability are divided between  the PAC and  the center boards.   The Panel also considers the independence and authority of the PAC as important ingredients for continued  HarvestPlus  success  and  therefore  encourages  the  boards  of  CIAT  and  IFPRI  to strengthening  PAC’s  independence  up  to  the  maximum  level  compatible  with  the  present hosting  arrangement.  This  implies  a  careful  analysis  of  governance‐related  risks  and  risk mitigation mechanisms  from  both  the  PAC’s  as well  as  from  the  center  boards’  perspectives along all governance function relevant for HarvestPlus. The results of  this risk assessment may well influence the exact distribution of authority between the PAC and the center boards.  Finally,  after  this  clarification  has  taken  place,  a  change  of  name  for  the  PAC  should  be considered,  since  the  current  name  clearly  indicates  an  advisory  function  (Program  Advisory Committee) that might not reflect the actual functions assigned to the PAC.  The  Panel  suggests  that  the  CIAT  and  IFPRI  board  further  clarifies  the  specific  governance functions and level of authority delegated to the PAC in a document that is endorsed by PAC, the board of CIAT and the board of IFPRI.  Legal and financial assessment of related risks should be examined for each governance function.  Oversight over Commissioned Research Funding and Competitive Grant Mechanisms As  part  of  its  strategy‐setting  and  management  oversight  functions,  the  PAC  oversees  the implementation of HarvestPlus projects through commissioned and competitive mechanisms.  Commissioned activities are approved by  the PAC as part of  the annual HarvestPlus budgets. This includes, implicitly, the approval of the selection of partners for these activities.   Commissioned  activities  account  for  the vast majority of HarvestPlus  activities. About  95% of funds are disbursed for such activities17. As detailed in the section on project monitoring in this report, the Management Team’s oversight over commissioned major has natural limitations.   In view of the large budget share for these activities, as well as the limited penetration depth the PAC  can  possibly  have  in  overseeing  performance  of  single  projects,  even  if  large,  the  Panel recommends  that  the  PAC  complements  the  Management  Team’s  monitoring  activities  by commissioning independent assessments of the quality and cost‐effectiveness of results obtained by commissioned (and competitive) activities. These external reviews are not intended to replace or duplicate the current monitoring activities of the Management Team but to complement them by an independent, in‐depth component.  

                                                      17 Based on HarvestPlus Management Team estimate of 1.25 million US$ for competitive bids and total disbursed cash of ca. 25 million for 2003‐2006 for HarvestPlus Research (Addendum to IFPRI Financial Report 2006). 

 

54 

For competitive grants,  the PAC carries a more direct responsibility overseeing  the selection of independent  reviewers,  the content and  target group of  the competitive bid  invitation and  the selection of proposals  following  recommendations  from  independent experts. The HarvestPlus Management Team is responsible for the preparation and the implementation of this process.  Triggered by an external audit of another Challenge Program in 2006, the CGIAR Internal Audit Unit has begun to define a policy for competitive grants processes to guarantee full accordance with  the  CGIAR  Financial Guidelines,  specifically with  the  Financial Guideline  6  that  covers procurement and under which Challenge Program competitive bids,  somewhat surprisingly  to the  Panel,  seem  to  fall.  The  recent  audit  of  both  the  CIAT  and  the  IFPRI  component  of HarvestPlus has also highlighted  the  importance of addressing  this point, albeit without going deeper  into  the  matter.  In  its  October  2006  meeting,  the  PAC  has  tasked  the  PAC  Audit Committee to ensure that best practices are followed for competitive bidding processes.   While, as far as the Panel could observe, the competitive process contains all necessary elements for independent selection and fair competition, it is not guaranteed that the current process is in full accordance with the CGIAR procurement guideline (CGIAR Financial Guideline Number 6), as required for Challenge Programs.   The Panel  recommends  that  the PAC  commission and oversee  external assessments of output, relevance  and  cost‐effectiveness  for  major  HarvestPlus  activities  contracted  to  major HarvestPlus  partners.  The  periodicity  of  this  outside  evaluations  should  be  yearly  or  more frequent depending on specific situations.     The  Panel  therefore  agrees  with  the  PAC’s  assessment  and  recommends  tasking  the  Audit Committee  to oversee  that  full  compatibility of  the HarvestPlus  competitive mechanisms with CGIAR guidelines is verified or, if needed, established.  The PAC Audit Committee HarvestPlus,  as  a  hosted program,  largely  relies  on  the  auditing  functions  of  its  host  centers, CIAT  and  IFPRI.    Both  centers  include  an  addendum  detailing  all  HarvestPlus‐related expenditures  in  their  externally  audited  annual  financial  reports.  In  addition,  since  the  host centers manage all HarvestPlus finance operations, the center‐internal controls and audits apply to HarvestPlus as well.   In addition  to  the centers’  internal and external audit capacities, HarvestPlus has set up a PAC Audit Committee  in 2004. The committee consists of an  independent chair who also became a PAC member and of the chairs of the CIAT and IFPRI Board Audit and Finance Committees.  The PAC Audit Committee provides an independent expert opinion on HarvestPlus finance and finance‐related  processes.  It  also  oversees  and  reports  to  the  PAC  on  the  implementation  of finance‐related recommendations as far as HarvestPlus is concerned.   For  example,  in  2006,  both  the  CIAT‐  and  the  IFPRI‐components  of  HarvestPlus  have  been audited  by  the  respective  centers’  internal  auditors  in  collaboration with  the CGIAR  Internal Audit Unit. A  total  of  33  recommendations  (16  in  the CIAT‐component  and  17  in  the  IFPRI‐component, with  partial  overlap) were  contained  in  the  audit  reports  in October  (IFPRI)  and November (CIAT) of 2006.   

 

55 

The  Panel  did  not  assess  to  what  degree  the  recommendations  have  been  addressed  since progress will  be  verified  by  the  centers  internal  audit units  in August  2007. The Chair  of  the Audit Committee stated that most of the recommendations are currently being implemented by the host center management or by HarvestPlus.   Audit Committee meetings normally take place  just before PAC meetings and are also attended also by the Program Director, as well as the CIAT and IFPRI Directors of Finance.   The Governance and Management Handbook describes the Audit Committee’s tasks as follows:  

“The Audit Committee provides assistance  to  the PAC  in  fulfilling  its  fiduciary  responsibilities related  to HarvestPlus’ accounting practices,  internal  financial controls and reporting practices, and other administrative policies and procedures. Specifically, the Committee:  1. Reviews  and  recommends  to  the  PAC  for  approval  an  audit  plan  (and  objectives)  for  the 

subsequent year. 2. Maintains, through regular confidential meetings, a direct line of communication between the 

PAC and the external auditors of CIAT and IFPRI. 3. Ensures  that  financial  transactions  of  HarvestPlus  are  properly  audited  by  the  external 

auditors of CIAT AND  IFPRI and disclosed  in  the  supplementary  schedules  to  the audited financial statements of CIAT and IFPRI. 

4. Reports to the  full PAC on the supplementary reports on HarvestPlus activities prepared by CIAT and IFPRI. 

5. Considers  legal  issues placed  before  it  by  counsel  and  recommends  to  the PAC  appropriate action. 

 The Chairperson of the Audit Committee periodically reviews the Program Director’s expenses and informs the PAC as to whether they are in order.” 

 The  Panel  is  of  the  opinion  that  the  Audit  Committee  provides  a  valuable  contribution  to HarvestPlus Governance.   Firstly,  it  introduces  necessary  financial  and  administrative  capacity  into  HarvestPlus governance.  Amongst  measures  recommended  by  the  Audit  committee  were,  e.g.  the introduction of a  clause  into HarvestPlus project  contracts  that protect  the Challenge Program against liability risks from unplanned budgetary shortfalls.   Secondly, it contributes to HarvestPlus good governance through being an independent control mechanism for financial and planning matters.   Other PAC Subcommittees The PAC has set up several additional committees, some of which have ceased to meet regularly or have been disbanded.   The Executive Committee, according to the Governance and Management Handbook, comprises of the PAC chair and vice‐chair, the respective chairs of the Audit and Nominating Committees, the Director Generals of CIAT and IFPRI, and the Program Director and is chaired by the PAC chair. A  valid  Executive  Committee meeting  is  constituted  if  four  PAC members  are  present.  The Executive Committee acts on behalf of the PAC in between PAC meetings. 

 

56 

 In practice, HarvestPlus decision making in between PAC meetings is done in a more pragmatic way.  According  to  the  Panel’s  observations,  the  Program  Director  consults  with  individual Executive Committee members, or other PAC members, for decisions that exceed his authority. While not exactly observing  the above rules for Executive Committee meetings,  the Panel finds that the present pragmatic approach has worked well.  The  Nominating  Committee  comprises  of  three  PAC  members.  It  prepares  PAC  membership rotation and proposes new PAC member candidates.  The Scientific Committee was originally set up to advise the PAC and the Management Team on specific scientific issues. It consisted of a sub‐set of PAC members. In 2006, the PAC decided to provide  the  scientific  advisory  function  through  the  entire  PAC  rather  than  through  a subcommittee.    While the Governance and Management Handbook contains laudably specific terms of reference for the PAC subcommittees, they do not always match the actual practice. It might be advisable to update the Governance and Management Handbook accordingly.  5.2 HarvestPlus Management 

Structure HarvestPlus  is  managed  as  a  matrix  organization.  The  HarvestPlus Management  Team  has overall  responsibility  and manages  the  program  along  functional  areas  as  shown  in  the  table below. 

Table 5.6. Management Team functions 

Function  Responsible Manager  Crops or Area covered Breeding  W. Pfeiffer  Phase I Crops and program‐wide Biotechnology  J. Thome  Phase I Crops and program‐wide Breeding  Objectives  (In Vitro Screening) 

C. Hotz  Phase I Crops and program‐wide 

Human Nutrition  C. Hotz  Phase I Crops Food Processing  C. Hotz  Phase I Crops Reaching End Users  K. Ampofo  Program‐wide Impact and Policy  J.V. Meenakshi  Phase I Crops Donor  Relations  and Communications 

B. McClafferty  Program‐wide 

Phase II Crops  W. Pfeiffer  Phase II Crops Country  Programs (Strengthening  Regional NARES) 

H. Bouis  Program‐wide 

Program  Leadership  and Administration 

H. Bouis  Program‐wide 

 While mostly focusing on the breeding function, Crop Leaders organize the work for individual Phase I crops across all functions.  

 

57 

Overall management responsibility lies with the Management Team, consisting of 7 individuals: • the Program Director • the Biotechnology Coordinator • the Donor Relations and Communications Coordinator • the Impact and Policy Coordinator • the Nutrition Coordinator • the Plant Breeding Coordinator • the “Reaching the End User” Coordinator18  

The Management  Team  is  assisted  by  7  assistants  and  1  specialist, who  provide  support  for specific or general  functions. Most of  these appointments are  full‐time positions, but  some are part‐time (e.g. the biotechnology Coordinator with a 25% appointment).  Overall Performance The program management receives high performance rating  from  the PAC members. Table 5.7 shows the survey responses to the question: “Please indicate your satisfaction with the performance of the Program Management in terms of the following functions”.  Table 5.7. Survey results: satisfaction with management functions  

Management function 

Highly satisfied 

Slightly satisfied 

Slightly unsatisfied 

Strongly unsatisfied 

Number of respondents from PAC group  (in percent of all PAC survey respondents) 

Program implementation 

75%  25%      N = 12 (100%) 

Regulatory compliance 

82%  18%      N = 11 (92%) 

Reviewing  and reporting 

84%  8%  8%    N = 12 (100%) 

Administrative efficiency 

83%  17%      N = 12 (100%) 

Stakeholder communication 

50%  25%  17%  8%  N = 12 (100%) 

Fostering learning 

55%  18%  27%    N = 11 (92%) 

Performance assessment 

55%  36%  9%    N = 11 (92%) 

 The  Panel  has  had  the  occasion  to  interact  closely  with  the  Program  Director  and  the Management Team. It finds that the management consists of experienced professionals that show a considerable amount of dedication to the program and take full ownership of their respective functions.   The Panel also finds that the Management Team is operating at the limit of its capacity in terms of workload.  

                                                      18 Staffed until year end 2007. 

 

58 

 Accountability of the Management Team The HarvestPlus Management Team is employed either by CIAT or by IFPRI or, as in the case of the Program Director,  jointly by CIAT and  IFPRI. As a consequence of  this setup, HarvestPlus management is perceived to have responsibilities towards PAC as well as towards CIAT and/or IFPRI management. For example, the performance evaluation of the Program Director  is  jointly done between the Director Generals of CIAT and IFPRI and the PAC Chair and signed off by all three.   In a survey done for this review, the PAC and Management Team members were asked assess to what degree the HarvestPlus Director was subject to a “two masters problem”, i.e. to a situation of unclear  or  overlapping  responsibilities  towards  the PAC  on  the  one hand  and  IFPRI/CIAT management on the other hand. 

Table 5.8. Survey results: two masters problem?

Respondent group 

100% responsible towards 

IFPRI/CIAT 

Mainly responsible towards 

IFPRI/CIAT 

Responsibi‐lity evenly distributed towards 

IFPRI/CIAT and PAC 

Mainly responsible towards PAC

100% responsible towards PAC 

Number of respondents from that group  (in 

percent of all survey respondents from that group) 

PAC answers    9%  45%  36%  9%  N = 11 (92%) Management Team answers 

    33%  50%  17%  N = 6 (100%) 

All answers    6%  41%  41%  12%  N = 17 (94%) 

 The  PAC  essentially  is  of  the  opinion  that  the  Program  Director’s  responsibilities  are  split between  the  PAC  on  one  side  and  CIAT  and  IFPRI management  on  the  other  side, with  a tendency towards being perceived more responsible towards the PAC.  In  the Management Team’s opinion,  the Program Director  is more  clearly  responsible  towards PAC rather than to the center management.  The same analysis has been  repeated  for  the entire Management Team  instead of  the Program Director with  comparable  results,  albeit with  a  perception  of  stronger  focus  on  the  PAC  as dominant authority (see Annex 10 for complete survey results).  In  the Panel’s view,  the perceived  overlapping  responsibilities  towards  the PAC  and  towards center management  are  a  direct  consequence  of  the  organizational  setup  of HarvestPlus  as  a whole, having no  legal entity on  its own and being hosted by CIAT and IFPRI. As pointed out before,  the  Panel  is  of  the  opinion  that  the  “virtual  organization”  arrangement  serves  the HarvestPlus  purposes  well  and  is  an  adequate  setup  for  a  time‐bound  program.  The  Panel therefore does not consider any fundamental change in this setup.  The Panel, however, finds that the degree of influence CIAT and IFPRI can or could exert on the HarvestPlus director is potentially problematic. The Panel sees two reasons for that: • Ambiguity  in  the  vertical  chain  of  command.  On  the  one  hand,  the  director  reports  to  and 

receives  his  instructions  from  the  PAC.  On  the  other  hand,  the  responsibility  for  his performance evaluation lies mostly in the hands of his superiors in center line management, 

 

59 

i.e. with  the Director Generals  of CIAT  and  IFPRI. While  in  the  Panel’s  observation  both Director  General’s  have  exerted  great  care  of  not  exerting  any  undue  influence  on  the Program Director, the current setup does not represent a future structural guarantee. 

• Reputation  risk. The CIAT and  IFPRI Director Generals are  in a potential conflict of  interest situation  if  HarvestPlus  and  host  center  interests  do  not match  (e.g.  in  the  hypothetical situation  of  a  proposed  decision  that  would  serve  the  Challenge  Program  but  hurt  the centers’ strategic or economic interests). While such potential conflict of interest is primarily an issue to be considered by the host centers, it does pose a reputation risk for HarvestPlus as well.  It  could be argued  from an outsider’s point of view  that  center management has  the possibility of bypassing the PAC and to exerting direct influence on the Program Director. 

 The Panel therefore recommends that the ultimate responsibility for the performance evaluation of the Program Director should be with the PAC chair. The performance assessment should be based on intense consultation with the Director Generals of CIAT and IFPRI, and other relevant observers.  Concerning the program Management Team and the Program Secretariat, the Program Director seems to have a sufficient level of authority to guarantee coordinated management. According to the  Panel’s  information,  the  Program Director  is  in  charge  of  evaluating  the  performance  of Management  Team members, while  specialists  and  assistants  in  the  Program  Secretariat  are evaluated by their respective superiors in the HarvestPlus Management Team.  The Panel  recommends  that  the PAC chair  in consultation with  the  IFPRI and CIAT Director Generals conducts the performance evaluation of the Program Director and determines the terms of his employment.  Project Monitoring Since  most  HarvestPlus  activities  are  implemented  as  projects,  one  of  the  most  important management tasks is project monitoring.   The HarvestPlus Management Team monitors program and project progress  through a project‐level  reporting  system.  Most  HarvestPlus  projects  are  commissioned  on  an  annual  basis. HarvestPlus  research  contracts  oblige  the  project  partners  to  submit  semi‐annual  and  annual reports  that  consist,  apart  from  introductory  information,  essentially  of  a  financial  and  a programmatic progress report.   Semi‐annual  reports  cover  a  period  of  6 months  and  tend  to  be  slightly  lighter  than  annual reports that cover the entire year.  The financial reports contain actual expenditures to date for project activities along the different budget line items. If variances exceeds both 5,000 US$ and 10%, a written explanation is required. Financial  reports  need  to  be  certified  by  authorized  individuals  in  the  respective accounting/finance department.  Programmatic progress reports consist of a narrative that needs to cover objectives and activities, accomplishments,  lessons  learned, changes affecting project activities, challenges, other sources for project support and an explanation of budget variances. In addition, a series of templates for reporting  performance  against  objectives  and  outcome  indicators,  activity monitoring  against milestones as well as presentation and publication  listings need  to be  filled out. All reports are 

 

60 

directed at  the Management Team member responsible  for  the  function covered by  the project. Summarized  feedback as well as critical cases are discussed with  the Program Director and,  if needed, brought to the attention of the PAC.   The  Panel  examined  in  greater  detail  project  reporting  in  the  case  of  two major HarvestPlus research  partners, USDA Cornell  and  the University  of Adelaide  (breeding  objectives).  These HarvestPlus partners have received commissioned funding support over 3 to 4 years with rather flexible work programs under  the  topic  “definition  of  breeding  objectives”. The projects have expanded their scope and received additional funding through contract amendments without, as far as the Panel could determine, a comprehensive evaluation of their research productivity. The Cooperation with  the USDA Cornell and  the Adelaide centers was based on 3  initial contracts (contract  numbers  8003,  8004  and  8006).  These  contracts were  amended multiple  times  each reflecting annual contracting, no‐cost extensions or extensions of scope. As an example, the Panel presents contract 8003 amendment 4 in the Annex 11, together with a publication progress report.  The  Panel  has  not  been  able  to  fully  ascertain  the  cost‐effectiveness  of  these  commissioned activities and based on  the actual publication  record  there  is some concern on  the value of  the output relative to the resources invested in these very large contracts.    The Panel finds  that  the Management Team has some rather natural  limitations  to  its oversight over such large‐scale project activities. Most of the major contractors are important and long‐term partners of HarvestPlus, sometimes also rightly claiming co‐ownership of the founding ideas of the  Program,  with  a  strong  position  within  the  program.  The Management  Team  members charged with  project monitoring may  thus  be  placed  in  a  difficult  situation when  a  project underperforms. This is potentially more difficult in scientific areas beyond the direct expertise of Management Team member. There is also a high level of concentration of contracted funding, the top 5 centers get 55 %, and the top 10 are allocated 76 % of the consolidated budget. While only 5 % goes through competitive bidding mechanisms.  These considerations have  led  the Panel  to recommend  independent evaluations of quality and cost‐effectiveness of such major activities as discussed  in  the governance section of  this  report. While the Management Team should assist implementing these evaluations, the PAC should be responsible  for  them  because  of  the  arguments  presented  above.  A  corresponding recommendation has been presented in the governance section of this report.  On  the  management  level,  the  Panel  is  satisfied  by  the  current  reporting  setup,  since  it concentrates progress  information directly at  the  relevant management  level. The Management Team members  in charge  for  individual projects show a great deal of ownership. As  far as  the Panel could observe, and within  the  limitations outlined above,  there  is critical examination of project progress against agreed‐upon objectives and milestones. This has in some cases even led to projects being  terminated due  to underperformance;  it  seems  that  the Management Team  is showing  the maximum  independence  that  can  be  expected within  the  constraints mentioned above. Within  the  current  setup,  there  is  room  for  improvement potential  such as e.g. making central  expenditure  information  available  in  a  timelier  manner  and  to  further  require  the consistent  use  of HarvestPlus  contract  templates  for  contractors  and  subcontractors.  This  has been identified previously19 and is currently being followed up by the host centers and the PAC Audit Committee.   

                                                      19 “Report on an Audit of the HarvestPlus Challenge Program – IFPRI‐Component“, October 2006 and “Report on an Audit of the HarvestPlus Challenge Program – CIAT‐Component“, November 2006. 

 

61 

6 RESOURCE MOBILIZATION AND FINANCIAL HEALTH  6.1 Past Fund Raising Performance and Future Outlook 

HarvestPlus has successfully raised funds in the past. Starting with World Bank seed funding of 3 million US$ in 2003, the Gates Foundation, Danida, Sida and the Austrian Government  joined in  2004.  In  2005,  USAID,  DFID,  ADB  and  the  International  Life  Sciences  Institute  joined  as donors.   With  exception  of  the  International  Life  Sciences  Institute,  all  donors  provided  multi‐year funding.  In  the  case  of  the  largest  HarvestPlus  donor,  the  Gates  Foundation,  funding  was guaranteed for a 4 year period from 2004 to 2007.  The  year  2008 will  represent  a  crossroad  for HarvestPlus  in  terms  of  funding  because  of  two parallel effects.   Firstly, the Gates Foundation has not yet committed to the next 4 year funding package that had been under negotiation since the end of 2006. One reason for this is an internal restructuring at the Gates Foundation, leading to a transfer of the HarvestPlus account from the health sector into the agricultural sector. In early 2007 the Gates Foundation indicated that it required more time to make a decision on the new four year plan. In consequence, the idea of bridge funding for 2008, with  a  subsequent  proposal  for  2009‐2012  funding  was  discussed.  Currently,  the  Gates Foundation is preparing a detailed cost effectiveness assessment for the potential of HarvestPlus crops in various regions of the world. At the time this report was written, the assessment was in its pilot phase. Results are expected in November 2007. On the basis of that assessment, the Gates Foundation plans to decide on future funding.  Secondly, several “traditional” HarvestPlus donors such as the World Bank, USAID, and Danida may reduce their commitments to HarvestPlus for 2008. The reasons for this differ by donor, for example. • The World Bank may split its total Challenge Program allocation amongst a growing number 

of Challenge Programs in 2008 or 2009 while at the same time focusing primarily on kicking off new Challenge Programs. 

• USAID  currently  funds HarvestPlus  from  two  sectors:  the  agricultural  and  the  nutrition sector. In interactions of the Panel with USAID it was indicated that, while funding from the agricultural sector is assumed to remain stable, funding from the nutrition sector is likely to decline,  due  to  the  perceived  long  time  to  impact  for  bio‐fortification  compared  to  other fortification methods. This is not considered to be in line with current priority setting in the nutrition sector of USAID. 

 The fact that the Gates Foundation and some other traditional HarvestPlus donors are reviewing their  funding puts HarvestPlus  in a  situation marked by  some uncertainty. While HarvestPlus management  and  the  PAC  are  reasonably  confident  of  receiving  funds  as  planned,  based  on positive  signals  e.g.  from  the  Gates  Foundation,  a  series  of measures  have  been  planned  to mitigate financial risk.  Firstly, HarvestPlus has  launched a new  fundraising effort,  focusing on European bilateral and multilateral donors. The HarvestPlus director has visited several European donors and research proposals will be submitted to the 7th European Union Framework Program.  

 

62 

 Secondly,  HarvestPlus  has  adapted  its  work  plans  for  2008,  adjusting  them  to  the  level  of expected funding for 2008.   Finally,  in  its  last  session,  the PAC has decided  to develop  a  contingency plan  in order  to be prepared for a situation where expected major funding would not materialize.  The overall past and expected future sources of funding are depicted in the table below. For the purpose  of  extrapolating  future  funding,  the  HarvestPlus  management  has  been  asked  to estimate potential funding  levels for each donor, and  then  to discount  them with  the perceived probability for obtaining commitment for  these funds. This  implies  that,  in  the case all funding materialized entirely, considerably higher funding levels would be obtained (e.g. 40 million US$ in 2009). However, in order to avoid interference with ongoing donor communication, the Panel has decided not to show expectations for individual donors but rather the sum of expected future donor funding for 2008 to 2012 below. The actual donor funding for 2003 to 2007 are based on the HarvestPlus Strategic Plan 2008‐2012.  

Figure 6.1. Past and future donor funding 

6.3 6.37.8 7.8

3

2.5 22 21.8

2.4 20.5

1.41

0.1

0.6

1.40.6

2003 2004 2005 2006 2007e 2008 2009 2010 2011 2012

Gates Foundation World Bank USAID DFID Other HarvestPlus donors

3.0

8.8

15.1

13.414.8

11.1

21.021.022.0

21.0

Past donor funding Expected future donor funding

(calculated on the basis of amount x probability for individual donors)

All numbers in million US$. Numbers might not add up due to rounding.

 The Panel finds  that  the high  level of past commitment – and  the prospect of further  increased future funding – represents a laudable achievement and confirms the actuality and relevance of the HarvestPlus mission.  In the same instance, the dependence on the Gates Foundation as dominant donor also poses the largest funding‐related risk for HarvestPlus.  

 

63 

In  the  past  (2003‐2007),  the  Gates  Foundation  has  provided  over  half  (55%)  of  HarvestPlus funding and in future plans this share is expected to grow, while total funding from other donors (existing and new, with similar contributions) is expected to be stable.   In  this  situation,  the  Panel  finds  it  crucial  that  HarvestPlus  safeguards  and  strengthens  its independence with respect to individual donors in several aspects: • Financial  independence. Obviously,  the  first HarvestPlus priority must be  to secure sufficient 

overall  funding  levels  to  allow  for  successful  program  implementation.  However,  a secondary  goal  should  be  a  balanced  donor  mix,  with  no  single  donor  dominating  the HarvestPlus  funding exclusively. Such an approach would minimize  financial risks such as changing donor priorities, as well as render  the program more  independent  in pursuing  its original goals. The Panel would  like  to point out, however,  that  the donor mix  is a second priority  and  should  not  interfere with  overall  fundraising  for  the  program. Other  global programs have, e.g. fared well while being almost exclusively dependent on one donor. 

• Management  resource  allocation.  The  HarvestPlus  Management  Team  needs  to  balance  its allocation of time and effort to different donors. The Gates Foundation, for example, currently pilots a  large‐scale  review of HarvestPlus  that will also  require  considerable  investment of HarvestPlus management resources. While without doubt important, this should, in turn, not lead to neglecting information needs of other existing or potentially new donors. 

• Program  strategy. Different donors have different philosophies  regarding  their  influence on the strategy of programs funded by them. Some donors, such as DFID, have refrained from interfering with HarvestPlus strategy at all. Others expect  that some strategic requirements are to be incorporated into program strategy. The Panel finds that, as for the points above, a delicate balance is needed between safeguarding the original program goals on the one hand while accommodating value‐adding donor input on the other hand. 

 Safeguarding  the program’s  independence along  these  lines  is a delicate and difficult process, marked by trade‐off decisions that require a high degree of self‐reflection both in the PAC and in the HarvestPlus Management Team.  The Panel has observed a deep level of understanding of the above mentioned issues in both the PAC and  the Management Team. The Panel  finds  that HarvestPlus has managed  this difficult situation well.   The measures taken by the Management Team in terms of responding to requirements of major donors  as well  as  the  fundraising  efforts undertaken by  the director  in  securing new  funding seem appropriate and balanced.  The PAC has proven  to safeguard key strategic elements of  the HarvestPlus approach, e.g.  the finite lifetime of about 15 years of the Challenge Program during the last PAC meeting.   The  Panel  encourages  the  PAC  and  the Management  Team  to  continue  and  further  intensify efforts to securing a sufficient and sufficiently balanced program funding making strategic use of its management resources and to safeguard the overall program strategy.  6.2 Performance against Budget 

HarvestPlus has reached – and exceeded – its revenue budget targets.   

 

64 

The original proposal (August 21, 2002) proposed a total budget for the first 4 years (2003‐2007) of operation of 46 million US$.   Including the inception year 2003, HarvestPlus revenue will reach about 52 million US$20 at year end 2007, if all pledged donor commitments materialize.  In  terms of budgeted and actual expenditures, HarvestPlus has a policy  in place (as part of  the Cooperative Research Agreement) that allows for contracting research only under the condition that necessary funds are available. In addition, project contracts contain a clause that allows for project  termination  if  pledged  donor  funding  does  not  materialize.  On  the  basis  of  these provisions,  HarvestPlus  is  effectively  shielded  against  overspending  its  budget  through contracted research. Past and planned budgeted expenditures are summarized in table 6.1.21  

Table 6.1 Past and planned budgeted expenditures  

  Being not unusual  for programs  that depend on donor contributions, HarvestPlus budgets are adjusted year by year.  6.3 Financial Health 

Financial transactions of HarvestPlus, inflows and outflows of funds, are processed through the accounting and internal control systems of CIAT and IFPRI. The two centers prepare an annual supplemental schedule to their audited financial statements showing sources and application of 

                                                      20 Including other income (mainly interest) of about 1.3 million US$. 21 HarvestPlus Medium Term Plan 2008‐2010. 

 

65 

funding on a cash receipts and disbursements basis. For  the 4  initial HarvestPlus years, overall cash has evolved as shown in table 6.2.22  

Table 6.2 Cash evolution 

In million US$  Year end 2003  Year end 2004  Year end 2005  Year end 2006 Cash receipts  10.1  4.0  15.6  12.6 … cumulated  10.1  14.1  29.8  42.3          Disbursements   2.0  7.8  9.5  12.6 … cumulated  2.0  9.9  19.3  32.0          Cumulated undisbursed cash23 

8.1 (1.458 days) 

4.1 (198) 

10.4 (401) 

10.4 (300) 

 The high amounts of cash held on behalf of the Challenge Program at year ends 2005 and 2006 reflect the program’s policy of only awarding project contracts when funds are secured.   The CGIAR  indicators  for  financial  health  cannot  be  directly  applied  to Challenge  Programs. Most of  the CGIAR standard financial performance  indicators are determined from  the balance sheet of individual centers. These ratios cannot be directly applied to the HarvestPlus as there is no  HarvestPlus  balance  sheet.  In  a  strict  CGIAR  accounting  sense,  HarvestPlus  itself  is  a restricted program and as such cannot generate unrestricted net assets. Unrestricted Net Assets are generated by unrestricted funding surpluses.  The undisbursed cash shown  in the table above may however be used as a proxy for the short‐term liquidity financial indicator. As can be seen, HarvestPlus has held 10.4 million US$ in cash at  year  ends  2005  and  2006.  For  year  end  2007,  on  the  basis  of  the  budgeted  revenues  and expenses, a similar cash level of about 10.2 million US$ (or 264 days)24 can be expected.  Since most  of  these  funds  are  already  committed  to  projects,  this  indicator  does  not  provide information about  the “unallocated cash reserve”,  i.e.  the amount of unallocated, uncommitted and unbudgeted funds that are still free for use within program purposes.  The  HarvestPlus  Audit  Committee  estimates  that  at  year  end  2006,  the  size  of  such  an unallocated cash reserve is at about 3 million US$ or 87 days25..  It  is expected  that  this  reserve will be drawn  further down  in 2007,  reaching  the  level of  total accumulated interest of ca. 0.75 million US$ or 20 days26 in year end 2007.   

                                                      22 Numbers might not add up due to rounding. 23 Number of days calculated on basis of total expenditures of that same year and 365 days per year. 24 Budgeted revenues and expenditures for 2007 are 13.9 and 14.0 million US$ (Strategic Plan 2008‐2010). Using these values as proxies  for expected cash receipts and disbursements  in 2007,  the cumulated undisbursed cash will be 10.2 million US$ at year end 2007 (differences due to rounding). 25 Based on actual disbursements of 12.6 million US$ in 2006. 26 Based on budgeted expenditures of 14 million US$ in 2007. 

 

66 

The  decrease  is  a  consequence  of  reaching  the  end  of  HarvestPlus’  first  program  phase.  In accounting terms, most HarvestPlus donor funds are restricted in the sense that they have to be spent  for program purposes  in  the  timeframe negotiated with  the donor,  i.e.  in  the  respective program phase.   The Panel endorses a recent recommendation of the PAC that HarvestPlus keep an uncommitted cash reserve that allows covering unexpected program expenditures and covers the management and governance costs  for a reasonable  time. The minimum  level of such a cash reserve  is  to be calculated  to  cover  a  contingency  scenario  that  would  allow  an  orderly  wind‐down  of HarvestPlus activities in the event of significant and unfavorable changes in donor funding.   It should be kept in mind, however, that HarvestPlus is a program with a finite lifetime. Such a reserve would therefore remain limited and should be used for program purposes at the end of the last HarvestPlus phase.  In its last meeting, the PAC has discussed the necessity to analyze the necessary size of such an unallocated cash reserve. Results are expected before year end 2007.  The program  efficiency  (indirect  cost  ratio)  can be  approximated by  the  transaction  cost  ratio, defined  as  management  and  administration  disbursements  divided  by  research‐related disbursements, based on the information available in the supplemental schedule to the financial reports of CIAT and IFPRI.  

Table 6.3. Transaction cost ratio 

In million US$  Year end 2004 (including 2003) 

Year end 2005  Year end 2006 

Disbursements for research  6.92  7.53  10.80 Disbursements for program management and administration 

2.95  1.95  1.82 

Transaction cost ratio*  43%  26%  17%  The  non‐research  related  disbursements  include  some27  disbursements  for  the  Management Team,  for  HarvestPlus  governance,  for  HarvestPlus  communication,  as  well  as  a  4% administrative fee paid to CIAT and IFPRI for financial management of research funds28.  Research  related  disbursements  include  all  contracted  research  at  CIAT,  IFPRI  and  all  other HarvestPlus research partners and include indirect cost29.  With the above definition, the transaction cost ration for HarvestPlus dropped from a high initial value (43%) in 2003/2004 to 26% in 2005 and ultimately to 17% in 2006.   The Panel generally  finds  that  the 2006  level of expenditures  for management, governance and administration is adequate.  

                                                      27 E.g. most functional coordinators are project‐financed. 28 The administrative fee is not charged on research funds of CIAT and IFPRI. 29 E.g. for 2006, audited indirect cost rates were 15.08% for IFPRI and 19.65% for CIAT.  

 

67 

 As pointed out previously, the Management Team is operating at capacity limits while showing high performance. The management also  seems  to  show a high degree of  cost  sensitivity. The Program Director, for example, travels in economy class even on intercontinental flights. 10 out of 12  PAC  respondents  (83%)  in  the  survey  done  for  this  report  are  “highly  satisfied” with  the administrative efficiency of the Management Team. The Panel finds that either reducing size or cost  per  employee  (salary  levels)  significantly would most  probably  lead  to  a  loss  in  overall performance that would outbalance the cost savings significantly.    Concerning governance costs, the Panel is of the opinion that the current PAC meeting frequency of  two  in‐person  meetings  per  year  constitutes  one  of  the  reasons  for  HarvestPlus’  strong governance  performance. HarvestPlus management  has  stressed  the  importance  of  the  strong guidance  through  the PAC  in  its day  to day business. The  size of  the PAC might be  reduced slightly, but the Panel is of the opinion that a “Steering Group of no more than 7 members”, as originally proposed by  the CGIAR30 would not allow  for  the representation of  the spectrum of expertise  needed  in  the  current  setup.  The  obvious  alternative  would  be  a  small  Executive Steering Committee  or  Board  that  could  draw  on  experience  from  expert  and/or  stakeholder groups. The Panel  is however of  the opinion  that  the present HarvestPlus setup represents  the more cost‐efficient alternative.  The administration fee level of 4% is a CGIAR standard and has been audited in 2006. This fee is applied  to  research‐related expenditures only and CIAT and  IFPRI  research  remains excluded. This arrangement seems reasonable to the Panel.   The  last  transaction  costs  cost  driver,  communication,  has  not  been  analyzed  in  detail  by  the Panel.  The  overall  communication  ansatz  and  strategy  seem  appropriate. HarvestPlus  target groups have been identified and are addressed. As a general rule, a stronger focus on targeting messages at well‐defined target group segments may increase communication efficiency further.  The Panel endorses the recent PAC recommendation that HarvestPlus defines and builds up an adequate unallocated cash reserve. The minimum requirements for this reserve would be defined by a contingency scenario  that would allow  for  the eventual orderly conclusion of HarvestPlus program activities. If no contingency arises the funds would enter the final year budget.  

                                                      30  See  „Guidelines  for  the Governance  and Management  of Challenge Programs“  in CGIAR Reform  Program 2001, CGIAR Secretariat, April 25, 2002.  

 

68 

A‐1 

 ANNEX 1 

 HarvestPlus 1st CPER Panel Composition and Biodata 

 CHAIR Ricardo Uauy Institute of Nutrition and Food Technology University of Chile Casilla 138‐111 Santiago, Chile Tel: +56‐2‐221‐4105 Fax: +56‐2‐221‐4030 Email: Ricardo.Uauy@lshtm.ac.uk  MEMBERS Markus A. Palenberg Global Public Policy Institute Reinhardtstr. 15, 10117 Berlin, Germany General: +49‐3‐2759 5975 ‐ 0 Direct: +49‐(3)‐2759 5975 – 112 Mobile: +49 177 7815 204   Fax: +49‐30‐6908 8200 Email: mpalenberg@gppi.net Web: http://www.gppi.net  A. Hamid Zakri UNU Institute of Advanced Studies 6F International Organizations Center Pacifico‐Yokohama, 1‐1‐1 Minato Mirai Nishi‐ku, Yokohama, Japan 220‐0012 Tel: +81 (045)221‐2300 Fax: +81 (045)221‐2302 E‐mail: Zakri@ias.unu.edu   UAUY, Ricardo (Chile) Position: Currently,  Professor  of  Public Health Nutrition,  London  School  of Hygiene  &  Tropical, Medicine, University of London, UK. Expertise: Nutrition, biochemistry, child health, malnutrition, public health nutrition.  Education: Ph.D. Nutritional  Biochemistry  and Metabolism,  International Nutrition, Massachusetts Institute of Technology. Board certified in USA in Pediatrics and in Neonatal‐Perinatal Medicine.  Experience: 2002‐to date: Professor  and Chair, Public Health Nutrition, London  School  of Hygiene and Tropical Medicine, University of London. 2002  ‐ 2005: UN University Regional Coordinator  for Latin America, Food and Nutrition Program. 1994  ‐ 2002: Director,  Institute of Nutrition and Food Technology (INTA), University of Chile. Dr Uauy has directed INTAʹs training programs, the Clinical Research Center, the Division of Human Nutrition and Medical Sciences and was resident‐coordinator for UN University activities at INTA. From 1985 to 1990 he was Associate Professor of Nutrition and Pediatrics  at  the Center  for Human Nutrition University of Texas  Southwestern Medical Center  at Dallas. Dr Uauy has been involved as advisor for the UN, WHO and FAO from 1981 to 2001.  He was elected  President  of  the  International Union  of Nutritional  Sciences  and  received  the  Presidential Award  (Chile)  in Science  for his  research  into  the effects of essential  fatty acids on gene expression 

 

A-2  

during  retinal  and  brain  development. He  has  also  served  as  President  of  the  Chilean Nutrition Society and is a member of the Scientific Advisory of the Novartis Foundation. Dr Uauy has over 250 scientific publications on various aspects of human nutritional needs  in health and disease with an emphasis on neonatal nutrition. He received the McCollum award presented by the American Society for Nutritional Sciences (USA) in 2000.   PALENBERG, Markus (Germany)  Position: Currently  since  2005:  Managing  Director  of  the  Global  Public  Policy  Institute  (GPPi), Germany. Expertise: governance & management, program evaluation, research in theoretical physics.  Education: Massachusetts  Institute of Technology, USA, 1998‐2000. PhD, RWTH Aachen University, Germany, 1994‐1998. Doctoral thesis in theoretical physics. Graduation with ʺsumma cum laudeʺ and award  of  the  ʺBorchert  medalʺ  for  academic  excellence.  Diploma  in  theoretical  physics,  RWTH Aachen,Germany, 1988‐1994.  Experience: 2004‐2005: Corporate Projects Manager for three business units, leading and driving top‐level projects and taking on interim management roles on board and director level,  SCOUT24 GMBH, Munich, Baar, Switzerland. 2000‐2004: Team leader of up to 5 consultants and 20 client team members on  projects  in  Germany,  France,  Italy  and  Portugal,  reporting  directly  to  board‐level  client management. Focus on strategy development (market research and benchmarking‐based) and overall project  management,  McKinsey  &  Company  Inc.,  Paris,  Cologne,  Munich.  Other  part  time professional  activities  include:  Business Consultant  for Etnoka.com,  Paris,  2004;  Part‐time  teaching assistant,  RWTH Aachen  and  Laser‐Laboratorium Göttingen  e.V,  (1990‐98)  and  freelance  research consultant,  (1993‐2000).  Dr  Palenberg  is  member  of  the  McKinsey  Alumnus,  non‐profit  alumni association; the MIT alumnus association and member of the ICAN career advisor network.  ZAKRI, A. Hamid (Malaysia) Position: Currently, Director of United Nations University/Institute of Advanced Studies (UNU/IAS), Tokyo.  Expertise: Genetics/breeding  of  rice  and  soybean  for  Malaysian  conditions,  genetic  variation  of Malaysian timber, biodiversity and biotechnology policies in developing countries. Education: Ph.D, Crop Science(Plant Breeding), Michigan State University, USA, 1974‐1976. M.S, Crop Science  (Plant  Breeding), Michigan  State University, USA,  1972‐1974.  B.S. Crop  Science,  Louisiana State University, USA, 1970‐1972.  Experience: Dr Zakri  is currently  the Director of UNU/IAS  in Tokyo. He  is also  the Co‐Chair of  the Millennium Ecosystem Assessment Board, a  four‐year undertaking  launched by  the UN Secretary–General in 2001 to assess the state‐of‐health of the world’s ecosystems. He is a Council member of the Third World  Academy  of  Sciences, member  of  the  Board  of  Trustees  of  the  Institute  for  Global Environmental  Strategies.  Dr  Zakri  served  as  the  Secretary–General  of  the  Society  for  the Advancement of Breeding Researches in Asia and Oceania (SABRAO) from 1981‐89 and the Chair of the Subsidiary Body on Scientific, Technical and Technological Advice (SBSTTA) of the Convention on Biological  Diversity  from  1997  to  99.  He  was  a  Deputy  Vice–Chancellor  of  the  University  of Kebangsaan  in Malaysia  from 1992  to 2000 and  the Founding President  (1994‐2000) of  the Genetics Society of Malaysia.  In  1998, he  received  the Langkawi Award, a national  laureate  for outstanding contribution in the field of environment in Malaysia. Three new species known to science are named after him: a beetle (Paleosepharia zakrii); a cicada (Pomponia zakrii), and a pitcher plant (Nepenthes curtisii ssp. zakriana). 

A‐3 

  

ANNEX 2  

CGIAR Challenge Program External Reviews (CPER) Guidelines 

Joint Document by the SC and CGIAR Secretariat- January 30, 2007

CGIAR

CHALLENGE PROGRAM EXTERNAL REVIEWS (CPER)

GUIDELINES

Background

Challenge Programs (CPs) are time-bound, independently-governed programs of high-

impact research that target CGIAR research goals and priorities and require partnerships

with a wide range of organizations. CPs are meant to improve the CGIAR’s relevance and

impact, better target and integrate existing activities, achieve greater efficiency and cohesion

among CGIAR Centers, widen and improve their partnerships with non-CGIAR research

partners and mobilize more stable and long term financing.

Three CPs were approved for implementation beginning in 2003: Water and Food (W&F);

HarvestPlus (HP+); and Generation (GCP). At AGM04, the Sub-Saharan Africa Challenge

Program (SSA CP) was approved in principle for an 18-month inception phase. ExCo 6 (May

2004) requested the SC and the CGIAR Secretariat to synthesize some lessons learned from

the three pilot CPs. One of the recommendations of the ensuing 2004 report was that “the

current CPs be evaluated by an external panel after five years from start to assess the value

added provided by the CP structure in terms of the effectiveness of partnerships and

generation of outputs, evidence of adoption and impact of research, cost effectiveness of

operations and sustained donor interest”.

At the AGM 2005, the Group endorsed a set of 20 System Priorities to enhance the focus and

cohesion of the CGIAR’s research agenda. CPs may be an important option for the

implementation of priority research and need to be reviewed also in this context to ensure

that their rationale is validated by experience.

The guidelines for the CPERs have been prepared to address the particular characteristics of

the programs that make their operations and governance distinctly different from those of

the CGIAR Centers, and anticipating that CPs of different nature and duration will

increasingly be used to implement a part of the CGIAR’s research agenda, and help the

CGIAR leverage external research capacities.

Issues

These guidelines provide the general principles that guide all CPERs. For each individual

review, the specific Terms of Reference (TOR) will include both the generic issues listed

below and a set of strategic issues identified through consultation with stakeholders,

including the SC and the CGIAR Secretariat.

The CPER is aimed at informing the CGIAR members, stakeholders and other investors

about the relevance of the program, and that the investment is sound, or recommend

measures to make it so. It will advise the program and its partners about the efficiency and

A-4

Joint Document by the SC and CGIAR Secretariat- January 30, 2007

effectiveness of their work and the appropriateness of their internal monitoring and

evaluation, and make recommendations for improvements.

The CPER should address the overall scientific quality of the program, the program’s

effectiveness in reaching its research goals and the appropriateness of management and

governance. The CPER should focus on the extent to which the key defining characteristics

of a CP have been met: high-impact research; targets the CGIAR goals in relation to complex

issues of overwhelming global and/or regional significance; requires partnerships among a

wide range of institutions in order to deliver its products; is time-bound; and is

independently-governed.

The individual CPERs are expected to provide inputs to a broader assessment or analysis of

the extent to which the CP model is fulfilling its objectives, i.e. the purposes for which it was

conceptualized and adopted.

The issues that the CPER needs to address can be clustered in two main categories:

Programmatic issues:

1. Is it likely that the CP research will eventually have a high impact based upon the

conduct of the program to date? Has the CP clearly identified its direct and final

beneficiaries? Were the CP’s key assumptions/expected impact pathways concerning critical

scientific and technological constraints, socioeconomic conditions, adoption, markets,

researchers’ motivation and donors’ interests appropriate? Is there any evidence of progress

along these pathways? Are there changes required to help increase the chances of success

and the extent of impacts?

2. What has been the added scientific value from the CP; in particular, by the partnerships

represented by the CP? What has been achieved by the CP that could not have been achieved

without it, through Center activities or SWEPs? Is there any evidence of synergies and/or

new modes of operation of the Centers involved in the CP? Can these synergies be

improved?

3. Is the science in the CP overall and in the different components of high quality and are

the scientific outputs recognised by peers? Does the CP, including all its partners, follow a

clear policy of best practices regarding ethics and intellectual property?

4. Was the international public goods nature of the planned outputs clear at the outset and

has this been reinforced from the conduct of the program?

5. To what extent have the objectives of the CP been achieved? Has the CP been effective in

delivering outputs? Is there already evidence of adoption and other outcomes among the

intended users? If there was a technology exchange process, how effective and efficient was

it?

6. Is the CP cohesive, allocating a critical mass of resources to research with a clear set of

goals in terms of outputs, outcomes, and impacts that can be monitored to measure

collective progress at a system level? Was an appropriate M&E system included in the

design of the CP and has it been implemented (including, inter alia, baseline data and

A-5

Joint Document by the SC and CGIAR Secretariat- January 30, 2007

outcome monitoring) in order to be in a position to generate, disseminate and use credible

and timely evidence concerning program impact?

7. In what ways has the CP contributed to capacity building of partners? Is capacity

building included in the business plan and appropriately integrated into the program?

Management/governance/partnership issues:

1. Is there a clear, balanced, and formal governance structure involving research partners?

Does it provide effective and adequate oversight, including financial oversight? Are there

any perceived or real conflicts of interest in the governing body? Is there a clear and effective

M&E system in place? What are the constraints and benefits for the CP (in terms of research,

synergies, financial arrangements, etc) that result from the arrangements with the host

institution?

2. What is the relationship between CP governance systems and the Boards of the Centers

leading or participating in them?

3. Is the breadth of the CP in terms of partners optimal for reaching the objectives? Is there

clarity of roles and responsibilities of all partners? Is there an effective system for internal

knowledge sharing and communication across regions and research sites? Are the

transaction costs in partnering well-managed?

4. What internal / external audit arrangements are in place, and do these cover site

operations? For commissioned research, are the rules and mechanisms transparent? Is there

a well-established, clearly defined and transparent internal control environment on

implementing competitive grants?

5. How is the program’s multi-year funding ensured? Is financial support diversified

enough to avoid funding risks? How much is the deviation (if any) between budget and

actual expenditures? What is the percentage of unidentified funding in budget at time of

approval by the CP governing body? What is the proportion of transaction costs to

expenditure/budget/funding?

The purpose and objectives of the CPER are to learn and to assess; hence the following

general principles guide the conduct of the review:

• The Panel should take into account assessments made of the CP and available

information such as MTP reviews, ex ante project reviews, reports to donors and any

other information from internal monitoring and evaluation mechanisms.

• The Panel should identify key program assumptions, particularly those having

implications for costs, benefits, outcomes and impact, indicating which items are

expected to be included as costs or benefits, their expected magnitudes and time profiles.

• The Program needs to ensure that critical data on performance, benchmarks and context

are available at the time of the CPER.

• The Panel needs to document any unexpected costs and benefits of the CP, including

spillovers.

• The review process should involve adequate communication of the CPER with the CP

both during the review and after it, and the results should be communicated using

various approaches, preferably electronic means, reaching also external audiences.

A-6

Joint Document by the SC and CGIAR Secretariat- January 30, 2007

Implementation

The CPERs are commissioned by the SC on behalf of the Group. They are organized jointly

by the SC and the CGIAR Secretariat and their implementation is coordinated by the SC

Secretariat. They complement the other elements of the CGIAR’s Monitoring and Evaluation

systems, namely the annual MTP review by the SC and the Performance Measurement

System, which will be adjusted also to accommodate the CPs.

An external review panel of at least two, maximum three members will be assembled. The

Panel Chair should have demonstrated experience and skills in research management as

well as in scientific research. The profile of the Panel Chair would also depend on the nature

of the CP’s research as well as the stage that the CP is in, in its life cycle. S/he would have an

understanding of international agricultural research for development; have excellent

analytical capability, and excellent command of English. S/he should have experience in

reviewing complex research programs and demonstrated capacity to lead an independent

external review. The Panel member responsible for the governance, management and

partnership component of the review should have expertise in program governance,

management of multi-partner consortia and program funding.

The review team may include 1-2 consultants to cover specific aspects corresponding to the

complexity of the concerned program in which the Panel requires ad hoc expertise. Thus, the

review Panel will have more flexibility to deal with issues that may not require an expert to

be on board for the full period of the review. In consultation with the SC and the CGIAR

Secretariat the Panel will determine if there is a need for consultants, who subsequently are

selected through a standard Panel selection process led by the SC. The TOR of these

consultants should include time for consultations upfront and towards the end of the review

process.

All Panel members and consultants participate in the review in their personal capacity and

should have no conflict of interest with the CP. Causes of potential conflict include: current

employment with a CGIAR Center or CP; previous employment or consultancy with the CP;

employment with any of the CP partners; participation or consultancy in planning of the CP

or its components; representative of a donor to the CP with any responsibility related to the

program funding.

In addition to the generic questions presented in this document, additional review questions

will be included in the TOR for each CPER. These would reflect the specific nature and focus

of the CP and its research and review history. The CPER should provide information to

guide decisions about continuing the program’s activities.

The review will include one visit to the host institution of the CP and also a visit to at least

one CP partner. It is essential that the CPER reviews the efficiency of the partnerships and

captures both the internal partners’ and external stakeholders’ perceptions.

A-7

Joint Document by the SC and CGIAR Secretariat- January 30, 2007

The report should be clear and succinct. It should explicitly address all the points of the TOR

with sufficient analysis to support the conclusions; and present clear and explicit

recommendations for improvement, or for bringing the CP to closure. The report should be

brief and concise (not to exceed 60 pages), and should include a short Executive Summary

(not more than 2 pages). Any supplementary evidence and/or tables could be included in an

annex, but the text should be self-contained.

The CP will prepare a response to the Panel report. The SC and CGIAR Secretariats will

prepare a commentary to the report prior to its submission to the ExCo and to the Group.

The SC and the CGIAR Secretariat will monitor the follow-up of the CPER through the MTP

and report their assessment to ExCo.

A-8

Joint Document by the SC and CGIAR Secretariat- January 30, 2007

Background Documents that the CPER Panel is expected to use

1. CP specific Terms of Reference

2. CP full project proposal

3. SC commentary on CP full proposal

4. CP final Business plan

5. CP Annual reports

6. CP MTPs, including annual work plans

7. SC commentaries of CP MTPs

8. CP annual budgets

9. Description of competitive grants process

10. Major funding applications

11. Reports to donors

12. Donor assessments

13. Description of internal monitoring and evaluation processes

14. Internal monitoring and evaluation reports

15. List of program publications by category (to be decided)

16. List of program partners, the specific contribution to the research and the associated budget

share

17. CGIAR documents of lessons learned from CPs (e.g. 2004)

18. Selected peer reviewed papers/books produced by the CP

A-9

A‐10 

 ANNEX 3 

List of Strategic Issues for the 1st HarvestPlus CPER  Background  HarvestPlus, the Bio‐fortification Challenge Program (CP) of the CGIAR began operations in January 2004. The Challenge Program External Review (CPER) evaluates the progress of the CP as it is coming towards  the end of  its  first phase. The review will be conducted  following  the CPER Guidelines, a companion document to this TOR and available at www.sciencecouncil.cgiar.org.  For logistics please see the “Implementation” section of the CPER Guidelines. It is expected that this review will  take up  to  a  total of  30 working days. The  schedule  for  the  review  as well as  contract details will be specified in the appointment note to panel members.  Topics to be covered  The main topics to be covered by the CPER are:   1. The seven (7) programmatic issues as described in pg. 2 of the CPER Guidelines. 2. The four (4) management, governance and partnerships issues as described in pg. 3 of the CPER 

Guidelines.   In addition, while addressing  these  issues,  the Panel  is asked  to comment on  the  following specific items:  3. Are HarvestPlus resources best employed to help reduce micronutrient malnutrition globally? To 

what  extent  has  the  promise  of  HarvestPlus  of  adding  significant  amounts  of  bioavailable nutrients  such  as  iron,  zinc  and  vitamin A  to  key  staples  that  also  have  excellent  agronomic qualities been achieved? Is significant progress likely in the CPʹs time frame? 

4. To what extent have health and nutritional benefits of bio‐fortified staples been demonstrated in humans,  either  under  controlled  conditions  (efficacy)  or  under  program conditions (effectiveness)?  Are  plans  in  place  for  assessments  of  these  benefits  in  humans reasonable? 

5. HarvestPlus has bio‐fortication country programs  in Africa, Latin America and Asia (China and India). Are there spillovers from the country programs to other sites and as IPGs? 

6. Transgenic  methods  may  provide  the  best  approach  for  bio‐fortification  as  compared  to conventional  breeding  (e.g.  beta‐carotene  for  rice  and  cassava).  To  what  extent  should biotechnology and nutritional genomics take the lead in identifying specific genes as compared to traditional  breeding?  What  is  the  recommendation  for  research  on  transgenics  to  improve nutritional value?  

7. For  reasons  of  transparency  towards  the  public,  HarvestPlus’  positioning  vis‐à‐vis  the  GMO debate may  deserve more  attention. Has HarvestPlus  developed  plans  for  transgenic  outputs involving  NARS  for  which  compliance  with  the  appropriate  local  regulatory  and  biosafety guidelines will be necessary for field release? 

8. To  what  extent  should  resources  be  applied  to  completing  the  work  with  Phase I  crops  vs. expanding to Phase II?  

9. To what  extent  and when  should NARS  be  involved  in  adaptive  and  participatory  breeding activities of the promising varieties? 

10. To  what  extent  is  the  current  process  of  nomination  of  the  Program  Advisory  Committee members conducive to including diverse and novel perspectives from outside the CGIAR system? 

 

11 

11. Does  the  program  ensure  effective  buy‐in  and  feedback  from  external  stakeholders?  To what extent are the program’s financial and management processes considered transparent and fair by the partners? 

A-11

A‐12 

 ANNEX 4 

Itinerary of the CPER Panel (Schedule of visits to the Program)   

26 April‐ 1 May 2007   Visit to HarvestPlus at IFPRI, Washington D.C.  13 ‐ 14 July 2007  The Panel meets in Paris to work on the draft  30 July – 3 August 2007  Visit to HarvestPlus at CIAT, Cali, Colombia  

A‐13 

 ANNEX 5 

People contacted/ interviewed by the Panel  Donors Lawrence Kent, Senior Program officer Global Development, Bill and Melinda Gates Foundation Katharine Kreis, Senior Program officer nutrition/health, Bill and Melinda Gates Foundation Eija Pehu Science and Technology adviser, The World Bank Rob Bertram (agriculture), United States Agency for International Development (USAID)  Cheryl Jackson (nutrition), USAID Frances Davidson, Nutrition Team Leader, USAID   Larry Beach, Biotechnology Advisor for Africa, USAID  Giusette Lamb, USAID  Jonathan Wadsworth , U.K. Department for International Development (DFID) Finn Christensen, Royal Danish Ministry of Foreign Affairs (DANIDA)  Hanna Carus, DANIDA Staffan Wiktelius , Swedish International Development Agency (SIDA) Jacques Jeugmans , Asian Development Bank (ADB)  Canadian International Development Agency (CIDA) International Life Sciences Institute (ILSI)  Austrian Ministry of Finance  Partners Ross M. Welch, Plant Physiologist & Lead Scientist, USDA/ARS, U.S. Plant, Soil and Nutrition Laboratory, Department of Crop & Soil Sciences, Cornell University James Stangoulis, Research Fellow, Plant and Food Science Department, University of Adelaide, Australia  Jan Low, CIP, Nairobi Kenya  Paul Van Jaarsveld, MRC Nutrition Research Unit, Cape Town, South Africa Penelope Nestel, University of Southampton, UK Timothy Johns, Bioversity International, Rome, Italy Barbara Burlingame Nutrition, FAO, Rome) MS Swaminathan (Chennai, India and Bioversity International, Rome, Italy) Jorge Dubcovsky, USDA National Research Initiative Plant Genome Program, UC Davis California, USA).   HarvestPlus Management Howarth Bouis, Program Director Bonnie McClafferty, Communications and Donor Relations Coordinator Christine Hotz, Nutrition Coordinator J.V. Meenakshi, Impact and Policy Coordinator Wolfgang Pfeiffer, Breeding Coordinator Joe Tohme, Biotechnology Coordinator Kwasi Ampofo, Reaching End User Program Coordinator   Program Advisory Committee (PAC) members Maria Jose Amstalden Sampaio , PAC, EMBRAPA, Brazil Barbara Underwood , PAC Vice Chair, Ret. Columbia University, USA Yves Savidan, PAC, CIAT Board Chair, France Patrick J. Murphy, PAC Audit Chair, USA Michael Lipton, University of Sussex, UK 

 

14 

Zhang Qifa, Professor and Director, National Key Laboratory of Crop Genetic Improvement, Huazhong Agricultural University, China  Mark Wahlqvist, Monash University, Australia Joachim von Braun, IFPRI, Director General David Governey, Director of Finance and Administration, IFPRI Albin Hübscher, Deputy Director General for Corporate Services, CIAT (informal PAC member) Mohamed Ait‐Kadi, PAC Audit, Conseil Général du Développement, Rabat, Morocco Estrella Alabastro, Government of the Philippines, Philippines Richard Flavell, Ceres Inc., USA David Miron, PAC Audit, USA Ruth Oniang’o , Editor‐in‐Chief, African Journal of Food, Agriculture, Nutrition and Development (AJFAND), Kenya Peter Sandoe, The Royal Veterinary & Agricultural University, Denmark  Suttilak Smitasiri, Mahidol University, Thailand Peter McPherson , PAC Chair, National Association of Universities and Land Grand Colleges (NASULGC), USA  CIAT Laboratories and field site visits Joachim Voss, CIAT Director General Douglas Pachico, Deputy Director General for Research Albin Hubscher, Director of Administration Steve Beebe, CIAT, Senior Researcher Bean Breeding Program  Helena Pachon, CIAT, AgroSalud Nutritionist  Juan Carlos Perez Asóciate Researcher   Paul Chavarriaga, Yuca genetic transformation Jesús Alonso Beltrot, Yuca genetic transformation Teresa Sanchez, Cassava laboratories  Cesar Martinez, Senior Researcher Agro Salud Rice Leader  Lucia Chavez, Biochemistry laboratory Mathew Blair, Plant biotechnologist/breeder  Luis Sanint, CIAT Finance Department, Colombia Wolfgang Pfeiffer, CIAT, Colombia  CGIAR Secretariat, Washington D.C Namita Datta, Chief‐ Governance Advisor Manny Lantin, Science Advisor Loriza Dagdag, Financial Officer   

A-14

A‐15 

 ANNEX 6 

List of main documents reviewed by the Panel  HarvestPlus Governance and Management Handbook (May 2005) IFPRI CIAT Agreement CGIAR Challenge Program External Reviews (CPER) Guidelines Phase I Program Review Document PAC minutes 2003‐2005 PAC members, November 2006 PAC Audit Committee minutes, 2005‐2006 HarvestPlus MTPs 2005‐2007; 2006‐2008; 2007‐2009; 2008‐2010 Science Council Commentary to the MTPs and Center’s Responses HarvestPlus Bio‐fortification Proposal Reaching End Users Proposal Letters of Support to the HarvestPlus CP HarvestPlus Annual Reports 2004, 2005, 2006 Gates Foundation Reports for HarvestPlus Phase I: 2004, 2005 Gates Foundation Report for Reaching End Users Donors contact information Executive Council Annual Reports 2005 & 2006 Funding of collaborators for Phase I and Phase II Internal Review of contracts for Breeding, REU, Impact and Nutritional Genomics HarvestPlus Planning 2007 Time Allocation Assessment HarvestPlus PMT Time Allocation Task Ranking Report on an Audit of the HarvestPlus Challenge Program CIAT Component, Nov. 2006 Work Plan  Budget template, 2006 IFPRI HP Supplemental Schedule 2006 IFPRI Contracting System IFPRI Audited Financial Statements 2005 IFPRI HarvestPlus Supplemental Schedule 2006 HarvestPlus Contract Template Funding projections CIAT‐Audited Financial Statements 2005 CIAT HarvestPlus Supplemental Schedule 2006 2003‐2006 Consolidated Budget List of publications by HarvestPlus Alliance Members & PMT Survey of publications referring to HarvestPlus Letter of Inquiry HarvestPlus Phase II CGIAR Secretariat Commentary on the Governance, Management and Finance Aspects of the Annual Reports (2005) of Challenge Programs  Synthesis of Lessons Learnt from Initial Implementation of CGIAR Challenge Programs, 2004 Funding projection table (2006‐2010) Budget and expenditure tables (include contractee) Explanation of contracting system Description of fundraising plan     

A‐16 

ANNEX 7  Relevant information on Micronutrient deficiencies  

(Vit A, Fe, and Zn) modified from Lancet 2007 (in press) Model to consider multicausality of Death and Disability from Malnutrition  

 Vitamin A,  zinc,  iron  and  iodine  deficiencies  and  the  anthropometric measures  as  risk  factors  are largely  independent,  but  there  is  still  overlap  in  their  risk,  e.g.  diarrhea  for  vitamin A,  zinc,  and stunting. In addition to simple multi‐causality, about half of the effect of zinc deficiency is mediated through stunting; the rest is a direct effect on morbidity and mortality, probably as a result of reduced immune  function.    Therefore,  an  analysis was  done  to  account  for  joint  effects.    Collectively,  the anthropometric  and micronutrient  deficiencies  examined  in  this  analysis  are  responsible  for  about 30% of deaths and disease burden  in children  less  than 5 years old and 9% of disease burden  in all ages globally.  This constitutes a very large attributable burden for this set of conditions.   The  risk  related  to  sub‐optimal  breastfeeding  may  in  part  be  due  to  micro  nutrient  deficiencies resulted  from  inadequate dietary  intake, but  is more  importantly due  to avoidance of  infection. The disease burden attributed to sub‐optimal breastfeeding cannot be added to that from undernutrition risk  factors without  further  consideration of  their  joint  effects, which was beyond  the  scope of  the analyses; however, it is appropriate to consider breastfeeding practices to be important risk factors for infectious disease burden in their own right.   1. Effective  interventions  are  available  to  reduce  stunting,  micronutrient  deficiencies  and  child 

deaths.  If  implemented  at  scale,  they would  reduce  the DALYs  (all  child  deaths)  by  about  a quarter in the short term.  

2. Among  the  interventions  reviewed,  breastfeeding  counseling  and  vitamin  A  and  zinc fortification/supplementation have the greatest potential to reduce the burden of child morbidity and mortality.  

3. Improving complementary feeding through strategies such as nutrition counseling for food secure populations and nutrition counseling, food supplements and/or conditional cash transfers in food insecure populations could substantially reduce stunting.  

 

A1AA17 

4. Maternal nutrition  interventions  (iron  folate supplements and  targeted balanced energy protein supplementation) can make a difference to maternal health and birth outcomes, but relatively few have been evaluated at scale in health systems.  

5. Although available interventions can make a difference in the short term, elimination of stunting will require long term  investments to  improve education, economic status and empowerment of women. Maternal  short  stature  and  anemia may  increase  the  risk  of  death  of  the mother  at delivery. 

 Global deaths and disability adjusted life years (DALYs) in children under five years of age 

attributed to micronutrient deficiencies in 2004  

Condition  Deaths Percentage of  <5y Deaths 

Disease Burden  (1000 DALYs) 

Percentage of  <5y DALYs 

Vitamin A def  773,529  7.5  26,221  6.0 Zinc deficiency  665,347  6.4  23,991  5.5 Iron deficiency  20,854  0.2   2,156  0.5 Iodine deficiency  3,619  0.03  2,614  0.6  Global deaths and disease burden measured in disability‐adjusted life years (DALYs) in children under five years of age attributed to nutritional status measures in 2004 

Measure  Deaths Percentage of <5y Deaths 

Disease Burden  (1000 DALYs) 

Percentage of <5y DALYs 

Underweight*  1,957,530  19.0  81,358  18.7 Stunting  1,491,188  14.5  54,912  12.6 Wasting*  1,505,236  14.6  64,566  14.8 (Severe wasting*)†  (449,160)  (4.4)  (25,929)  (6.0) IUGR‐low birth weight  337,047  3.3  13,536  3.1 Total of stunting, severe wasting and IUGR‐low birth weight** 

2,184,973  21.4  90,962  21.2 

*Deaths (138,739) and DALYs (14,486,400) directly attributed to “protein energy malnutrition” included.  †Included in wasting  ‡Total takes into account the joint distribution of stunting and severe wasting  

• More than 3 million deaths and 30%  of the disease burden in children less than 5 years old can be attributed to maternal and child undernutrition. 

• The more than 20% of global deaths and DALYs in children less than 5 years old attributed to stunting, severe wasting and intrauterine growth restriction is the largest percentage for risk factors in this age group.  

• Of the micronutrients, vitamin A and zinc deficiencies, by far have the largest remaining disease burden.   

• 1.4 million deaths and 10%  of the disease burden in children <5y can be attributed to sub‐optimal breastfeeding, especially non‐exclusive breastfeeding in the first 6 months of life.   

  

A-17

A‐18 

 ANNEX 8  

 Costs and contributions of bio‐fortified foods 

DSM Nutritional Products

0

Proposals for NutriRice™ label and costs

Héctor Cori

Nutrition Improvement Program

DSM Nutritional Products

1LabelLabel

200 grams of rice fortified with Nutririce® provide:

ValueReference

Value%

ReferenceMacronutrients **

Calories (kcal) 730 2404 30%Carbohydrates (g) 160 331 48%Protein 14 46 30%

Vitamins *Vitamin A (µg) 250 500 50%Vitamin B1 (mg) 0.55 1.10 50%Folate (µg) 200 400 50%Niacin (mg) 7.0 14.0 50%Vitamin B12 (µg) 1.2 2.4 50%

Minerals *Iron (mg) [10%RBV] 14.7 29.4 50%

* Reccomended Nutrient Intakes, as per WHO 2004. ** Dietary Reference Intakes, IOM, FNB, 2005.

Nutrient% of daily requirement provided

0% 20% 40% 60% 80% 100%

DSM Nutritional Products

2China 1: Extruder amortizationChina 1: Extruder amortization

Extruder Capacity 315 Kg/hourShifts per day 2Price of broken rice 0.30USD /KgSelling price of rice 0.50USD /KgExtruder Cost 2.00USD mioRice consumption 200 g/person/day

Cost per Kg rice 0.008USD Impact in price of rice 1.7%Cost/person/year 0.62USD

Scenario Details

Cost Impact

DSM Nutritional Products

3China 2: No extruder amortizationChina 2: No extruder amortization

Extruder Capacity 315 Kg/hourShifts per day 2Price of broken rice 0.30USD /KgSelling price of rice 0.50USD /KgExtruder Cost 0.00USD mioRice consumption 200 g/person/day

Cost per Kg rice 0.005USD Impact in price of rice 0.9%Cost/person/year 0.35USD

Scenario Details

Cost Impact

DSM Nutritional Products

4India 1: Extruder amortizationIndia 1: Extruder amortization

Extruder Capacity 315 Kg/hourShifts per day 2Price of broken rice 0.13USD /KgSelling price of rice 0.22USD /KgExtruder Cost 2.00USD mioRice consumption 200 g/person/day

Cost per Kg rice 0.010USD Impact in price of rice 4.3%Cost/person/year 0.70USD

Scenario Details

Cost Impact

DSM Nutritional Products

5India 2: No extruder amortizationIndia 2: No extruder amortization

Extruder Capacity 315 Kg/hourShifts per day 2Price of broken rice 0.13USD /KgSelling price of rice 0.22USD /KgExtruder Cost 0.00USD mioRice consumption 200 g/person/day

Cost per Kg rice 0.006USD Impact in price of rice 2.7%Cost/person/year 0.43USD

Scenario Details

Cost Impact

A-19

Average= 7 g/day Category1= ≤ 10 Average= 15 g/day Category= 11−19 Average= 30 g/day Category= ≥ 20

Content (mg/kg)

Intake2

(mg/day)EAR 3

(%)Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Vit. A (RE)a Retinyl Palmitate- 1.7 m IU/g (oil) 35.0 0.159 45 6.86 0.018 25.0 0.244 68 4.90 0.027 20.0 0.390 109 3.92 0.043

Average= 15 g/day Category= ≤ 25 Average= 35 g/day Category= 26−47 Average= 60 g/day Category= ≥ 48

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Vit. Aa Retinyl Palmitate-250,000 IU/g (dry) 20.0 0.180 50 10.67 0.042 15.0 0.315 88 8.00 0.102 7.5 0.270 76 4.00 0.088

Average= 3 g/day Category= ≤ 5 Average= 6 g/day Category= > 5 Average= No applicable

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Iodinec Potassium iodate (raw and refined) 60.0 0.153 143 2.03 0.002 40.0 0.204 190 1.36 0.003 N.A.Potassium iodide (refined salt) 60.0 0.135 126 0.95 0.001 40.0 0.180 168 0.63 0.001 N.A.

Notes:1 Categorization of the country based on the per capita intake (g/day).2 Considering losses of the micronutrient during the marketing life of the food and the food preparation.3 For women of reproductive age.4 Based on the micronutrient that shows the minimum contribution in term of EAR.a RE = Retinol equivalents; 1 μg retinol = 1 μg RE; 1 μg β-carotene = 0.167 μg RE; 1 μg other pro-vitamin A carotenoids = 0.084 μg RE. Omar Daryc Sections highlighted in blue present several alternatives of the same micronutrient to choice from. 25-May-07

Population Distribution =5-40 g/day Micronutrients Fortificants

Population Distribution =5-80 g/day

Micronutrients FortificantsPopulation Distribution =1-10 g/day Population Distribution =3-15 g/day Population Distribution =No applicable

SALT

Population Distribution =50-180 g/day Population Distribution =20-120 g/day

COST AND CONTRIBUTIONFortification Formulas (Averages of Addition)

OIL

SUGAR

Population Distribution =10-60 g/day

Micronutrients Fortificants

Population Distribution =2-25 g/day

A-20

Average= 50 g/day Category1= ≤ 75 Average= 100 g/day Category= 76−149 Average= 200 g/day Category= ≥ 150

Content (mg/kg)

Intake2

(mg/day)EAR 3

(%)Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Vit. Aa Retinyl Palmitate-250,000 IU/g (dry) 4.0 0.130 36 2.13 0.039 2.0 0.130 36 1.07 0.039 1.5 0.195 55 0.80 0.058

Vit. B-1 Thiamin mononitrate 6.0 0.203 22 0.19 0.003 6.0 0.405 44 0.19 0.007 4.5 0.608 66 0.14 0.010Vit. B-2 Riboflavin 5.0 0.213 23 0.19 0.003 5.0 0.425 46 0.19 0.007 4.0 0.680 74 0.15 0.011

Vit. B-3 (Niacin) Niacinamide 60.0 2.550 24 0.61 0.011 60.0 5.100 47 0.61 0.022 40.0 6.800 63 0.40 0.029Vit. B-6 Pyridoxine 6.0 0.233 21 0.23 0.004 6.0 0.465 43 0.23 0.008 5.0 0.775 72 0.19 0.014

Vit. B-9 (folate)(DFE)b Folic Acid 4.0 0.130 69 0.36 0.007 2.0 0.130 69 0.18 0.007 1.5 0.195 104 0.14 0.010Vit. B-12 Vit. B-12 0.1% WS 0.020 0.001 85 0.84 0.015 0.010 0.001 85 0.42 0.015 0.005 0.001 85 0.21 0.015

Ironc Ferrous sulfate dried 25.0 1.250 9 0.20 0.004 25.0 2.500 19 0.20 0.007 25.0 5.000 38 0.20 0.015Electrolytic iron 60.0 3.000 15 0.28 0.005 60.0 6.000 30 0.28 0.010 60.0 11.000 59 0.28 0.020

Ferrous fumarate 45.0 2.250 17 0.99 0.018 45.0 4.500 34 0.99 0.036 45.0 9.000 68 0.99 0.072

Zinc Zinc oxide 30.0 1.500 37 0.13 0.002 30.0 3.000 73 0.13 0.005 15.0 3.000 73 0.06 0.004

Average= 50 g/day Category= ≤ 75 Average= 100 g/day Category= 76−149 Average= 200 g/day Category= ≥ 150

Content (mg/kg)

Intake2

(mg/day)EAR 3

(%)Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Vit. Aa Retinyl Palmitate-250,000 IU/g (dry) 4.0 0.130 36 2.13 0.039 2.0 0.130 36 1.07 0.039 1.5 0.195 55 0.80 0.058

Vit. B-1 Thiamin mononitrate 2.0 0.068 7 0.06 0.001 2.0 0.135 15 0.06 0.002 2.0 0.270 29 0.06 0.004Vit. B-2 Riboflavin 4.0 0.170 19 0.15 0.003 4.0 0.340 37 0.15 0.005 3.0 0.510 56 0.11 0.008

Vit. B-3 (Niacin) Niacinamide 15.0 0.638 6 0.15 0.003 15.0 1.275 12 0.15 0.005 5.0 0.850 8 0.05 0.004Vit. B-6 Pyridoxine 5.0 0.194 18 0.19 0.003 5.0 0.388 36 0.19 0.007 2.0 0.310 29 0.08 0.006

Vit. B-9 (folate)(DFE)b Folic Acid 4.0 0.130 69 0.36 0.007 2.0 0.130 69 0.18 0.007 1.5 0.195 104 0.14 0.010Vit. B-12 Vit. B-12 0.1% WS 0.020 0.001 85 0.84 0.015 0.010 0.001 85 0.42 0.015 0.005 0.001 85 0.21 0.015

Ironc Electrolytic iron 30.0 1.500 4 0.14 0.003 30.0 3.000 7 0.14 0.005 30.0 8.000 15 0.14 0.010Ferrous fumarate 30.0 1.500 6 0.55 0.010 30.0 3.000 11 0.55 0.020 30.0 6.000 23 0.55 0.040

NaFeEDTAg 20.0 1.000 8 1.00 0.018 20.0 2.000 15 1.00 0.037 20.0 4.000 30 1.00 0.073

Zinc Zinc oxide 20.0 1.000 12 0.08 0.001 20.0 2.000 24 0.08 0.003 10.0 2.000 24 0.04 0.003

Notes:1 Categorization of the country based on the per capita intake (g/day).2 Considering losses of the micronutrient during the marketing life of the food and the food preparation.3 For women of reproductive age. Omar Darya RE = Retinol equivalents; 1 μg retinol = 1 μg RE; 1 μg β-carotene = 0.167 μg RE; 1 μg other pro-vitamin A carotenoids = 0.084 μg RE. 25-May-07b DFE = Dietary Folate Equivalents; 1 μg folic acid = 1.7 μg DFE. Table shows amounts as folic acid.c Sections highlighted in blue present several alternatives of the same micronutrient to choice from.

Population Distribution =10-200 g/day Population Distribution =25-350 g/day Micronutrients Fortificants

Population Distribution =50-600 g/day

REFINED WHEAT FLOUR

COST AND CONTRIBUTIONFortification Formulas (Averages of Addition)

Population Distribution =50-600 g/day

WHOLE WHEAT FLOUR

Micronutrients FortificantsPopulation Distribution =10-200 g/day Population Distribution =25-350 g/day

A-21

Average= 50 g/day Category1= ≤ 75 Average= 100 g/day Category= 76−149 Average= 200 g/day Category= ≥ 150

Content (mg/kg)

Intake2

(mg/day)EAR 3

(%)Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Content (mg/kg)

Intake (mg/day)

EAR (%)

Abs. Cost (US$/MT)

Person cost (US$/year)

Vit. Aa Retinyl Palmitate-250,000 IU/g (dry) 4.0 0.130 36 2.13 0.039 2.0 0.130 36 1.07 0.039 1.5 0.195 55 0.80 0.058

Vit. B-1 Thiamin mononitrate 5.0 0.169 18 0.15 0.003 4.0 0.270 29 0.12 0.004 3.0 0.405 44 0.09 0.007Vit. B-2 Riboflavin 5.0 0.213 23 0.19 0.003 5.0 0.425 46 0.19 0.007 4.0 0.680 74 0.15 0.011

Vit. B-3 (Niacin) Niacinamide 35.0 1.488 14 0.35 0.006 25.0 2.125 20 0.25 0.009 15.0 2.550 24 0.15 0.011Vit. B-9 (folate)(DFE)b Folic Acid 4.0 0.130 69 0.36 0.007 2.0 0.130 69 0.18 0.007 1.5 0.195 104 0.14 0.010

Vit. B-12 Vit. B-12 0.1% WS 0.020 0.001 85 0.84 0.015 0.010 0.001 85 0.42 0.015 0.005 0.001 85 0.21 0.015

Ironc Ferrous fumarate 20.0 1.000 4 0.44 0.008 20.0 2.000 8 0.44 0.016 20.0 4.000 15 0.44 0.032NaFeEDTAg 15.0 0.750 6 0.75 0.014 15.0 1.500 11 0.75 0.027 15.0 3.000 23 0.75 0.055

Zinc Zinc oxide 30.0 1.500 18 0.13 0.002 30.0 3.000 37 0.13 0.005 20.0 4.000 49 0.08 0.006

Notes:1 Categorization of the country based on the per capita intake (g/day).2 Considering losses of the micronutrient during the marketing life of the food and the food preparation.3 For women of reproductive age.4 Based on the micronutrient that shows the minimum contribution in term of EAR.a RE = Retinol equivalents; 1 μg retinol = 1 μg RE; 1 μg β-carotene = 0.167 μg RE; 1 μg other pro-vitamin A carotenoids = 0.084 μg RE. Omar Daryb DFE = Dietary Folate Equivalents; 1 μg folic acid = 1.7 μg DFE. Table shows amounts as folic acid. 25-May-07c Sections highlighted in blue present several alternatives of the same micronutrient to choice from.

Population Distribution =10-200 g/day Population Distribution =25-350 g/day Population Distribution =50-600 g/day

COST AND CONTRIBUTIONFortification Formulas (Averages of Addition)

MASA-MAIZE FLOUR

Micronutrients Fortificants

A-22

A‐23 

 Additional explanations to the table on costs of fortification  

 1. The cells highlighted in yellow correspond to categories of countries classified according to their 

national  per  capita  intake  of  the  food  being  fortified.  These  values  are  not  the  Population Distribution  that  corresponds  to  the  range  of  expected  consumption  patterns  in  the  same population.  

 2. The  fortification  formulas  are  defined  by  consumption  level  at  the  95  centile    for  the 

corresponding food, and not by per capita intake; in the absence of this information and for cost estimations you can use the specified country categorization.  

 3. The column of EAR  (estimated average  requirement) provides  the best  index of  requirement  to 

estimate the nutritional contribution of the fortified food; with the exception of iron in foods other than  in  refined wheat  flour,  food  fortification  is able  to provide  significant amounts of  the key micronutrients. EAR and not  (RDA or RNI)  is  the best  index  to assess sufficiency of population nutrient intakes. 

 4. The  cost per person  is  correlated with  the proportion  of EAR  that  is  supplied,  and  not  to  the 

absolute cost of the fortification per metric ton.   Obviously, the absolute cost per metric ton is in function of the selected micronutrient content, but it does not make sense to compare the cost of the fortification programs based on the absolute cost or the price of the premix. The comparative costs should be done based on the annual investment per person per year, and if possible in terms of the proportion of EAR that is provided. 

 5. The  last  column  presents  the  relative  comparison  of  cost  of  all  the micronutrients  based  on 

providing 100% EAR for women of reproductive age.  You can see that given vitamin A through oil  is  1/3  of  the  cost  of  given  that  vitamin  through  sugar  or wheat  flour.   Nevertheless,  it  is important to keep adding vitamin A to sugar and wheat flour, because for most populations the consumption of fortified oil will only cover part of the needs.  

 6. The  last  column  clearly  illustrated  that  vitamin A  is  not more  expensive  than  iron.  It  is  also 

important to point out that this  is a theoretical calculation favors iron, because we are assuming that we can provide 100% EAR of   the nutrient through food fortification, this  is not always the case.  On  the  contrary,  we  can  easily  provide  good  amounts  of  vitamin  A  through  food fortification. 

 

A‐24 

 ANNEX 9 

Principal HarvestPlus collaborators (based on 2003‐2007 budgeting documentation)  Chinese Academy of Agricultural Sciences Chinese Academy of Sciences CIAT CIMMYT CIP Crop Science Institute Danish Institute of Agricultural Sciences EMBRAPA ETH, Zurich Freiburg University Fundação de Apoio da Universidade Federal do Rio Grande do Sul ICARDA ICRISAT IFPRI IITA INIBAP International Center for Control of Diarrheal Disease, Bangladesh Iowa State University IRRI Michgian State Michigan State University National Maize Improvement Center of China, China Agricultural University Ohio State University Pioneer Corporation PRAPACE (African Root and Tuber Network) Purdue University Royal Veterninary and Agricultural University Sabanci University Tufts University University of Adelaide University of California at Davis University of Colorado University of Greenwich University of Illinois University of Natural Resources and Applied Life Science (BOKU) University of Otago, New Zealand University of Rhode Island University of Tokyo University of Wisconsin USDA‐ARS Wageningen University WARDA World Vision Xaivier University, Philippines Yale University Zheijiang University, Hangzhou 

 

A‐25 

 ANNEX 10 

Survey Respondents and Analysis of Survey Answers  Survey Respondents  “Management Group” • Howarth Bouis, Program Director • Christine Hotz, Nutrition Research Coordinator • Bonnie McClafferty, Communications and Donor Relations Coordinator • J.V. Meenakshi, Impact and Policy Coordinator • Wolfgang Pfeiffer, Coordinator • Joe Tohme, Biotechnology Coordinator  “PAC Group” • Estrella Alabastro, PAC Member • Michael Lipton, PAC member • Peter McPherson, PAC Chair • David Miron  CIAT Board Audit Committee Chair, CIAT Board member, PAC Audit 

Committee member • Patrick Murphy, PAC Audit Committee Chair • Ruth Oniangʹo, PAC member • Maria Jose Amstalden Sampaio, PAC member • Yves Savidan, CIAT Board Chair, PAC member • Suttilak Smitasiri, IFPRI Board Vice Chair, former PAC member • Barbara Underwood, PAC Vice Chair • Michele Veeman, IFPRI Board member, PAC member • Mark Wahlqvist, PAC member   Analysis of Survey Answers  Recipient and response info    • The online survey was started by means of an email by Howdy Bouis on May 23, 2007, giving 

basic information and providing the link to the online survey website. • The survey was closed on June 11, 2007 after an extension of the deadline. • For the response statistics please refer to the tabular below. • The survey has been sent to a total of 27 individuals that were grouped into a: 

o “PAC” group of 20 individuals: • 15 out of 17 current PAC members31 (3 incoming members were not 

targeted, but apparently 1 incoming member has received the link and has responded and has also been included in the analysis) 

• 2 Audit Committee members (the audit committee chair is included as PAC member in the number above) 

• 2 Finance Directors (CIAT and IFPRI) • 1 former PAC member 

o A “Management” group of 7 management team members. • Complete survey responses were received from 18 individuals (12 individuals from the “PAC” 

group and 6 individuals from the “Management” group).                                                       31 Current PAC membership as  indicated  in documentation  for  the HPlus PAC meeting on  June 14‐15, 2007  in Washington DC 

 

26 

 

Analysis  Number of respondents  Number of recipients % of recipients responding 

        PAC  12  20  60%                    Management  6  7  86%                 All  18  27  73%  Questions and answer statistics    1. How satisfied are you with the overall program performance?    

Analysis Highly satisfied  Satisfied  Slightly 

unsatisfied Highly unsatisfied

          PAC  5  7  0  0    42%  58%  0%  0%           Management  6  0  0  0    100%  0%  0%  0%           All  11  7  0  0    61%  39%  0%  0%           Total respondents  18  100%  Respondents       2. Please comment on question 1.  (Comments have been omitted for confidentiality)   3. In your view, will the program be able to reach its stated objectives within the planned time frame?    

Analysis  Yes, certainly  Probably yes  Probably not  No, impossible 

          PAC  0  11  1  0    0%  92%  8%  0%           Management  1  5  0  0    17%  83%  0%  0%           All  1  16  1  0    6%  89%  6%  0%           Total respondents  18  100%  Respondents   

 4. Please comment on question 3. (Comments have been omitted for confidentiality) 

A-26

 

27 

 5. How  important  is  achieving  development  impact  (nutrition  and wellbeing  of  populations)  in 

addition to research results for HarvestPlus?    

Analysis 

Research results more important  Equally important 

Development impact more important 

        PAC  1  5  6    8%  42%  50%         Management  1  3  2    17%  50%  33%         All  2  8  8    11%  44%  44%         Total respondents  18  100%          6. Please comment on question 5.  (Comments have been omitted for confidentiality)  7. Does the program have the right partners, e.g. for research and implementation?    

Analysis 

Yes, partner mix is good  No, important partners are missing or quality is low 

      PAC  11  1    92%  8%       Management  5  1    83%  17%       All  16  2    89%  11%       Total respondents  18  100%     respondents   8. Please comment on question 7.  (Comments have been omitted for confidentiality) 

A-27

 

28 

9. Does the program have the right balance between directly commissioning program activities versus allocating funds through competitive mechanisms?     

Analysis 

Yes. The balance is rightNo there is too much 

activity directly commissioned, 

  No there are too many funds allocated though 

competitive mechanisms  

        PAC  6  3  0    67%  33%  0%         Management  5  1  0    83%  17%  0%         All  11  4  0    73%  27%  0%         Total respondents  15  83%  respondents     10. Please comment on question 9.  (Comments have been omitted for confidentiality)  11. Please  indicate your  satisfaction with  the quality of HarvestPlus Governance  and Management along the dimensions listed below. Please tick one option for each area.    Legitimacy. To what extend do the governance and management structures permit and facilitate the effective participation and voice of  the different categories of stakeholders  in  the major governance and management decisions, taking into account their respective roles and relative importance?    

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  2  4  6    0%  17%  33%  50%           Management  0  0  3  3    0%  0%  50%  50%           All  0  2  7  9    0%  11%  39%  50%           Total respondents  18  100%  respondents    

A-28

 

29 

Accountability. To what extent  is accountability defined, accepted, and exercised along the chain of command and control, starting with the PAC and the participating center’s boards and going down to the  program  coordinator,  the  program  management  team,  functional  and  crop  leaders,  and implementers?  

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  4  8    0%  0%  33%  67%           Management  0  0  1  5    0%  0%  17%  83%           All  0  0  5  13    0%  0%  28%  72%           Total respondents  18  100%  respondents                 Responsibility  to  others.  To what  extent  does  the  program  accept  and  exercise  responsibility  to stakeholders who are not directly involved in the governance of the program and who are not part of the direct chain of accountability in the implementation of the program?               

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  1  5  6    0%  8%  42%  50%           Management  0  0  0  6    0%  0%  0%  100%           All  0  1  5  12    0%  6%  28%  67%           Total respondents  18  100%  respondents    

A-29

 

30 

Fairness. To what extent do partners and participants, similarly situated, have equal opportunity  to influence the program and to receive benefits from the program (e.g. absence of barriers  in terms of structure, process, language, technical or legal information)?                

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  4  6    0%  0%  40%  60%           Management  0  0  4  2    0%  0%  67%  33%           All  0  0  8  8    0%  0%  50%  50%           Total respondents  16  89%  respondents    Transparency. To what extent are the program’s decision‐making, reporting, and evaluation processes open and freely available to the general public?   

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  7  5    0%  0%  58%  42%           Management  0  0  4  2    0%  0%  67%  33%           All  0  0  11  7    0%  0%  61%  39%           Total respondents  18  100%  respondents        

A-30

 

31 

Efficiency. To what extent do the governance and management structures enhance efficiency or cost‐effectiveness in the allocation and use of the program’s resources? 

Analysis 

Highly unsatisfied Slightly unsatisfied  Slightly satisfied  Highly satisfied 

          PAC  0  0  4  8    0%  0%  33%  67%           Management  0  0  1  4    0%  0%  20%  80%           All  0  0  5  12    0%  0%  29%  71%           Total respondents  17  94%  respondents     Probity. To what extent do all persons in leadership positions adhere to high standards of ethics and professional  conduct  over  and  above  compliance  with  the  rules  and  regulations  governing  the operation of the program?               

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  1  11    0%  0%  8%  92%           Management  0  0  0  6    0%  0%  0%  100%           All  0  0  1  17    0%  0%  6%  94%           Total respondents  18  100%  respondents        12.  Follow‐up  to  question  11:  Please  provide  comments/suggestions  and/or  specific  examples illustrating your choices in question 11 above.  (Comments have been omitted for confidentiality)  

A-31

 

32 

13. Please indicate your satisfaction with the performance of the Program Advisory Committee (PAC) in terms of the following functions: Please tick one option for each area.    Giving strategic direction (e.g. exercising effective leadership that optimizes the use of the financial, human, social, and technological resources of the program. Establishing a vision or a mission for the program,  reviewing  and  approving  strategic  documents,  and  establishing  operational  policies  and guidelines. Continually monitoring the effectiveness of the program’s governance arrangements and making changes as needed.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  1  10    0%  0%  9%  91%           Management  0  0  1  5    0%  0%  17%  83%           All  0  0  2  15    0%  0%  12%  88%           Total respondents  17  94%  respondents    Exercising  management  oversight    (e.g.  monitoring  managerial  performance  and  program implementation,  appointing  key  personnel,  approving  annual  budgets  and  business  plans,  and overseeing  major  capital  expenditures.  Promoting  high  performance  and  efficient  processes  by establishing an appropriate balance between control by the governing body and entrepreneurship by the management unit. Monitoring compliance with all applicable laws and regulations, and with the regulations and procedures of the host organization, as the case may be.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  1  2  8    0%  9%  18%  73%           Management  0  0  0  6    0%  0%  0%  100%           All  0  1  2  14    0%  6%  12%  82%           Total respondents  17  94%  respondents    

A-32

 

33 

Fostering  stakeholder  participation  (e.g.  establishing  policies  for  inclusion  of  stakeholders  in programmatic  activities.  Ensuring  adequate  consultation,  communication,  transparency,  and disclosure in relation to program stakeholders that are not represented on the governing bodies of the program.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  1  6  4    0%  9%  55%  36%           Management  0  0  5  1    0%  0%  83%  17%           All  0  1  11  5    0%  6%  65%  29%           Total respondents  17  94%  respondents    Risk management (e.g. establishing a policy for managing risks and monitoring the implementation of  the policy. Ensuring  that  the volume of  financial  resources  is commensurate with  the program’s needs and that the sources of finance are adequately diversified to mitigate financial shocks.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  1  3  7    0%  9%  27%  64%           Management  0  0  2  4    0%  0%  33%  67%           All  0  1  5  11    0%  6%  29%  65%           Total respondents  17  94%  respondents    

A-33

 

34 

Conflict management (e.g. monitoring and managing the potential conflicts of interest of members of the governing body and staff of the management unit. Monitoring and managing conflicting interests among program partners and participants, especially those that arise during the process of program implementation.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  5  6    0%  0%  45%  55%           Management  0  0  3  3    0%  0%  50%  50%           All  0  0  8  9    0%  0%  47%  53%           Total respondents  17  94%  respondents             Audit and evaluation (e.g. ensuring the integrity of the program’s accounting and financial reporting systems,  including  independent  audits.  Setting  evaluation  policy,  commissioning  evaluations  in  a timely way, and overseeing management uptake and implementation of accepted recommendations. Ensuring that evaluations lead to learning and programmatic enhancement.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  1  0  1  9    9%  0%  9%  82%           Management  0  0  0  6    0%  0%  0%  100%           All  1  0  1  15    6%  0%  6%  88%           Total respondents  17  94%  respondents        14.  Follow‐up  to  question  8.  Please  provide  comments/suggestions  and/or  specific  examples illustrating your choices in question 8 above.  (Comments have been omitted for confidentiality)    

A-34

 

35 

15. How much do you agree / disagree with the following statements:   “The PAC is representing the program’s interests in a balanced wayʺ 

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  0  1  2  9    0%  8%  17%  75%           Management  0  0  0  6    0%  0%  0%  100%           All  0  1  2  15    0%  6%  11%  83%           Total respondents  18  100%  respondents     “The presence of IFPRI and CIAT representatives on the PAC introduces some institutional interests into PAC recommendations/decisions”  

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  0  1  6  5    0%  8%  50%  42%           Management  2  2  2  0    33%  33%  33%  0%           All  2  3  8  5    11%  17%  44%  28%           Total respondents  18  100%  respondents     

A-35

 

36 

“The PAC is an advisory body without decision‐making power”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  6  2  0  4    50%  17%  0%  33%           Management  4  2  0  0    67%  33%  0%  0%           All  10  4  0  4    56%  22%  0%  22%           Total respondents  18  100%  respondents      “De facto the PAC is a program steering committee with decision‐making power”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  2  1  2  7    17%  8%  17%  58%           Management  0  0  1  4    0%  0%  20%  80%           All  2  1  3  11    12%  6%  18%  65%           Total respondents  17  94%  respondents      

A-36

 

37 

“De facto the PAC is an independent governance body”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  2  0  8  2    17%  0%  67%  17%           Management  1  0  2  3    17%  0%  33%  50%           All  3  0  10  5    17%  0%  56%  28%           Total respondents  18  100%  respondents      “Individual PAC membership should be limited to a couple of years”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  4  5  1  2    33%  42%  8%  17%           Management  0  2  3  1    0%  33%  50%  17%           All  4  7  4  3    22%  39%  22%  17%           Total respondents  18  100%  respondents     

A-37

 

38 

“The PAC should be smaller”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  5  6  1  0    42%  50%  8%  0%           Management  1  1  2  2    17%  17%  33%  33%           All  6  7  3  2    33%  39%  17%  11%           Total respondents  18  100%  respondents      “The PAC should meet more often” 

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  5  5  0  1    45%  45%  0%  9%           Management  6  0  0  0    100%  0%  0%  0%           All  11  5  0  1    65%  29%  0%  6%           Total respondents  17  94%  respondents                 

A-38

 

39 

“The current PAC composition should be changed”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  3  5  4  0    25%  42%  33%  0%           Management  2  2  2  0    33%  33%  33%  0%           All  5  7  6  0    28%  39%  33%  0%           Total respondents  18  100%  respondents     “The overall governance setup should be changed”               

Analysis 

Strongly disagree  Slightly disagree  Slightly agree  Strongly agree 

          PAC  8  3  1  0    67%  25%  8%  0%           Management  6  0  0  0    100%  0%  0%  0%           All  14  3  1  0    78%  17%  6%  0%           Total respondents  18  100%  respondents        16.  Follow‐up  to  question  15:Please  provide  comments/suggestions  and/or  specific  examples illustrating your choices in question 15 above.  (Comments have been omitted for confidentiality)     

A-39

 

40 

17. Please indicate your satisfaction with the performance of the Program Management in terms of the following functions: Please tick one option for each area.     Program  implementation  (e.g. managing  financial  and  human  resources. Reviewing  proposals  for inclusion in the portfolio of activities and allocating financial resources among activities. Supervising the implementation of activities. Contracting with implementing or executing agencies to implement individual activities. Ensuring that these agencies are self‐monitoring and reporting their progress in a timely way.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  3  9    0%  0%  25%  75%           Management  0  0  1  4    0%  0%  20%  80%           All  0  0  4  13    0%  0%  24%  76%           Total respondents  17  94%  respondents    Regulatory  compliance  (e.g.  ensuring  compliance with  all  applicable  laws  and  regulations  at  the international, national, and  institutional  levels,  including  the regulations and procedures of  the host organization, as the case may be. Being aware of and adhering to these requirements and standards on a day to‐day basis.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  2  9    0%  0%  18%  82%           Management  0  0  1  4    0%  0%  20%  80%           All  0  0  3  13    0%  0%  19%  81%           Total respondents  16  89%  respondents         

A-40

 

41 

Reviewing and reporting (e.g.  taking stock of the overall performance of the portfolio  in relation  to the  program’s  objectives  and  strategies. Reporting  progress  to  the  governing  body,  including  any adverse  effects  of  the  program’s  activities.  Serving  the  needs  of  the  governing  body  by  preparing strategies, policy statements, etc.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  1  1  10    0%  8%  8%  83%           Management  0  0  1  4    0%  0%  20%  80%           All  0  1  2  14    0%  6%  12%  82%           Total respondents  17  94%  respondents                   Administrative  efficiency  (e.g. maintaining  a  lean  administrative  cost  structure  (while  recognizing that administrative costs tend to be higher during the launch period of a global partnership program). Proposing  ways  to  maintain  high  performance  while  reducing  costs  to  increase  operational effectiveness.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  0  2  10    0%  0%  17%  83%           Management  0  0  2  3    0%  0%  40%  60%           All  0  0  4  13    0%  0%  24%  76%           Total respondents  17  94%  respondents                  

A-41

 

42 

Stakeholder communication (e.g. implementing board‐approved policies for stakeholder inclusion in programmatic activities. Finding ways to increase the effectiveness of stakeholder participation in all aspects of the program.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  1  2  3  6    8%  17%  25%  50%           Management  0  1  1  2    0%  25%  25%  50%           All  1  3  4  8    6%  19%  25%  50%           Total respondents  16  89%  respondents              Fostering learning (e.g. distilling and discerning lessons from the implementation of activities across the portfolio. Transmitting these lessons to both governing partners and beneficiaries in order to inform policy making and to enhance implementation of activities.) 

Analysis 

Highly unsatisfied Slightly unsatisfied 

Slightly satisfied  Highly satisfied 

          PAC  0  3  2  6    0%  27%  18%  55%           Management  0  0  3  2    0%  0%  60%  40%           All  0  3  5  8    0%  19%  31%  50%           Total respondents  16 89% respondents      

A-42

 

43 

Performance assessment (e.g. reviewing the performance of operational staff on a regular basis, as well as the performance of consultants at the end of their assignments.) 

Analysis 

Highly unsatisfied Slightly unsatisfied  Slightly satisfied  Highly satisfied 

          PAC  0  1  4  6    0%  9%  36%  55%           Management  0  0  1  4    0%  0%  20%  80%           All  0  1  5  10    0%  6%  31%  63%           Total respondents  16  89%  respondents          18.  Follow‐up  to  question  12:  Please  provide  comments/suggestions  and/or  specific  examples illustrating your choices in question 12 above: (Comments have been omitted for confidentiality)     19. The Challenge program has  a hosting  arrangement with  the  International Food Policy  Institute (IFPRI) and is based on a Joint Venture Agreement with both IFPRI and the International Center for Tropical Agriculture (CIAT).  To what extent do these agreements lead to a “two masters problem”, i.e. to a situation of unclear or overlapping  responsibilities  of  program  management  towards  the  PAC  on  the  one  hand  and IFPRI/CIAT management on the other hand? Please tick one option for:    The Program Coordinator?              

Analysis 

100% responsible towards 

IFPRI/CIAT 

Mainly responsible towards 

IFPRI/CIAT 

Responsibility evenly 

distributed towards 

IFPRI/CIAT and PAC 

Mainly responsible towards PAC 

100% responsible towards PAC 

            PAC  0  1  5  4  1    0%  9%  45%  36%  9%             Management  0  0  2  3  1    0%  0%  33%  50%  17%             All  0  1  7  7  2    0%  6%  41%  41%  12%                  Total respondents  17  94% respondents          

A-43

 

44 

The Program Management Team? 

Analysis 

100% responsible towards 

IFPRI/CIAT 

Mainly responsible towards 

IFPRI/CIAT 

Responsibility evenly 

distributed towards 

IFPRI/CIAT and PAC 

Mainly responsible towards PAC 

100% responsible towards PAC 

            PAC  0  3  3  4  1    0%  27%  27%  36%  9%             Management  0  0  0  5  1    0%  0%  0%  83%  17%             All  0  3  3  9  2    0%  18%  18%  53%  12%             Total respondents  17  94% respondents                          The Program Secretariat? 

Analysis 

100% responsible towards 

IFPRI/CIAT 

Mainly responsible towards 

IFPRI/CIAT 

Responsibility evenly 

distributed towards 

IFPRI/CIAT and PAC 

Mainly responsible towards PAC 

100% responsible towards PAC 

            PAC  2  2  3  2  2    18%  18%  27%  18%  18%             Management  0  0  1  0  0    0%  0%  100%  0%  0%             All  2  2  4  2  2    17%  17%  33%  17%  17%             Total respondents  12  67% respondents        

A-44

 

45 

20. Do you feel any need for the current situation as mentioned in the above question to be improved?     

Analysis 

Yes  No 

      PAC  1  11    8%  92%       Management  1  5    17%  83%       All  2  16    11%  89%       Total respondents  18  100%      Respondents   21. If you answered yes to question 20, please comment.  (Comments have been omitted for confidentiality)      22. Please comment on the advantages and disadvantages of the current hosting and joint venture arrangements. (Comments have been omitted for confidentiality)    23. Please add any additional suggestions, comments or feedback you might have. (Comments have been omitted for confidentiality)  

 

A-45

A‐46 

 ANNEX 11 

Project 8003 Contractual and Progress Reporting Documentation  

Project 8003 Amendment:  No. 4   Date:  June 30, 2006 Title:    PSNL In vitro/animal model bioavailability & optimize breeding objectives Contract Value shall increase by US$ 567,919 from US$ 1,169,737 to US$ 1,737,656  To reach the goals of the project the following tasks will be carried out:   The  effects  of  whole  wheat  grain  milling  on  Fe,  Zn,  phytate  and  polyphenol  levels  and  on 

bioavailable Fe using an  in vitro Caco‐2 cell model will be  studied. This  relates  to methods  to assess bioavailability of nutrients.  

Parental  lines of maize, wheat  and beans will be  screened  for bioavailable Fe  to  identify  those genes affecting Fe bioavailability using the in vitro Caco‐2 cell model. This relates to evaluating genes responsible for bioavailability of nutrients, but work is unrelated to breeding methods. 

Specific hypothesis  testing will be  conducted using  the  in vitro digestion/Caco‐2 model on  the effects  of  promoters  (e.g.  phytoferritin)  and  inhibitors  (polyphenols  and  phytate)  and  diet composition  on  Fe  bioavailability.  This  relates  to  methods  to  enhance  bioavailability  of nutrients. 

Test validity of Caco‐2 cell model using pig model.   Fe bioavailability from white and red beans will be tested in piglets using intrinsically stable isotope labeled (58Fe and 70Zn) beans.  Refine in vitro model  to  include hind gut microbial activity  for  testing Fe bioavailability. This  relates  to methods to assess bioavailability of nutrients. 

More detailed  studies of  inulin promotion of Fe bioavailability  and  reduction of  the  inhibitory effects of bean phytate on Fe bioavailability will be carried out using a pig model and a wheat study using wheat lines, high and low in inulin, will be carried out to determine effects of intrinsic inulin on Fe bioavailability using a pig model. This relates to methods to assess bioavailability of nutrients. 

The effects of the MAL trait in cereal grains on vitamin and mineral accumulation in the grain will be studied. This relates to methods to assess bioavailability of nutrients. 

Attempts will continue  to be made  to  identify Fe bioavailability promoter  compounds  in white bean  seed  coats and  in OFSP  lines, and polyphenol  inhibitors  in  colored bean  seed  coats. This relates to methods to assess compounds that regulate the bioavailability of nutrients. 

 Achievements of the Breeding Objectives Subprogram Publication Progress Report‐ Summary of PSNL and Adelaide Breeding Objectives Research   ▪ Welch, R.M.  and Graham, R.D.  (2005).   Agriculture:  the  real  nexus  for  enhancing  bioavailable 

micronutrients in food crops.  J. Trace Elem. Med. Biol.  18: 299‐307. (review) ▪ Graham, R.D., Welch, R.M., Bouis, H.E.  and  14  co‐authors  (2006).   Nutritious  sustainable  food 

systems.  Advances in Agronomy 92, 1‐74. (review) ▪ Humphries1,  J.M.,  McIntosh2,  G.H.,  Hughes3,  R.J.,  Welch4,  R.M.  and  Graham1  R.D.  (2007).  

Supplemental lutein improves the haemoglobin status of chickens (Gallus domesticus) depleted in iron and vitamin A. Submitted to J. Nutrition.  

▪ Humphries,  J.M.,  Graham,  R.D.  and  Mares,  D.J.  (2004).    Application  of  reflectance  colour measurement  to  the estimation of carotene and  lutein content  in wheat and  triticale.    Journal of Cereal Science 40, 151‐159. (methods) 

▪ Lam BH, Stangoulis JCR and Graham RD. (2006). Quantitative Trait Loci for phytate in rice grain and  their  relationship  with  grain  micronutrient  content.  Euphytica    (submitted,  direct relationship to HarvestPlus CP).  

 

47 

▪ Lyons, G.H., Stangoulis,  J.C.R. and Graham, R.D.  (2004). Exploiting micronutrient  interaction  to optimize  bio‐fortification  programs:  the  case  for  inclusion  of  selenium  and  iodine  in  the HarvestPlus program. Nutrition Reviews  62; 247‐252.  (review) 

▪ Lyons, G.H., Lewis,  J., Lorimer, M.F., Holloway, R.E, Brace, D., Stangoulis,  J.C.R. and Graham, R.D.  (2004).  High  selenium  wheat:  agronomic  bio‐fortification  strategies  to  improve  human nutrition.  Food Agric. Environ.  2, 171‐178. Original research Selenium  

▪ G  Lyons,  G.H.,  Ortiz‐Monasterio,  I.,  Stangoulis,  J.C.  and  Graham,  R.D.  (2005).  Selenium concentration  in wheat grain:  Is  there sufficient genotypic variation  to use  in breeding? Plant & Soil 2005; 269: 369‐380. Original research selenium  

▪ Salunkhe, D.K. and Deshpande, S.S. (1991).  Foods of Plant Origin: Production, Technology and G Lyons, I Ortiz‐Monasterio, J Stangoulis, R Graham. Selenium concentration in wheat grain: Is there sufficient  genotypic  variation  to  use  in  breeding?  Plant  &  Soil  2005;  269:  369‐380.  Apparent duplication publication 1991 

▪ Welch, R.M. and Graham, R.D. (1999). A New Paradigm for World Agriculture: Meeting Human Needs; Productive, Sustainable, Nutritious. Special volume, R.M. Welch and R.D. Graham,  eds. Field Crops Research, 60, 1‐10. review 1999 

 

A-47

A‐48 

ANNEX 12 Acronyms 

 CGIAR  Consultative Group on International Agricultural Research 

CIAT  International Center for Tropical Agriculture 

CIMMYT  International Maize and Wheat Improvement Center 

CIP  International Potato Center 

CP  Challenge Program 

EMBRAPA  Empresa Brasileira de Pesquisa Agropecuária  

ETH, Zurich  Swiss Federal Institute of Technology Zurich 

FAO  Food and Agriculture Organization of the United Nations 

Fe  Iron 

ICARDA  International Center for Agricultural Research in Dry Areas 

ICRISAT  International Crops Research Institute for the Semi Arid Tropics 

IFPRI  International Food Policy Research Institute 

IITA  International Institute of Tropical Agriculture 

INIBAP  The International Network for Improvement of Banana and Plantain 

IPG  International Public Good 

IPGRI  International Plant Genetic Resources Institute now Bioversity International 

IPR  Intellectual Property Rights 

IRRI  International Rice Research Institute 

MAS  Marker Assisted Selection 

NARS  National Agricultural Research System 

NIRS  Near‐Infrared Spectrometry 

OFSP  Orange fleshed sweet potatoes 

PAC  Program Advisory Committee 

PMT  Program Management Team 

PRAPACE  Regional Potato and Sweetpotato Improvement Network in Eastern and Central Africa 

QPM  Quality Protein Maize 

QTL  Quantitative Trait Loci 

USAID  United States Agency for International Development 

USDA, ARS  United States Department of Agriculture, Agricultural Research Service 

WARDA  Africa Rice Center 

WB  The World Bank 

WHO  World Health Organization 

Zn  Zinc 

 

 

CGIAR

Science Council Secretariat A Unit of the CGIAR System Office c/o FAO Viale delle Terme di caracolla snc 00153 Rome, Italy Tel : 39 06 57056782 Fax : +39 06 57053298 E-mail : sc-secretariat@fao.org  

 

www.siencecouncil.cgiar.org