environment final report work package 6 · 1.2 the final report 35 2 methodology 37 2.1 task 1 37...

180
Environment Final Report Work Package 6 Ex post evaluation of Cohesion Policy programmes 2007-2013, focusing on the European Regional Development Fund (ERDF) and the Cohesion Fund (CF) March 2016 Authors: COWI, Milieu and CSIL

Upload: others

Post on 21-May-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

  • Environment

    Final Report

    Work Package 6 Ex post evaluation of Cohesion Policy programmes

    2007-2013, focusing on the European Regional Development Fund (ERDF) and the Cohesion Fund (CF)

    March 2016

    Authors: COWI, Milieu and CSIL

  • EUROPEAN COMMISSION

    Directorate-General for Regional and Urban Policy

    Directorate B - Policy Unit B.2 Evaluation and European Semester

    Contact: Annette Mengel

    E-mail: [email protected]

    European Commission B-1049 Brussels

  • EUROPEAN COMMISSION

    Directorate-General for Regional and Urban Policy

    2016 EN

    Environment

    Final report

    Work Package 6

    Ex post evaluation of Cohesion Policy Programmes

    2007-2013 Co-Financed by the ERDF/CF.

    Contract: 2014CE16BAT043

    Birgitte Martens, Tony Zamparutti, Agnieszka Markowska, Lars Grue Jensen, Michael Jacobsen, Davide Sartori

  • LEGAL NOTICE

    This document has been prepared for the European Commission however it reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein.

    More information on the European Union is available on the Internet (http://www.europa.eu).

    Luxembourg: Publications Office of the European Union, 2016

    ISBN 978-92-79-58518-0 doi: 10.2776/973044

    © European Union, 2016

    Reproduction is authorised provided the source is acknowledged.

    Europe Direct is a service to help you find answers

    to your questions about the European Union.

    Freephone number (*):

    00 800 6 7 8 9 10 11

    (*) The information given is free, as are most calls (though some operators, phone boxes or hotels may charge you).

    http://europa.eu.int/citizensrights/signpost/about/index_en.htm#note1#note1

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    CONTENTS

    List of tables and figures 1

    List of abbreviations 3

    Member states 4

    Glossary 5

    Executive summary 8

    Résumé 16

    Kurzfassung 25

    1 Introduction 33

    1.1 The evaluation study 33

    1.2 The final report 35

    2 Methodology 37

    2.1 Task 1 37

    2.2 Task 2 41

    2.3 Task 3 46

    2.4 Task 4 46

    2.5 Task 5 47

    2.6 Task 6 47

    2.7 Task 7 47

    2.8 Limitations, weaknesses and methodological lessons learned 48

    Part 1 – Overview of contribution of Cohesion Policy to EU environmental

    policy objectives 51

    3 Introduction and overview of Cohesion Policy investment for the

    environment 52

    3.1 Overview of Cohesion Policy investments for the environment 52

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    4 Role of Cohesion Policy in the waste sector 57

    4.1 Overview of EU objectives and Member State achievements in waste

    management 57

    4.2 Cohesion Policy resources and expenditures 60

    4.3 Review of selected Operational Programmes and major projects 65

    4.4 The role of Cohesion Policy 78

    5 Role of Cohesion Policy in the water sector 83

    5.1 Overview of EU objectives and Member State achievements in water

    management 83

    5.2 Cohesion Policy resources and expenditures 86

    5.3 Review of selected Operational Programmes and major projects 90

    5.4 Role of Cohesion Policy 104

    6 Common issues and concluding notes regarding the contribution of

    Cohesion Policy 109

    6.1 Data availability 110

    6.2 Administrative capacity 112

    6.3 Financial sustainability 113

    6.4 Linking different funding sources as well as other policy instruments 114

    Part 2 – Overview of the quality and use of financial analysis 115

    7 Introduction to Part 2 116

    7.1 Financial analysis and financial sustainability 116

    8 Quality of financial analyses 119

    8.1 Demand forecast 119

    8.2 Affordability and tariff setting 122

    8.3 Project implementation budget and time 126

    8.4 Project operation budget 129

    8.5 Risk and sensitivity analysis 130

    9 Conclusions 131

    Part 3 – Catalogue of challenges 136

    10 Introduction 137

    10.1 The catalogue of challenges – purpose, scope and methodology 137

    10.2 Structure of the catalogue 139

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    11 Issues in relation to financial sustainability – and what to do about it 140

    11.1 Problem 1: Project versus company approach for financial

    sustainability 140

    11.2 Problem 2: EU grant calculation (dis)incentives 144

    11.3 Problem 3: Lack of a financially strong and technically competent

    contractor 145

    11.4 Problem 4: Non-involvement of the Beneficiary in project design 148

    11.5 Problem 5: Overestimation of demand for water services 149

    11.6 Problem 6: Overestimation of demand for waste management

    services 151

    11.7 Problem 7: Cash flow management for 'major projects' 153

    11.8 Problem 8: Optimism bias with regard to length of implementation

    period 154

    11.9 Problem 9: Affordability – is average household incomes a good

    indicator? 157

    11.10 Problem 10: Exceeding the affordability thresholds and a price

    subsidy mechanism 159

    11.11 Problem 11: Tariffs are not increased as per plans in the Application 161

    Part 4 – Policy implications 163

    12 Policy implications 164

    References 168

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    List of tables and figures

    Table 2-1 List of 20 selected projects (for projects selected for detailed

    case studies both actual and planned values (in brackets) are

    indicated.) 42

    Table 3-1 Priority themes for the area of environment in the 2007-2013

    programming period 52

    Table 3-2 Operational Programme decided amounts for environment

    compared to all sectors, 2007-2013 programming period

    (status in 2014), EUR million 53

    Table 3-3 Total Operational Programme decided amounts for waste and

    water themes, 2007-2013 programming period, status in 2014

    (million EUR) 55

    Table 4-1 Cohesion Policy investments in waste management:

    Operational Programmes decided amounts and expenditures,

    2007-2013 programming period (EUR million, cumulative

    through 2014) 61

    Table 4-2 Annual average Cohesion Policy expenditures and EIB loans in

    the waste sector compared with annual average general

    government expenditure, 2007-2013 (EUR million) 64

    Table 4-3 Number of waste projects: targets and achievements, per MS,

    2013 66

    Table 4-4 Estonia’s Programme-specific indicators for waste

    management 68

    Table 4-5 Campania (Italy): Programme-specific indicators for waste

    management 70

    Table 4-6 Poland’s Programme-specific indicator for waste management 71

    Table 4-7 Slovenia’s Programme-specific indicators for waste

    management 74

    Table 4-8 Separate waste collection in Andalusia, 2006-2010, in metric

    tonnes 76

    Table 4-9 Three waste management projects studied as case studies 77

    Table 4-10 Overview of the role of Cohesion Policy for the waste sector in

    the six Operational Programmes considered 82

    Table 5-1 Progress in meeting UWWT Directive requirements (Articles 3,

    4 and 5): 2007 compared to 2013 levels 85

    Table 5-2 Cohesion Policy investments in the water sector: Operational

    Programmes decided amounts and expenditures, 2007-2013

    programming period (EUR million, cumulative through 2014) 87

    Table 5-3 Cohesion Policy expenditures and loans in the water sector

    compared with general government expenditure (gross fixed

    capital formation plus capital transfers), 2007-2013 yearly

    average (EUR million) 89

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    2

    Table 5-4 Cohesion Policy core indicator: Additional population served by

    drinking water supply projects: targets and achievements, per

    Member State, cumulative 2007-2013 90

    Table 5-5 Cohesion Policy core indicator: Additional population served by

    waste water projects: targets and achievements, per Member

    State, cumulative 2007 to 2013 91

    Table 5-6 Bulgaria’s Programme-specific indicators for the water sector 92

    Table 5-7 Estonia’s Programme-specific indicators for the water sector 95

    Table 5-8 Campania, Italy: Programme-specific indicators for the water

    sector 97

    Table 5-9 Slovenia’s programme-specific indicators for the water sector 101

    Table 5-10 Overview of the role of Cohesion Policy for the water sector in

    the six Operational Programmes considered 107

    Table 7-1 Polluter pays and cost recovery principles in key

    environmental Directives 118

    Figure 2-1 Map of reviewed operational programmes and case studies 48

    Figure 3-1 Operational Programmes decided amounts for environment per

    capita, 2007-2013 programming period, status in 2014 (EUR) 54

    Figure 4-1 Municipal solid waste recycled (as a share of all the municipal

    solid waste treated), 2007 and 2013 59

    Figure 4-2 Changes in Operational Programme decided amounts for the

    waste sector: 2007 compared to 2014 63

    Figure 4-3 Operational Programmes expenditures rates for the waste and

    water sectors as compared to transport and across all axes,

    2007-2013 programming period (EUR) 80

    Figure 5-1 Rate of compliance of MS agglomerations with Article 3 (waste

    water collection) of the UWWT Directive in terms of

    percentage of the load subject to the requirement 84

    Figure 5-2 Changes in Operational Programmes decided amounts for the

    water sector: 2007 compared to 2014 88

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    3

    List of abbreviations

    Art. Article

    AIR Annual Implementation Report

    BOD Biological Oxygen Demand

    BWD Bathing Water Directive (2006/7/EC)

    CBA Cost-Benefit Analysis

    CF Cohesion Fund

    CJEU Court of Justice of the European Union

    COD Chemical Oxygen Demand

    BOD Biological Oxygen Demand

    COFOG Classification of the Functions of Government

    DG Directorate General

    DG REGIO Directorate General Regional and Urban Policy

    DWD Drinking Water Directive

    EBRD European Bank for Reconstruction and Development

    EEA European Environment Agency

    EIB European Investment Bank

    ERDF European Regional Development Fund

    EU European Union

    EUR Euro

    GES Good Ecological Status

    IFI International Financing Institutions

    JASPERS Joint Assistance to Support Projects in European Regions

    MBT Mechanical Biological Treatment

    MS Member State

    MSW Municipal Solid Waste

    OECD The Organisation for Economic Co-operation and Development

    O&M Operating and Maintenance

    OP Operational Programme

    OPIE Operational Programme Infrastructure and Environment (in Poland)

    p.e. Population equivalent

    PPP Public private partnership

    TSS Total Suspended Solids

    UWWTD Urban wastewater Directive (91/271/EEC as amended)

    WFD Water Framework Directive (2000/60/EC)

    WMP Waste Management Plan

    WP Work package

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    4

    Member states

    AT Austria

    BE Belgium

    BG Bulgaria

    CY Cyprus

    CZ Czech Republic

    DE Germany

    DK Denmark

    EE Estonia

    EL Greece

    ES Spain

    FI Finland

    FR France

    HR Croatia

    HU Hungary

    IE Ireland

    IT Italy

    LT Lithuania

    LU Luxembourg

    LV Latvia

    MT Malta

    NL Netherlands

    PL Poland

    PT Portugal

    RO Romania

    SE Sweden

    SI Slovenia

    SK Slovakia

    UK United Kingdom

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    5

    Glossary

    Beneficiaries

    According to Article 3 of Regulation (EC) No 1083/2006,

    ‘beneficiary’ is an operator, body or firm, whether public or

    private, responsible for initiating or initiating and implementing

    operations. In the context of aid schemes under Article 87 of

    the Treaty, beneficiaries are public or private firms carrying out

    an individual project and receiving public aid.

    Core indicators Common minimum core indicators (‘core indicators’) are

    physical and financial indicators, which can be used to make

    comparisons or aggregations of data across similar

    programmes. The Commission proposed the following indicators

    for the priority themes related to waste and water

    management: Number of waste projects (indicator No. 27),

    Additional population served by water projects (indicator No.

    25), and Additional population served by waste water projects

    (indicator No. 26) (source: EC, 2006).

    Programme-specific

    indicators

    Indicators that are additional to the core indicators and may be

    reported by Managing Authorities individually for the

    Operational Programme to reflect its main interventions.

    Decided amounts

    Amounts of funding allocated in Operational Programmes

    according to Priority Axes. Cohesion Policy gives Member States

    the opportunity to reallocate and re-programme funds within

    and across priority axes. Member States have to obtain the

    agreement of the Commission if they want to shift the allocation

    between priority axes or modify the composition of these.

    Expenditures EU funds paid or due to be paid to beneficiaries before end of

    the year. More details about expenditures can be found in

    Article 78 of Regulation (EC) No 1083/2006.

    EU15 The EU15 is comprised of: Austria, Belgium, Denmark, Finland,

    France, Germany, Greece, Ireland, Italy, Luxembourg, the

    Netherlands, Portugal, Spain, Sweden, and the United Kingdom.

    EU13 The EU13 is comprised of the Member States joining the EU in

    2004 or later: Cyprus, Hungary, Czech Republic, Estonia,

    Latvia, Lithuania, Malta, Poland, Slovak Republic and Slovenia

    (2004 accession); Bulgaria and Romania (2008); and Croatia

    (2013).

    Full cost recovery

    Full cost recovery through tariffs entails that the tariffs should

    be sufficient to cover all the direct economic and financial costs

    of supplying the service, including the capital costs of replacing

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    6

    and expanding the infrastructure, and ultimately the scarcity

    value of natural resources affected and externality costs as well.

    (source: OECD, 2009).

    This principle is evoked by the EU Water Framework Directive

    and the EU Waste Framework Directive, which require Member

    States to take account of the principle.

    Implementing

    body/intermediate

    body

    According to Article 2 of Regulation (EC) No 1083/2006,

    intermediate body is ‘any public or private body or service

    which acts under the responsibility of a managing or certifying

    authority, or which carries out duties on behalf of such an

    authority vis-à-vis beneficiaries implementing operations.

    Major projects Large-scale infrastructure projects concerning transport,

    environment and other sectors energy, research and ICT. Major

    Projects benefit from financial support from the European

    Regional Development Fund and/or the Cohesion Fund. Their

    eligible cost must be more than € 75 million for projects under

    thematic objective 7 ("Promoting sustainable transport and

    removing bottlenecks in key network infrastructure") and more

    than € 50 million in other thematic objectives and therefore are

    subject to the quality appraisal by the European Commission

    (source: InfoRegio, 2015).

    Managing Authority According to Article 59 of Regulation (EC) No 1083/2006,

    Managing Authority is a national, regional or local public

    authority or a public or private body designated by the Member

    State to manage the operational programme.

    Population equivalent

    (p.e.)

    1 p.e. (population equivalent) means the organic biodegradable

    load having a five-day biochemical oxygen demand (BOD5) of

    60 g of oxygen per day.

    Polluter Pays Principle The Polluter-Pays Principle was adopted by OECD in 1972 as an

    economic principle for allocating the costs of pollution control.

    Under the 1972 and 1974 OECD Recommendations, the

    Polluter-Pays Principle means that the polluter should bear the

    "costs of pollution prevention and control measures", the latter

    being "measures decided by public authorities to ensure that

    the environment is in an acceptable state". In other words the

    polluter has to bear the cost of steps that he is legally bound to

    take to protect the environment, such as measures to reduce

    the pollutant emissions at source and measures to avoid

    pollution by collective treatment of effluent from a polluting

    installation and other sources of pollution. (source: OECD,

    1981)

    Work Package 0

    (WP0)

    Ex-post evaluation work package on data collection and quality

    assessment of (core) indicator data reported by the managing

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    7

    authorities.

    Work Package 13

    (WP13)

    Ex-post evaluation work package on geography of expenditure

    focusing on gathering data on allocations to selected projects

    and expenditures by Member States and regions and by priority

    theme.

    Priority theme Priority themes are categories of expenditure listed in Annex IV

    of Regulation (EC) No 1083/2006 with specific codes. According

    to Article 9(3) of this Regulation, the assistance co-financed by

    the Funds shall target the European Union priorities that are

    reflected in these categories.

    Priority Axis According to Article 2 of Regulation (EC) No 1083/2006, priority

    axis is ‘one of the priorities of the strategy in an operational

    programme comprising a group of operations which are related

    and have specific measurable goals’.

    Annual

    Implementation

    Report (AIR)

    The reports on the progress made in implementing the

    operational programme and priority axes which the Managing

    Authorities are obliged to send to the Commission by 30 June

    each year (Article 67 of Regulation (EC) No 1083/2006 provides

    more details on contents of these reports).

    Operational

    Programme (OP)

    According to Article 2 of Regulation (EC) No 1083/2006,

    Operational Programme is a ‘document submitted by a Member

    State and adopted by the Commission setting out a

    development strategy with a coherent set of priorities to be

    carried out with the aid of a Fund, or, in the case of the

    Convergence objective, with the aid of the Cohesion Fund and

    the ERDF’.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    8

    Executive summary

    The project 'Ex post Evaluation of Cohesion Policy Programmes 2007-2013 Co-

    Financed by the ERDF/CF, Work Package 6' was one out of a number of work packages

    included in the ex post evaluation organised by DG Regional and Urban Policy.

    The evaluation analysed the progress and achievements of Cohesion Policy in selected

    areas of environmental infrastructure: drinking water, wastewater treatment, and

    solid waste management. Due to the nature of the projects supported, it is difficult in

    practice to distinguish between water and wastewater projects and so these were

    combined in the analysis. This report therefore presents results of the evaluation for

    two major policy areas: waste management and water.

    Four main questions guided the evaluation:

    1 To what extent has Cohesion Policy funding contributed to Member States'

    implementation of EU environmental directives?

    2 To what extent are investment projects co-funded by Cohesion Policy funding

    financially sustainable?

    3 What has been the quality of financial analysis (including demand analysis)

    undertaken as part of the preparation of major projects on water and waste

    management?

    4 What are the most common problems encountered in financial analysis and

    what could be done to avoid these problems?

    In order to answer the questions, the evaluation used an approach combining a broad

    review of the portfolio of projects and operational programmes for water and waste

    management with a more detailed and deeper analysis of a limited number of selected

    major projects.

    The broad, horizontal analysis focused on assessing the role of Cohesion Policy co-

    funded investments in achieving key water and waste targets. This was undertaken

    through a review of trends in the two sectors, an analysis of the importance of

    Cohesion Policy funding in relation to public spending in general and an overview of

    the achievements of Cohesion Policy projects as shown by core indicators. As the

    evaluation was carried out in 2015, not all Cohesion Policy expenditure had been

    completed and not all projects were operational. Further, the latest available financial

    data covered Operational Programme decided amounts and expenditure through 2014

    (as per Regulation 1083/2006, the last year of expenditure is 2015). Consequently,

    the evaluation does not present the final results of the 2007-2013 programming

    period as these are not yet available.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    9

    An analysis of six selected Operational Programmes elicited additional findings on the

    contribution of Cohesion Policy to environmental improvement. The six Operational

    Programmes were in: Bulgaria, Estonia, Italy (Campania regional programme),

    Poland, Slovenia and Spain (Andalusia regional programme).

    At the project level, the evaluation comprised a desk study of the quality of the

    financial analysis for 20 selected major projects and in-depth case studies of 10 of

    these projects. The selection favoured operational projects in order to enable ex-post

    assessment of the financial analysis and financial sustainability as well as project

    outcomes. Other selection criteria included geographical balance as well as the mix of

    water and waste management projects. Through interviews with managing authorities

    and implementing bodies, the ten case studies examined implementation issues and

    provided a wider, contextual understanding of the financial analysis and sought to

    identify any problems in this respect.

    A seminar with participation from the Member States, the Commission Services and

    other key stakeholders discussed the results, providing further insight into the issues

    and possible policy recommendations.

    The main findings of the evaluation in relation to the four guiding questions were:

    1. To what extent has Cohesion Policy funding contributed to Member States'

    implementation of EU environmental directives?

    Ensuring the long-term sustainability of Europe's natural resources and protecting

    human health are the main objectives of EU environmental legislation. Cohesion Policy

    is an important source of finance for environmental investments in the EU. In total,

    just over EUR 46.5 billion were foreseen for the environment in the period 2007-2013.

    Environment took the second-largest share among the 15 Cohesion Policy broad policy

    areas for which spending is tracked, exceeded only by transport. Decided amounts for

    water represented the largest share, 46.5%, of all decided amounts for the

    environment. Waste management accounted for 12.0%. The total decided amount for

    the two areas was EUR 27.3 billion, with two-thirds of this located in the EU13. Three

    countries with large populations accounted for 46% of all the resources for the two

    broad areas: Poland, Spain and Romania. Almost 90% of resources go to convergence

    regions.

    In the case of water, at the start of the programming period many Member States

    across Europe needed to make major investments to improve drinking water and to

    ensure collection and treatment of waste water in order to meet EU standards. The

    greatest investment needs were seen in the EU13 and southern EU15 Member States.

    Cohesion Policy funding amounting to EUR 21.8 billion was used for this. In several

    Member States, including Bulgaria and Slovenia, Cohesion Policy represented the

    majority of funding for improvements. In other Member States that needed to make

    large investments in this regard, Cohesion Policy was one of the leading sources of

    funding, along with co-financing from EIB loans and domestic resources. Projects

    supported by the Operational Programmes and completed by the end of 2013 had

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    10

    improved drinking water supply for at least 4 million EU citizens, and ensured better

    wastewater treatment for over 7 million. Between 2007 and 2013, a broad range of

    Member States, in particular in the EU13 and southern Europe, succeeded in

    complying more closely with the EU’s Urban Waste Water Treatment Directive. This

    included the Czech Republic, Estonia, Spain, Hungary, Latvia, Portugal, Slovenia and

    Slovakia (for some other Member States, comparable data were not available;

    complete data for 2013 will be available in the first half of 2016). The qualitative

    overview of the six Operational Programmes indicated above highlighted the large

    share of resources devoted to the water sector and the important role of Cohesion

    Policy compared to other funding sources. Results in terms of progress to EU targets

    were fairly clear in Estonia, Poland and Slovenia.

    In respect to waste management, the situation in 2007 was similar to that in the

    water sector: major investments were necessary to implement EU requirements and

    meet targets and the largest investment needs were seen in EU13 and southern EU15

    Member States. Cohesion Policy provided nearly EUR 5.6 billion for investments in this

    area. In Bulgaria, Romania and Slovenia, Cohesion Policy provided the majority of

    financing for investments in municipal solid waste management. In other EU13

    Member States as well as southern EU15 Member States, Cohesion Policy has been

    one of the main sources of public financing, along with domestic resources and co-

    financing from EIB loans. Between 2007 and 2013, many of these Member States

    have made progress in closing landfills that did not meet EU standards, in increasing

    the separate collection of recyclable and biodegradable waste and in building new

    waste treatment facilities. The rate of recycling rose in 18 of the Member States that

    allocated Cohesion Policy resources to waste management; for six of these – Croatia,

    Czech Republic, Hungary, Lithuania, Poland and Slovenia – it increased by at least 10

    percentage points.

    In the six Member States and regions whose Operational Programmes were reviewed,

    Cohesion Policy funding directly supported key investments to increase recycling and

    achieve other targets of EU legislation for the management of municipal solid waste.

    Cohesion Policy provided the most important source of financing for these investments

    in two Member States, Bulgaria and Slovenia. In Bulgaria, the level of landfilling fell

    from 80% to 70% between 2007 and 2013. In Slovenia, recycling nearly doubled from

    2007 to 2013 to exceed 40%. Cohesion Policy provided a major source of investment

    in two other EU13 Member States: Estonia and Poland. In Poland, for example,

    Cohesion Policy funded the construction of regional waste facilities, including

    Mechanical Biological Treatment plants and recycling plants, thus contributing to

    progress towards EU recycling targets.

    The 10 in-depth project case studies found a high degree of coherence between

    Operational Programmes and Member States’ sectoral plans for water and waste

    management, a link that should ensure the contribution of Cohesion Policy

    investments to the achievement of compliance with EU water and waste requirements.

    The rate of expenditure, however, has been a concern in particular for waste

    management: up to the end of 2014, several Member States had spent only 55% of

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    11

    their decided amounts. The rate of expenditure for water was higher – over 70% and

    on par with the average for all Cohesion Policy spending; however, the expenditure

    rate for transport, the broad area receiving the largest amount of funding, exceeded

    80%. Several national officials participating in the work package seminar – for

    example from Estonia, Hungary and Poland – said that they expected the funding for

    both waste management and water to be fully spent by the end of 2015. It is not yet

    confirmed that this has been achieved. Experience of past programming periods,

    however, has shown that projects are completed especially in the last year of eligible

    expenditure. It is therefore expected that substantial improvements through 2015 will

    be seen. Based on preliminary data for 2015 provided by DG REGIO, improvements

    have already been observed in some countries (Bulgaria, Croatia, the Czech Republic,

    Latvia, Romania, Slovakia and Slovenia).

    One reason for the slow pace of expenditure through the end of 2014 is that, due to

    the financial crisis, the cost of many projects turned out to be lower than anticipated,

    leaving a surplus budget. Many Operational Programmes have lacked strong pipelines

    of potential projects at an advanced stage of preparation and so did not have ready

    additional projects for investing more in waste management. At the work package

    seminar, Member States participants also cited problems in procurement procedures

    as a reason for delays; this is linked in part to a lack of administrative capacity in

    municipal authorities for managing large and often technically complex tenders.

    Overall, for both water and waste, Cohesion Policy spending has provided crucial

    financing to meet EU requirements and targets, in particular in the EU13 and in

    southern European Member States. The evaluation nonetheless shows that data on

    decided amounts and expenditures need to be supplemented by better data on

    achievements. Moreover, it would be valuable to integrate more closely future

    evaluations for EU regional policy with assessments of implementation for the water

    and waste directives, compliance with which requires major infrastructure investment.

    2. To what extent are investment projects co-funded by Cohesion Policy

    funding financially sustainable?

    Financial sustainability is an important issue for assessing the contribution of Cohesion

    Policy to achieving EU environmental targets. One of the important findings of

    previous evaluations carried out for the 2000-2006 programming period was that the

    financial sustainability of investments in environmental infrastructure was not always

    ensured. This could jeopardise the future operation of the services that were supposed

    to be delivered – and call into question whether Cohesion Policy funding is in fact

    helping to meet environmental targets.

    The evaluation was based on analysis of 20 projects, out of which only 11 were

    operational at the time of analysis – and those that were operational had only been so

    for relatively short periods of time (all for less than three years). Therefore, it is too

    early to make firm judgements on the financial sustainability of the projects. Further,

    the sample of projects was too small to be considered representative of the entire

    portfolio of major projects with regard to water and waste management (comprising

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    12

    189 projects). This being said, the findings of the evaluation are predominantly

    positive in respect of financial sustainability:

    The financial analysis in the 20 projects reviewed was found to be of reasonable quality and so provided a sound basis for financial sustainability.

    Nevertheless, there is still room for further improvement illustrated by the 11

    problems identified under evaluation question 4.

    The seven operational projects studied as case studies all showed good financial performance and there were no indications that financial

    sustainability was likely to be an issue.

    3. What has been the quality of financial analysis (including demand

    analysis) undertaken as part of the preparation of major projects on water

    and waste management?

    The project reviews and case studies overall showed that the quality of the financial

    analysis was reasonably good. Only a few concrete methodological errors were

    identified in the analysis and there were no systematic errors across projects.

    However, the review did identify some general quality issues (see question 4 below).

    One of the important findings of the previous evaluations of environmental projects in

    the 2000-2006 programming period was that there was a lack of capacity for financial

    analysis and this was a weakness hampering project implementation. The findings of

    the current evaluation suggest that this situation has improved. This was discussed

    with stakeholders at the seminar, where the consensus was that there has been an

    improvement in the quality of submissions (the quality of documents submitted, the

    quality of the financial analysis of the estimates, etc.) especially for projects submitted

    later in the 2007-2013 programming period.

    4. What are the most common problems encountered in financial analysis and

    what could be done to avoid these problems?

    The study identified eleven challenges to financial sustainability based on analysis of

    the projects, case studies and the conclusions from the seminar. The problems

    presented below are common in the sense both that they occur in several of the

    projects analysed and that they are found in both waste management and water.

    Detailed information can be found in the catalogue of challenges (Part 3 of the report).

    It provides practical tips for managing authorities, implementing bodies and project

    reviewers and helps overcome the most common problems. The challenges belong to

    five main clusters:

    Challenges resulting from the implementation of EU directives and regulations: The financial analysis of each of the project reviewed focused

    only on the financial sustainability of the project, in line with the EU

    guidelines. However, sustainability of services is determined inter alia by the

    financial sustainability of the operating company in the “with the project”

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    13

    situation (Problem 1 “Project versus company approach to financial

    sustainability”). The Cost Benefit Analysis guide 2014-2020 has resolved this

    by specifically requiring an analysis of sustainability in the “with the project”

    scenario. For Problem 2 “EU grant calculation (dis)incentives”, it was observed

    that the calculation of the financing gap, and so the EU grant, in the

    application provides an incentive to keep tariffs low, e.g. not to charge

    sufficiently. Costs of asset depreciation, replacement, and cost of financing

    are not included; as a result they become difficult to recover creating a

    financial sustainability issue.

    Issues of capacity, commitment and involvement have major consequences for financial sustainability. In projects with less competent

    contractors, delays were typically experienced. This is discussed in Problem 3

    “Lack of a financially strong and technically competent contractor”. A good

    practise to mitigate this is a robust tendering process by which the

    competence of the bidders as well as their financial strength is taken into

    account in the selection procedure. For projects that have been prepared

    centrally on behalf of regional governments/beneficiaries, Problem 4 “Non-

    involvement of the Beneficiary in project design” may prolong the

    implementation period and give rise to operational difficulties, because the

    beneficiaries may not have sufficient ownership of the project and knowledge

    of its specific features.

    Issues related to assumptions used in project preparation, in particular in relation to demand analysis: The project review showed that the demand

    analyses conducted are typically sound, but there are examples of demand for

    water being overestimated (Problem 5 “overestimation of demand for water

    services”). When the actual volumes of water consumed or wastewater

    requiring treatment are smaller than estimated, the plants will be affected by

    inefficiencies due to overcapacity and, potentially, there is a risk to financial

    sustainability because of tariff revenues being lower than expected. Clear

    references for population forecasts and for demand forecasts to factor in price

    elasticities as well as a clear explanation and justification of the return factors

    applied could mitigate this. Also waste amounts have been overestimated

    (Problem 6 “overestimation of demand for solid waste services”) leading to

    overcapacity that results in inefficient plant operations and unnecessarily high

    fixed costs. Systematic analysis of future waste amounts based inter alia on

    population, consumption habits and markets for recycled material and

    compost and the performance of a check using benchmark data for equivalent

    waste producers in similar surroundings would be required to mitigate this

    problem.

    Consequences for financial sustainability of “optimism bias” in the planning of infrastructure investments. In Cohesion Policy projects “optimism bias”

    gives rise to implementation delays (Problem 8 “Optimism bias with regard to

    length of implementation period”). Seminar participants noted that in some

    cases, the original project proponent would suggest a more realistic schedule

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    14

    but at a later stage, Managing Authorities would impose more optimistic

    schedules due to the pressure on governments to demonstrate that they are

    doing something to counter the crisis as well as the need to abide by the n+2

    rule. In addition, some beneficiaries interviewed for the case studies

    experienced the process of obtaining final approval for 'major projects' from

    the EU Commission to be longer than expected. Many beneficiaries initiated

    projects without having final approval from the Commission. In some of these

    cases, the optimism bias led to cash flow problems for the beneficiaries, which

    delayed project implementation (Problem 7 “Cash flow management in major

    projects").

    Affordability of service levels and financial sustainability are objectives

    that are in conflict. Some consequences of this contradiction show up in

    Problem 9 “Is average household incomes a good indicator?” Beneficiaries

    generally use average household expenditure relative to average household

    disposable income. However, the lack of consideration of income distribution

    and local/regional income levels could adversely affect the collection of tariffs

    and so harm the financial sustainability of the utility company. In projects

    where affordability concerns limit tariff increases to below what is needed for

    cost recovery, it was observed that beneficiaries choose lower tariffs assuming

    that governments will make good the missing revenue (Problem 10

    “Exceeding the affordability threshold and a subsidy mechanism”). However,

    typically, no information is provided on the institutional arrangements to

    compensate the operating company for the missing tariff revenue, often

    reflecting the fact that no such arrangements as regards securing public

    subsidy are in place. Furthermore, the reviewed projects provided plans for

    how tariffs should be increased during the project implementation period

    typically with a phasing-in period. However, Problem 11 “Tariffs are not

    increased as per plans in the Application form” was observed in some cases.

    Typically reasons are given that tariffs cannot be raised prior to provision of

    improved services to consumers and consumers’ perceiving this improvement

    in service. In particular in water, if tariffs are kept too low, the water

    resources will not be used efficiently, and, in addition, there is a threat to the

    financial sustainability of the service. More emphasis should be put on

    considering ways of gradually phasing in higher tariffs rather than

    implementing sharp increases.

    All in all, the study shows that Cohesion Policy has provided a major contribution

    to achieving EU water and waste targets, in particular for EU13. Due to

    affordability concerns in relation to financing the construction and operation of

    major infrastructure for water and waste management, there is – and will

    continue to be – a need for Cohesion Policy co-funding to projects in these areas.

    Financial analysis underlying the major projects is of reasonable quality and

    provides a sound basis for financial sustainability. Re-allocations and relatively

    low rates of expenditure in several Member States, in particular in the waste

    sector, raise concerns. Still, some Member States expected that allocated

    amounts for both waste management and water would be fully spent by the end

    of 2015. Some of the quality issues that were identified for the financial analysis

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    15

    of major projects 2007-2013 have already been addressed by the new regulation

    and guidelines covering the 2014-2020 period.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    16

    Résumé

    Le projet 'Évaluation ex post des programmes de la politique de cohésion 2007-2013

    cofinancés par le FEDER/FC, module de travail 6' était l’un des modules de travail

    inclus dans l’évaluation ex post organisée par la Direction générale de la politique

    régionale et urbaine.

    L’évaluation a analysé les progrès et les résultats de la politique de cohésion dans

    certains domaines de l’infrastructure environnementale : l’eau potable, le traitement

    des eaux usées et la gestion des déchets solides. Compte tenu de la nature des

    projets soutenus, il est difficile, en pratique, de distinguer les projets de gestion de

    l’eau et des eaux usées; ils ont donc été combinés dans l’analyse. Ce rapport présente

    ainsi les résultats de l’évaluation pour deux grands domaines stratégiques: la gestion

    des déchets et l’eau.

    Quatre grandes questions ont orienté l’évaluation:

    1 Dans quelle mesure le financement de la politique de cohésion a-t-il contribué

    à la mise en œuvre des directives environnementales de l’UE par les Etats

    membres?

    2 Dans quelle mesure les projets d’investissement cofinancés par les fonds de la

    politique de cohésion sont-ils financièrement viables?

    3 Quelle a été la qualité de l’analyse financière (y compris l’analyse de la

    demande) réalisée dans le cadre de la préparation de projets majeurs de

    gestion de l’eau et des déchets?

    4 Quels sont les problèmes les plus courants rencontrés dans l’analyse

    financière et que pourrait-on faire pour les éviter?

    Afin de répondre à ces questions, l’évaluation a utilisé une approche associant un

    examen général du portefeuille de projets et de programmes opérationnels pour la

    gestion de l’eau et des déchets à une analyse plus détaillée et approfondie d’un certain

    nombre de projets majeurs sélectionnés.

    L’analyse horizontale générale a essentiellement consisté à évaluer la contribution des

    investissements cofinancés par la politique de cohésion dans la réalisation des

    objectifs clés en matière de gestion de l’eau et des déchets. Cette analyse a été

    réalisée dans le cadre d’un examen des tendances dans les deux secteurs, d’une

    analyse de l’importance des fonds de la politique de cohésion par rapport aux

    dépenses publiques en général et d’une vue d’ensemble des résultats des projets de la

    politique de cohésion selon des indicateurs clés. L’évaluation ayant été réalisée en

    2015, toutes les dépenses de la politique de cohésion n’avaient pas été effectuées et

    tous les projets n’étaient pas opérationnels. De plus, les dernières données financières

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    17

    disponibles couvraient les montants et les dépenses décidés pour les programmes

    opérationnels au cours de l’année 2014 (conformément au règlement 1083/2006, la

    dernière année de dépenses est l’année 2015). Par conséquent, l’évaluation ne

    présente pas les résultats finaux de la période de programmation 2007-2013 puisque

    ceux-ci ne sont pas encore disponibles.

    Une analyse de six programmes opérationnels sélectionnés a permis d’obtenir des

    informations supplémentaires sur la contribution de la politique de cohésion à

    l’amélioration de l’environnement. Les six programmes opérationnels étaient situés

    en: Bulgarie, Estonie, Italie (programme régional de Campania), Pologne, Slovénie et

    Espagne (programme régional d’Andalousie).

    Au niveau des projets, l’évaluation a notamment consisté en une étude de bureau de

    la qualité de l’analyse financière pour 20 projets majeurs sélectionnés et en des

    études de cas approfondies pour 10 d’entre eux. La sélection a privilégié des projets

    opérationnels afin de permettre une évaluation ex-post de l’analyse financière et de la

    viabilité financière, ainsi que des résultats des projets. Parmi les autres critères de

    sélection figuraient l’équilibre géographique, ainsi que la combinaison de projets de

    gestion de l’eau et des déchets. Dans le cadre d’entretiens avec des autorités de

    gestion et des organismes d’exécution, les dix études de cas ont examiné les

    problèmes de mise en œuvre, ont permis une appréhension contextuelle plus générale

    de l’analyse financière et ont tenté d’identifier d’éventuels problèmes à ce niveau.

    Un séminaire avec la participation des Etats membres, des services de la Commission

    et d’autres acteurs clés a examiné les résultats et a approfondi l’analyse des enjeux et

    des recommandations stratégiques possibles.

    Les principaux résultats de l’évaluation par rapport aux quatre principales questions

    ont été les suivants:

    1. Dans quelle mesure le financement de la politique de cohésion a-t-il

    contribué à la mise en œuvre des directives environnementales de l’UE par

    les Etats membres?

    Assurer la durabilité à long terme des ressources naturelles de l’Europe et protéger la

    santé humaine sont les principaux objectifs de la législation environnementale de l’UE.

    La politique de cohésion est une importante source de financement pour des

    investissements environnementaux au sein de l’UE. Au total, un peu plus de 46,5

    milliards d’euros ont été prévus pour l’environnement au cours de la période 2007-

    2013. L’environnement a représenté la deuxième part la plus importante parmi les 15

    grands domaines stratégiques de la politique de cohésion pour lesquels les dépenses

    sont suivies, devancé seulement par le transport. Les montants décidés pour l’eau ont

    représenté la plus grande part, 46,5% de l’ensemble des montants décidés pour

    l’environnement. La gestion des déchets a représenté 12,0%. Le montant total décidé

    pour les deux domaines s’est élevé à 27,3 milliards d’euros, les deux tiers étant situés

    dans l’UE13. Trois pays très peuplés ont représenté 46% de l’ensemble des ressources

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    18

    pour les deux grands domaines : la Pologne, l’Espagne et la Roumanie. Près de 90%

    des ressources sont destinées à des régions de convergence.

    Dans le cas de l’eau, au début de la période de programmation, de nombreux Etats

    membres en Europe ont dû faire des investissements majeurs pour améliorer l’eau

    potable et assurer la collecte et le traitement des eaux usées afin de respecter les

    normes de l’UE. Les principaux besoins d’investissement ont pu être observés dans

    l’UE13 et dans les Etats membres du sud de l’UE15. Des fonds de la politique de

    cohésion s’élevant à 21,8 milliards d’euros ont été utilisés à ces fins. Dans plusieurs

    Etats membres, dont la Bulgarie et la Slovénie, la politique de cohésion a représenté la

    majorité des fonds prévus pour des améliorations. Dans d’autres Etats membres où de

    grands investissements étaient nécessaires dans ce domaine, la politique de cohésion

    a été l’une des principales sources de financement, avec le co-financement des prêts

    de la BEI et des ressources nationales. Des projets soutenus par les programmes

    opérationnels et menés à terme avant la fin de l’année 2013 avaient amélioré la

    distribution d’eau potable pour au moins 4 millions de citoyens de l’UE et assuré un

    meilleur traitement des eaux usées pour plus de 7 millions. Entre 2007 et 2013,

    plusieurs Etats membres, notamment dans l’UE13 et dans le sud de l’Europe, sont

    parvenus à respecter davantage la directive de l’UE relative au traitement des eaux

    urbaines résiduaires. Parmi ces Etats membres figuraient la République tchèque,

    l’Estonie, l’Espagne, la Hongrie, la Lettonie, le Portugal, la Slovénie et la Slovaquie

    (pour d’autres Etats membres, des données comparables n’étaient pas disponibles ;

    les données complètes pour 2013 seront disponibles au premier semestre 2016).

    L’aperçu qualitatif des six programmes opérationnels indiqués ci-dessus a souligné la

    grande part des ressources destinées au secteur de l’eau et le rôle important de la

    politique de cohésion par rapport à d’autres sources de financement. Les résultats au

    niveau de la réalisation des objectifs de l’UE ont été assez clairs en Estonie, en

    Pologne et en Slovénie.

    Concernant la gestion des déchets, la situation en 2007 était semblable à celle du

    secteur de l’eau : des investissements majeurs étaient nécessaires pour répondre aux

    exigences de l’UE et atteindre les objectifs, et les principaux besoins d’investissement

    pouvaient être observés dans l’UE13 et les Etats membres du sud de l’UE15. La

    politique de cohésion a apporté près de 5,6 milliards d’euros d’investissements dans

    ce domaine. En Bulgarie, en Roumanie et en Slovénie, la politique de cohésion a fourni

    l’essentiel des fonds pour des investissements dans la gestion des déchets solides au

    niveau municipal. Dans d’autres Etats membres de l’UE13, ainsi que dans les Etats

    membres du sud de l’UE15, la politique de cohésion a été l’une des principales sources

    de financement public, avec des ressources nationales et le co-financement des prêts

    de la BEI. Entre 2007 et 2013, beaucoup de ces Etats Membres ont réalisé des progrès

    en fermant des décharges non conformes aux normes de l’UE, en développant la

    collecte séparée des déchets recyclables et biodégradables et en construisant de

    nouvelles installations de traitement des déchets. Le taux de recyclage a augmenté

    dans 18 des Etats Membres qui ont alloué des ressources de la politique de cohésion à

    la gestion des déchets ; pour six d’entre eux – la Croatie, la République tchèque, la

    Hongrie, la Lituanie, la Pologne et la Slovénie – il a augmenté d’au moins 10 points de

    pourcentage.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    19

    Dans les six Etats membres et régions dont les programmes opérationnels ont été

    examinés, les fonds de la politique de cohésion ont directement soutenu des

    investissements clés pour augmenter le taux de recyclage et atteindre d’autres

    objectifs de la législation de l’UE concernant la gestion des déchets solides au niveau

    municipal. La politique de cohésion a constitué la principale source de financement

    pour ces investissements dans deux Etats membres, la Bulgarie et la Slovénie. En

    Bulgarie, le taux de mise en décharge est passé de 80% à 70% entre 2007 et 2013.

    En Slovénie, le recyclage a presque doublé entre 2007 et 2013 pour dépasser les

    40%. La politique de cohésion a constitué une source majeure d’investissement dans

    deux autres Etats membres de l’UE13 : l’Estonie et la Pologne. En Pologne par

    exemple, la politique de cohésion a financé la construction d’installations régionales de

    traitement des déchets, notamment des stations de traitement mécano-biologiques et

    des centres de recyclage, contribuant ainsi à progresser sur la voie des objectifs de

    recyclage de l’UE.

    Les dix études de cas approfondies des projets ont constaté une grande cohérence

    entre les programmes opérationnels et les plans sectoriels des Etats membres

    concernant la gestion de l’eau et des déchets, un lien qui devrait garantir la

    contribution des investissements de la politique de cohésion à l’objectif de conformité

    avec les exigences de l’UE en matière de gestion de l’eau et des déchets.

    Cependant, le taux de dépense a posé problème, notamment pour la gestion des

    déchets: fin 2014, plusieurs Etats membres n’avaient dépensé que 55% de leurs

    montants décidés. Le taux de dépense pour l’eau était plus élevé – plus de 70% et

    d’un niveau équivalent à la moyenne pour l’ensemble des dépenses de la politique de

    cohésion ; cependant, le taux de dépense pour le transport, le domaine général

    recevant la principale part des fonds, dépassait les 80%. Plusieurs représentants

    nationaux participant au séminaire sur le module de travail – originaires, par exemple,

    d’Estonie, de Hongrie et de Pologne – ont indiqué qu’ils pensaient que les fonds prévus

    pour la gestion des déchets et de l’eau seraient entièrement dépensés avant la fin de

    l’année 2015. Il n’a pas encore été confirmé si ce résultat avait été obtenu.

    Cependant, l’expérience des précédentes périodes de programmation a montré que les

    projets sont surtout menés à terme au cours de la dernière année de dépenses

    éligibles. Des améliorations considérables devraient donc être observées au cours de

    l’année 2015. Selon des données préliminaires pour 2015 fournies par la DG REGIO,

    des améliorations ont déjà pu être observées dans certains pays (Bulgarie, Croatie,

    République tchèque, Lettonie, Roumanie, Slovaquie et Slovénie).

    Le rythme lent des dépenses jusqu’à la fin 2014 s’explique en partie par le fait qu’en

    raison de la crise financière, le coût de nombreux projets s’est avéré plus bas que

    prévu, donnant lieu à un excédent budgétaire. Beaucoup de programmes

    opérationnels manquaient d’un portefeuille solide de projets potentiels à un stade de

    préparation avancé et ne disposaient donc pas de projets additionnels pour investir

    davantage dans la gestion des déchets. Lors du séminaire sur le module de travail,

    des participants des Etats membres ont également cité des problèmes dans les

    procédures de passation des marchés parmi les raisons des retards ; ces problèmes

    sont dus en partie au manque de capacité administrative des autorités municipales

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    20

    pour gérer des appels d’offre de grande portée et souvent complexes sur le plan

    technique.

    En général, pour l’eau comme pour les déchets, les dépenses de la politique de

    cohésion ont représenté des financements cruciaux en vue de respecter les exigences

    et objectifs de l’UE, notamment dans l’UE13 et dans les Etats membres du sud de

    l’Europe. L’évaluation souligne néanmoins que les données sur les montants et les

    dépenses décidés doivent être complétées par de meilleures données sur les résultats.

    De plus, il serait utile d’intégrer davantage de futures évaluations des politiques

    régionales de l’UE aux évaluations de mise en œuvre pour les directives relatives à la

    gestion de l’eau et des déchets, le respect de ces dernières nécessitant des

    investissements d’infrastructure majeurs.

    2. Dans quelle mesure les projets d’investissement cofinancés par les fonds

    de la politique de cohésion sont-ils financièrement viables?

    La viabilité financière est une question importante pour évaluer la contribution de la

    politique de cohésion à la réalisation des objectifs environnementaux de l’UE. L’un des

    résultats importants des précédentes évaluations réalisées pour la période de

    programmation 2000-2006 a été de constater que la viabilité financière des

    investissements dans l’infrastructure environnementale n’était pas toujours assurée.

    Cela pourrait compromettre la future gestion des services qui étaient censés être

    fournis – et remettre en question la contribution des fonds de la politique de cohésion

    à la réalisation des objectifs environnementaux.

    L’évaluation était fondée sur l’analyse de 20 projets, dont seulement 11 étaient

    opérationnels au moment de l’analyse – et ceux qui étaient opérationnels ne l’étaient

    que depuis relativement peu de temps (tous depuis moins de trois ans). Il est donc

    trop tôt pour émettre des jugements définitifs sur la viabilité financière des projets. De

    plus, l’échantillon de projets était trop petit pour être considéré comme représentatif

    de tout le portefeuille de projets majeurs en matière de gestion de l’eau et des

    déchets (comprenant 189 projets). Cela dit, les résultats de l’évaluation sont

    majoritairement positifs concernant la viabilité financière:

    L’analyse financière dans les 20 projets examinés s’est avérée être de qualité raisonnable et a ainsi fourni une base solide pour la viabilité financière.

    Néanmoins, il reste encore des progrès à faire, comme l’illustrent les 11

    problèmes identifiés dans le cadre de la question d’évaluation 4.

    Les sept projets opérationnels étudiés en tant qu’études de cas ont tous obtenu de bons résultats financiers et rien n’indiquait que la viabilité

    financière risquait d’être problématique.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    21

    3. Quelle a été la qualité de l’analyse financière (y compris l’analyse de la

    demande) réalisée dans le cadre de la préparation de projets majeurs de

    gestion de l’eau et des déchets?

    Les examens des projets et les études de cas en général ont indiqué que la qualité de

    l’analyse financière était raisonnablement bonne. Seules quelques erreurs

    méthodologiques concrètes ont été identifiées dans l’analyse et aucune erreur

    systématique n’a été observée dans les projets. Cependant, l’examen a identifié

    certains problèmes généraux de qualité (voir question 4 ci-dessous).

    L’un des résultats importants des précédentes évaluations réalisées pour la période de

    programmation 2000-2006 a été de constater le manque de capacités pour réaliser

    l’analyse financière, une faiblesse qui entravait la mise en œuvre des projets. Les

    résultats de l’évaluation actuelle suggèrent que la situation s’est améliorée. Ce point a

    été évoqué avec des parties prenantes lors du séminaire, où un consensus existait

    pour dire que la qualité des soumissions s’était améliorée (la qualité des documents

    présentés, la qualité de l’analyse financière des estimations, etc.), notamment pour

    des projets présentés ultérieurement durant la période de programmation 2007-2013.

    4. Quels sont les problèmes les plus courants rencontrés dans l’analyse

    financière et que pourrait-on faire pour les éviter?

    L’étude a identifié onze obstacles à la viabilité financière selon l’analyse des projets,

    les études de cas et les conclusions du séminaire. Les problèmes présentés ci-dessous

    sont courants dans le sens où ils sont observés dans plusieurs des projets analysés et

    où ils se posent aussi bien pour la gestion des déchets que pour celle de l’eau. Des

    informations détaillées se trouvent dans le catalogue des obstacles (partie 3 du

    rapport). Il donne des conseils pratiques à l’intention des autorités de gestion, des

    organismes d’exécution et des examinateurs des projets, et contribue à surmonter les

    problèmes les plus courants. Les obstacles relèvent de cinq grands groupes:

    Des obstacles dus à la mise en œuvre des directives et règlements de l’UE: L’analyse financière de chaque projet examiné a uniquement porté sur

    la viabilité financière du projet, conformément aux lignes directrices de l’UE.

    Cependant, la viabilité des services est notamment déterminée par la viabilité

    financière de la société d’exploitation dans la situation «avec le projet»

    (Problème 1 «L’approche projet versus l’approche entreprise de la viabilité

    financière»). Le guide d’analyse coût-bénéfice 2014-2020 a résolu ce

    problème en exigeant expressément une analyse de la viabilité dans le

    scénario «avec le projet». Pour le problème 2 «Les (contre)incitations du

    calcul des subventions de l’UE», il a été observé que le calcul de l’écart de

    financement, et donc de la subvention de l’UE, dans la candidature incite à

    maintenir les tarifs à un niveau bas, c’est-à-dire à ne pas suffisamment

    facturer. Les coûts de dépréciation des actifs, de remplacement et les coûts

    de financement ne sont pas inclus; ils deviennent donc difficiles à recouvrer,

    ce qui créé un problème de viabilité financière.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    22

    Des problèmes de capacité, d’engagement et d’implication ont des conséquences majeures sur la viabilité financière. Dans des projets ayant des

    contractants moins compétents, les retards sont courants. Ce point est

    évoqué dans le problème 3 «Manque de contractants solides sur le plan

    financier et compétents sur le plan technique». Une bonne pratique pour

    atténuer cet aspect consiste à organiser une procédure d’appel d’offres solide

    où la compétence et la capacité financière des soumissionnaires sont prises en

    compte dans la procédure de sélection. Pour des projets qui ont été préparés

    centralement pour le compte de gouvernements/bénéficiaires régionaux, le

    problème 4 «Non-implication du bénéficiaire dans la conception du projet»

    peut rallonger la période de mise en œuvre et donner lieu à des difficultés

    opérationnelles, les bénéficiaires risquant de ne pas avoir une mainmise

    suffisante sur le projet et la connaissance de ses caractéristiques spécifiques.

    Des problèmes liés aux suppositions faites pendant la préparation du projet, notamment par rapport à l’analyse de la demande : L’examen du projet a

    souligné que les analyses de la demande effectuées sont généralement

    solides, mais la demande en eau semble parfois avoir été surestimée

    (Problème 5 «Surestimation de la demande pour les services d’eau»). Si les

    volumes réels d’eau consommée ou d’eaux usées nécessitant un traitement

    sont plus faibles que prévu, les stations souffriront d’un manque d’efficacité

    dû à la surcapacité et potentiellement, le fait que les recettes tarifaires soient

    plus basses que prévu peut menacer la viabilité financière. Des références

    claires concernant les prévisions démographiques et les estimations de la

    demande pour tenir compte de l’élasticité des prix, ainsi qu’une explication et

    justification claire des facteurs de rendement appliqués, pourraient atténuer

    cela. De plus, les quantités de déchets ont été surestimées (Problème 6

    «Surestimation de la demande pour les services de déchets solides»),

    entraînant une surcapacité qui se traduit par le fonctionnement inefficace des

    installations et des coûts fixes inutilement élevés. L’analyse systématique des

    futures quantités de déchets, notamment en fonction de la population, des

    habitudes de consommation et des marchés pour les matériaux recyclés et le

    compost, ainsi que la réalisation d’un contrôle à l’aide de données de

    référence pour des producteurs de déchets équivalents dans un

    environnement semblable, seraient nécessaires pour atténuer ce problème.

    Conséquences de la «tendance à l’optimisme» sur la viabilité financière

    dans le cadre de la planification des investissements d’infrastructure. Dans les

    projets de la politique de cohésion, la «tendance à l’optimisme» est à l’origine

    de retards de mise en œuvre (Problème 8 «Tendance à l’optimisme

    concernant la durée de la période de mise en œuvre»). Les participants au

    séminaire ont souligné que dans certains cas, le promoteur original du projet

    suggérerait un calendrier plus réaliste mais qu’ultérieurement, les autorités de

    gestion imposaient des calendriers plus optimistes compte tenu de la pression

    sur les gouvernements pour prouver qu’ils font quelque chose contre la crise

    et de la nécessité de respecter la règle n+2. De plus, certains bénéficiaires

    interrogés dans le cadre des études de cas ont indiqué que le processus

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    23

    d’obtention de l’approbation finale pour des ‘projets majeurs’ de la part de la

    Commission européenne avait été plus long que prévu. De nombreux

    bénéficiaires ont lancé des projets avant d’avoir l’approbation finale de la

    Commission. Dans certains cas, la tendance à l’optimisme a entraîné des

    problèmes de trésorerie pour les bénéficiaires, ce qui a retardé la mise en

    œuvre des projets (Problème 7 «Gestion de la trésorerie dans les projets

    majeurs»).

    L’accessibilité économique des niveaux de service et la viabilité financière sont des objectifs conflictuels. Certaines conséquences de cette

    contradiction peuvent être observées dans le problème 9 «Le revenu moyen

    des ménages est-il un bon indicateur?» Les bénéficiaires utilisent

    généralement les dépenses moyennes des ménages par rapport au revenu

    disponible moyen des ménages. Cependant, la non prise en compte de la

    répartition des revenus et des niveaux de revenus locaux/régionaux

    pourraient avoir un effet négatif sur la perception des tarifs et nuire ainsi à la

    viabilité financière du fournisseur de services. Dans des projets où

    l’accessibilité économique limite les augmentations des tarifs à un niveau

    inférieur à ce qui est nécessaire pour le recouvrement des coûts, il a été

    observé que les bénéficiaires choisissaient des tarifs moins élevés en

    supposant que les gouvernements compenseraient le manque à gagner

    (Problème 10 «Dépassement du seuil d’accessibilité économique et un

    mécanisme de subvention»). Cependant, en général, aucune information n’est

    fournie sur les dispositifs institutionnels prévus pour dédommager la société

    d’exploitation face au manque de recettes tarifaires, ce qui reflète souvent

    l’absence de tels dispositifs sécurisant les subventions publiques. De plus, les

    projets examinés ont fourni des plans d’action concernant la hausse des tarifs

    durant la période de mise en œuvre du projet, généralement avec une période

    d’introduction progressive. Cependant, le problème 11 «Les tarifs douaniers

    ne sont pas augmentés conformément aux plans d’action dans le formulaire

    d’application» a été observé dans certains cas. En général, les raisons

    invoquées sont que les tarifs ne peuvent être augmentés avant que des

    services améliorés soient fournis aux consommateurs et que ces derniers

    aient perçu cette amélioration. En particulier pour l’eau, si les tarifs sont

    maintenus à un niveau trop bas, les ressources de l’eau ne seront pas

    utilisées efficacement et, de surcroit, la viabilité financière du service sera

    menacée. Il faudrait insister davantage sur des méthodes pour introduire

    progressivement des tarifs plus élevés, et non pour appliquer des

    augmentations soudaines.

    Dans l’ensemble, l’étude souligne que la politique de cohésion a apporté une

    contribution majeure à la réalisation des objectifs de l’UE en matière de gestion de

    l’eau et des déchets, notamment pour l’UE13. Compte tenu des problèmes

    d’accessibilité économique par rapport au financement de la construction et de

    l’exploitation d’infrastructures majeures pour l’eau et la gestion des déchets, il y a – et

    il continuera d’y avoir – un besoin de co-financement de la politique de cohésion pour

    des projets dans ces domaines. L’analyse financière sous-jacente aux projets majeurs

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    24

    est de qualité raisonnable et fournit une base solide pour la viabilité financière. Les

    réaffectations et les taux de dépense relativement bas dans plusieurs Etats membres,

    notamment dans le secteur des déchets, suscitent des inquiétudes. Cela dit, certains

    Etats membres pensaient que les montants alloués à la gestion des déchets et à l’eau

    seraient entièrement dépensés d’ici à la fin de l’année 2015. Certains problèmes de

    qualité identifiés pour l’analyse financière des projets majeurs 2007-2013 ont déjà été

    pris en compte dans le nouveau règlement et les nouvelles lignes directrices

    concernant la période 2014-2020.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    25

    Kurzfassung

    Das Projekt „Ex post Evaluation of Cohesion Policy Programmes 2007-2013 Co-

    Financed by the ERDF/CF, Work Package 6“ („Ex-post-Evaluierung der Programme der

    Kohäsionspolitik 2007-2013 kofinanziert vom EFRE/Kohäsionsfonds, Arbeitspaket 6“)

    war eines von mehreren Arbeitspaketen, die in die Ex-post-Evaluierung einbezogen

    waren und von der Generaldirektion Regionalpolitik und Stadtentwicklung organisiert

    wurden.

    Die Evaluierung analysierte Fortschritt und Erfolge der Kohäsionspolitik in

    ausgewählten Bereichen der Umweltinfrastruktur: Trinkwasser, Abwasserbehandlung

    und Entsorgung fester Abfälle. In der Praxis ist es aufgrund der Art der geförderten

    Projekte schwierig, zwischen Wasser- und Abwasserprojekten zu unterscheiden. Diese

    Projekte wurden daher in der Analyse zusammengefasst, so dass dieser Bericht

    Ergebnisse für die zwei Hauptbereiche Abfallbehandlung und Wasser enthält.

    Die Evaluierung erfolgte nach vier wichtigen Fragestellungen:

    1 Inwieweit hat die Finanzierung der Kohäsionspolitik zur Umsetzung von EU-

    Umweltrichtlinien durch die Mitgliedstaaten beigetragen?

    2 Inwieweit sind durch Fördermittel der Kohäsionspolitik kofinanzierte

    Investitionsprojekte finanziell nachhaltig?

    3 Wie war die Qualität der finanziellen Analyse (einschließlich Bedarfsanalyse),

    die im Rahmen der Vorbereitung von Großprojekten in den Bereichen Wasser-

    und Abfallwirtschaft durchgeführt wurden?

    4 Was sind die am häufigsten aufgetretenen Probleme bei der Finanzanalyse

    und wie können diese Probleme vermieden werden?

    Um diese Fragen zu beantworten, wurde in der Evaluierung ein Ansatz verwendet, der

    eine umfassende Prüfung des Portfolios der Projekte und operativen Programme für

    Wasser- und Abfallwirtschaftsprojekte mit einer detaillierteren und tieferen Analyse

    einer beschränkten Anzahl ausgewählter Großprojekte kombiniert.

    Die umfassende horizontale Analyse konzentrierte sich darauf, die Rolle von

    Investitionen, die durch Kohäsionspolitik kofinanziert werden, für die Erreichung von

    wichtigen Zielen für Wasser und Abfall zu untersuchen. Dies erfolgte durch eine

    Prüfung der Entwicklungen in den beiden Sektoren, eine Analyse der Bedeutung von

    Fördermitteln der Kohäsionspolitik im Verhältnis zu öffentlichen Ausgaben im

    Allgemeinen und anhand eines Überblicks über die Ergebnisse von

    Kohäsionspolitikprojekten anhand von Basisindikatoren. Da die Evaluierung 2015

    durchgeführt wurde, waren nicht alle Ausgaben der Kohäsionspolitik abgeschlossen

    und es waren noch nicht alle Projekte angelaufen. Die aktuellsten, finanziellen

    Angaben bezogen sich zudem auf die im Jahr 2014 bewilligten Beträge und getätigten

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    26

    Ausgaben der operationellen Programme (entsprechend der Verordnung 1083/2006 ist

    das letzte Ausgabenjahr 2015). Folglich enthält die Evaluation nicht die Endergebnisse

    der Programmperiode 2007-2013, da diese noch nicht verfügbar sind.

    Eine Analyse von sechs ausgewählten operationellen Programmen ergab weitere

    Erkenntnisse über den Beitrag der Kohäsionspolitik zur Verbesserung der Umwelt. Die

    sechs operationellen Programme waren in: Bulgarien, Estland, Italien (regionales

    Programm in Kampanien), Polen, Slowenien und Spanien (regionales Programm in

    Andalusien).

    Auf Projektebene bestand die Evaluation aus einer Schreibtischstudie zur Qualität der

    Finanzanalyse für 20 ausgewählte Großprojekte und aus umfassenden Fallstudien für

    10 dieser Projekte. Um Finanzanalyse, finanzielle Nachhaltigkeit sowie

    Projektergebnisse ex-post bewerten zu können, wurden bei der Auswahl bereits

    laufende Projekte bevorzugt. Andere Auswahlkriterien waren geografische

    Ausgewogenheit sowie der Mix von Wasser- und Abfallwirtschaftsprojekten. Mit Hilfe

    von Interviews mit lokalen Behörden und Durchführungsorganen untersuchten die

    zehn Fallstudien Fragen der Umsetzung, lieferten ein umfassenderes kontextuelles

    Verständnis der finanziellen Analyse und zielten darauf ab, etwaige diesbezügliche

    Probleme zu ermitteln.

    Auf einem Seminar wurden die Ergebnisse zwischen Vertretern der Mitgliedstaaten

    und der Kommission sowie mit anderen wichtigen Akteuren diskutiert. Dies lieferte

    weitere wichtige Erkenntnisse zu möglichen Problemen und politischen Empfehlungen.

    Wesentliche Erkenntnisse der Evaluierung bezüglich der vier Leitfragen waren:

    1. Inwieweit hat die Finanzierung der Kohäsionspolitik zur Umsetzung von

    EU-Umweltrichtlinien durch die Mitgliedstaaten beigetragen?

    Die Hauptziele der EU-Umweltvorschriften bestehen darin, die langfristige

    Nachhaltigkeit von Europas Rohstoffquellen zu gewährleisten und die menschliche

    Gesundheit zu schützen. Die Kohäsionspolitik ist eine wichtige Finanzquelle für

    Umweltinvestitionen in der EU. Insgesamt waren für die Umwelt rund 46,5 Milliarden

    EUR für den Zeitraum 2007-2013 vorgesehen. Unter den 15 großen Politikbereichen

    der Kohäsionspolitik, in denen die Finanzierung nachverfolgt wird, besaß die Umwelt

    den zweitgrößten Anteil, nur noch übertroffen von Transport. Der größte Anteil entfiel

    auf bewilligte Beträge für Wasser, was 46,5% aller bewilligten Beträge für die Umwelt

    ausmacht. Die Abfallwirtschaft erhielt 12,0%. Der bewilligte Gesamtbetrag in den

    beiden Bereichen belief sich auf 27,3 Milliarden EUR, wobei hiervon zwei Drittel auf die

    EU13-Staaten entfielen. Drei bevölkerungsreiche Länder besaßen einen Anteil von

    46% aller Ressourcen für die zwei Umweltbereiche: Polen, Spanien und Rumänien.

    Fast 90% der Mittel gingen an Konvergenzregionen.

    Im Fall von Wasser mussten viele Mitgliedstaaten in ganz Europa zu Beginn der

    Förderperiode umfangreiche Investitionen tätigen, um Trinkwasser zu verbessern und

    Abwassersammlung und -behandlung zu gewährleisten und EU-Standards zu erfüllen.

  • Ex Post Evaluation of Cohesion Policy Programmes 2007-2013

    ______________________________________________________________________________________

    __________________________________________________________________________________________________ March 2016

    27

    In den EU13-Staaten und den südlichen EU15-Staaten wurde der größte

    Investitionsbedarf ermittelt. Dafür wurden Fördermittel der Kohäsionspolitik in Höhe

    von 21,8 Milliarden EUR verwendet. In mehreren Mitgliedstaaten, einschließlich

    Bulgarien und Slowenien, machte die Kohäsionspolitik den überwiegenden Teil der

    Finanzierung von Verbesserungen im Bereich Wasser aus. In anderen Mitgliedstaaten,

    die diesbezüglich große Investitionen tätigen mussten, war Kohäsionspolitik eine der

    wichtigsten Finanzierungsquellen, zusammen mit Kofinanzierung durch EIB-Darlehen

    und heimischen Ressourcen. Dank der geförderten (und bis Ende 2013

    abgeschlossenen) Projekte hat sich die Trinkwasserversorgung für mindestens 4

    Millionen EU-Bürger verbessert. Darüber hinaus haben die operationellen Programme

    für mehr als 7 Millionen EU-Bürger eine bessere Abwasserbehandlung sichergestellt.

    Zahlreiche Mitgliedstaaten, besonders EU13 und südeuropäische Länder, konnten

    zwischen 2007 und 2013 die EU-Richtlinie über die Aufbereitung von städtischem

    Abwasser besser einhalten. Dazu zählen die Tschechische Republik, Estland, Spanien,

    Ungarn, Lettland, Portugal, Slowenien und die Slowakei (für andere Mitgliedstaaten

    liegen noch keine vergleichbaren Angaben für 2013 vor; diese werden im ersten

    Halbjahr 2016 zur Verfügung stehen). Auch die bereits erwähnte qualitative Analyse

    der sechs operationellen Programme belegte die umfangreichen Ausgaben für den

    Wassersektor und die wichtige Rolle der Kohäsionspolitik verglichen zu anderen

    Finanzierungsquellen. Fortschritte in Richtung EU-Zielvorgaben waren in Estland, Polen

    und der Slowakei relativ eindeutig.

    In Bezug auf die Abfallwirtschaft war die Situation 2007 ähnlich wie im Wassersektor:

    Für die Umsetzung der EU-Auflagen und zur Erreichung der Zielvorgaben waren große

    Investitionen nötig. Der größte Investitionsbedarf wurde in den EU13- und den

    südlichen EU15-Mitgliedstaaten festgestellt. Die Kohäsionspolitik stellte in diesem

    Bereich fast 5,6 Milliarden EUR für Investitionen zur Verfügung. In Bulgarien,

    Rumänien und in der Slowakei hat die Kohäsionspolitik größtenteils in die Entsorgung

    von Siedlungsabfällen finanziert. Sowohl in anderen EU13- als auch in s�