Creating Learning Communities for Children (CLCC), Phase II

Monitoring and Evaluation Report

The Three Program Pillars• Transparent School Based Management and Planning

– School development plan– Child friendly school– School resource management

• Community Participation– Improving role of school committee– Increasing role of parents & community– Openness and transparency towards community

• Active Joyful and Effective Learning– Learning development plan– Learning delivery– Learning assessment

Key Activities• Advocacy meetings at district and cluster level

• Planning and materials development workshops

• In service training for teachers, headteachers, supervisors and school committees

• On the job training in schools for teachers, headteachers and school committees

• Study visits to well functioning CLCC schools

• Teachers Working Group meetings (KKG)

• School Headteacher Working Group Meetings (KKKS)

• Monitoring and Evaluation by data collection, field visits and review meetings

• Block Grants to support implementation of AJEL

Where CLCC has worked

Try Out 1999-2002 4 provinces 7 districts

First Phase 2002-2006 11 provinces 42 districts

Second Phase

2007-2010 15 provinces* 78 districts*

*11 Provinces and 46 Districts under NZAID Funding Scheme, later after Pemekaran Wilayah, becomes 12 provinces and 51 districts

Scope of Evaluation

• Actions of School Headteachers in Practising SBM

• Actions of Teachers in applying AJEL in teaching‐learning

• Actions of School Committee in development, management and monitoring school plan and budget

• Actions of school cluster KKG and KKKS in institutionalizing practices within primary school clusters

• Capacity and readiness of District Education Offices in sustaining CLCC model and practices

Implemented in January‐May 2010 in 61 districts (15 provinces) in 153 clusters & 493 schools to assess:

The sample included: 79.9% public SD, 12.2% private SD (mainly in the eastern regions) and 7.9% madrasah (3% public, 4.9% private).

Methodology• At School Level: 

– Interviews with school headteachers and teachers on SBM

– Interview with teachers and observation of teaching using AJEL using structured observation instruments

– Interviews with school committee members on community participation

• At Cluster Level:

– Interviews with headteachers and teachers at core schools on cluster activities (KKG and KKKS)

• At District Level:

– Group interviews with District SBM Development Team about implementation of program at district level

THE RESULTS

Summary of Main Results• The program has been implemented in 58% of schools using CLCC or local 

funding

• Most schools have made and implemented school development plans together with stakeholders.

• Most teachers prepare their teaching programs and lessons well

• The class environment is stimulating with displays of students’ work and library corners.

• Teaching and learning activities are varied.

• Students participate actively in lessons including working cooperatively and expressing their thoughts and opinions.

• School cluster activities support teacher and school development

• School communities monitor and support school activities

• Parents support their children’s learning at home and school

District SBM Teams• SBM teams established in over 90% of districts, some with varied

membership, others only from district education offices.

• 31% have good working programs and a further 51% have a less clear program

• 33% of teams have an SK and 34% are trying to obtain one

• Team duties include: district planning and budget support, facilitating participation in SBM activities and monitoring SBM implementation in schools. 38% of teams perform all functions.

District SBM Support

• The SBM program has been integrated in district planning in 31.1% of districts.

• 64% of districts have allocated funding to support the SBM program, but it is possible that some of the funds were not spent as planned.

• Rotation of personnel in District Education Offices was often mentioned as a problem and diminished the effectiveness of the SBM team.

School Clusters

• CLCC has supported directly 5 primary school clusters in each district.

• Training and support activities (KKG, KKKS) take place in these clusters.

• About 80% of supported clusters had a clear organizational structure and work program.

• Activities took place regularly in almost 80% of clusters.

• Some schools complained of a lack of funding to run activities, but it was not clear why BOS was not used for this.

SBM Training for Schools

• CLCC assisted 7.4% of primary schools to receive SBM and AJEL training.

• Districts themselves had funded training for a further 14.7% of schools.

• Other sources (such as BOS) funded a further 35.3% of schools. 

• 42% of schools have not received any assistance.

• In some district schools have been trained by other similar projects (e.g. DBE1 in Aceh Besar)

• There was some concern about the interpretation of ‘training’ – in some cases a half day workshop was counted as training.

Other related factors

• ‘On the job’ mentoring has covered 86% of schools – but many claimed this was insufficient.

• Block grant distribution has been patchy (over 60%).

• 59% of SD received supplementary materials for teachers, while only 30% of MI received the materials.

Impact on School Management

• 94.9% of schools had a school development fulfilling most criteria (formulated with stakeholders, used as a reference for school activities…). 

• Most schools had vision and mission statements supported by the school community.

• Percentage of plan implementation was also high (90%).

• 90% of schools met most ‘child friendly’ requirements – e.g. cleanliness, positive discipline. 

• The biggest problem was with the ‘availability and condition’ of toilets.

Active, Joyful and Effective Learning (1)1. Learning Development Plan• 90% of schools met most or all requirements – having a semester 

program, syllabus and lesson plans for most classes and subject

2. Learning Delivery• Highest scores were in most areas:

– ‘students skilful in group work’ (over 90%) – ‘students look familiar with AJEL’ (88%).– ‘students are not afraid to express opinions’ (80%)– ‘students are creative in completing assignment/task (79%)’

(The figures are for all or most of students fulfilling requirements)

Active, Joyful and Effective Learning (2)

Learning Assessment• In 16.4% of schools students work indicated they could write in their own 

words (a further 52.3% had partially achieved this)• 74% of schools had displays of work, in 27.2% of these schools the displays 

were regularly updated and well structured• 26% of teachers evaluated the students’ work and used it to give feedback 

and enrichment, a further 61% did this partially.• 27.8% of schools had reading corners with a good variety of reading 

materials, a further 44% had only textbooks available. 8.9% had no reading corners.

Community Participation

• In 80.7% of schools committees were selected democratically. • In 28% of schools all members of the committee understood their duties• In 57% of schools the committee undertook all four functions as 

supervisor, supporter, controller and mediator• In 58% of school the committee work program was made by school 

members/stakeholders and 32% of schools implemented their program quite fully.

• 73% of parents helped their children at home• 72% of parents also supported school activities.

Impact on Student Performance• Tests were done on a sample of students in 45 schools in 15 districts in 

2003 and repeated in 2010 in– Reading (Grade 1)– Reading & Writing (Grade 4)– Mathematics (Grade 4)– Science (Grade 5)

• The tests focus on student competencies include language skills and problem solving

• Average scores rose significantly, although there were some changes in the marking schemes which may have affected the results, but notinvalidated them.

• There were particularly large gains in grade 1 reading possibly as a result of a project focus on this area.

• The lack of gain in mathematics may stem from many teachers’ own lack of confidence in this area.

Average Test Scores 2003 & 2010

47.1

20.5

34.1

40.1

47.0

28.8

71.3

59.4

53.8

46.9

47.0

39.8

0.0 10.0 20.0 30.0 40.0 50.0 60.0 70.0 80.0

Grade 1 Reading Aloud

Grade 1 ReadingComprehension

Grade 4 ReadingComprehension

Grade 4 Writing

Grade 4 Mathematics

Grade 5 Science

Average Score (%)

20102003

YEAR 2003 2010ACTIVITY PRE-TEST POST-TEST

ORGANIZATION UNICEF & PUSPENDIK UNESCO, UNICEF & PUSPENDIK

SUBJECT Conducted test on 533 students in 45 schools in 15 districts and 6 province

Conducted test on approximately 2585 students in 45 schools in 15 districts and 7 province

GRADE 1, 4 & 5 1, 4 & 5

INSTUMENTS

GRADE 1

20 ITEMS READING ALOUD; 5 ITEMS READING COMPREHENSION

20 ITEMS READING ALOUD; 5 ITEMS READING COMPREHENSIONTIME ALLOCATION:?

GRADE 4

INDONESIAN LANGUAGE TEST: 18 ITEMS READING TEST and 1 ITEM WRITING TASKMATH TEST: 20 ITEMS

INDONESIAN LANGUAGE TEST: 18 ITEMS READING TEST [45 MINUTES] and 1 ITEM WRITING TASK [30 MINUTES]MATH TEST: 20 ITEMS [60 MINUTES]

GRADE 5

SCIENCE: 10 MULTIPLE CHOICE ITEMS, 10 SHORT-ANSWER ITEMS, 3 ESSAYS

SCIENCE: 10 MULTIPLE CHOICE ITEMS, 10 SHORT-ANSWER ITEMS, 3 ESSAYSTIME ALLOCATION: 60 MINUTES

SCORE & SUBJECTS in 2010TOTAL NUMBERS OF STUDENTS = 2485

MAXIMUM SCOREREADING ALOUD

MAXIMUM SCOREREADING COMPREHENSION

60 40

INDONESIAN LANGUAGE TEST

MATH TEST

READING WRITING MAXIMUM SCORE: 100

50 50

SCIENCE TESTPART A 

[SHORT ANSWER]PART B

[MULTIPLE CHOICE]PART C[ESSAY]

40 30 30