National 2012 Summer of Service Program Evaluation Report

July 2013 Nicole Tysvaer

Sarah Rutherford

National 2012 Summer of Service Program Evaluation Report

Innovations In Civic Participation 1776 Massachusetts Ave, Washington DC 20002 Suite 100

Authors Nicole Tysvaer, Senior Research Fellow Sarah Rutherford, Service Fellow Design Katie Scott, Communications Intern

Innovations in Civic Participation

ICP facilitates the generation of opportunities for young people to change their communities for the better and build essential skills for future success through civic engagement. We work with individuals and organizations around the globe to support the development of innovative ap-proaches to two civic participation strategies: national youth service and service-learning.

Table of Contents Executive Summary 1 I. Introduction 3 Why Middle School 3 Why Summer 3 Why Service Learning 4 History of SOS Initiative 4 II. Study Overview 7 SOS Program Model 8 Program Participants 9 III. Evaluation Results 11 Academic Enrichment 11 Literacy and Communication Skills 11 Research and Critical Thinking Skills 13 Academic Soft Skills 15 Pathways to College and Careers 15 Social Development 16 Team Building Collaboration 16 Leadership 17 Community Connections 19 Civic Development 20 Civic Skills 20 Social Responsibility 21 Civic Knowledge and Awareness 23 Future Civic Involvement 24 Participant Satisfaction 25 IV. Why it Works 27 V. Recommendations 29 VI. References 31

VII. Appendices 33 Appendix A: Site Descriptions and Project Highlights 33 Appendix B: Nine Elements for Quality SOS Programming 36 Appendix C: SOS Program Logic Model 38 Appendix D: Evaluation Model 39 VIII. Acknowledgements 41

Executive Summary     In the summer of 2012, Innovations in Civic Par‐ticipation (ICP) partnered with The AfterSchool Corporation (TASC), Earth Force, and City of Seat‐tle Department of Parks and Recreation to imple‐ment Summer of Service (SOS) programming in sites across New York, New Mexico, North Caro‐lina, South Carolina and Washington. Each SOS site integrated community service projects with fun and engaging “summer‐style” enrichment to help bolster participants’ academic, social and civic skills. ICP collected evaluation data from eight SOS sites over the course of the summer and presents its findings in this report.  The Summer of Service model engages youth as community problem‐solvers in several weeks of activities including civic involvement, creative expression through the arts, recreation, and aca‐demic skill‐building activities. The SOS long‐term goal is to cultivate the next generation of civically‐empowered citizens with the skills, interests and expertise to actively participate in civic and politi‐cal affairs throughout their lives. Participants built community gardens, analyzed pollution lev‐els, advocated for clean drinking water, and launched peer‐to‐peer anti‐bullying campaigns.    SOS programs operated in some of the most un‐der‐resourced communities across the country recruiting a diverse group of middle schoolers from economically disadvantaged backgrounds. Many youth had no prior experience with volun‐teerism or leadership development, and they represented a wide range of in‐school achieve‐ment. The vast majority of participants came to the program to avoid being bored at home, as more than 70% of youth had no structured alter‐natives for summer outside of the SOS program.  

     According to participant interviews, only one‐quarter of SOS youth enrolled out of a desire to serve the community.  Data collected via surveys and interviews with staff and youth provide compelling evidence of the academic, social and civic benefits associated with summertime service‐learning. Many youth, who initially had not been motivated to serve, expressed a strong commitment to civic engage‐ment by the end of the program. Nearly all par‐ticipants (98%) reported growth in one or more civic skill areas such as the ability to identify com‐munity problems, speak publicly on issues, and articulate the action steps necessary to complete a service project. More than 80% of participants planned to continue volunteering in the school year. One hundred percent of youth interviewees reported that they would recommend the pro‐gram to a friend. When asked what their recruit‐ment pitch would be, the majority of participants highlighted having a chance to serve the commu‐nity and working to “change the world” as key selling points of the program.  In addition to civic development, staff and youth also observed growth in participants’ skills re‐lated to team management and interpersonal/group dynamics. SOS projects required youth to work in cohesive and cooperative teams to ac‐complish real‐world tasks. Through everyday as‐signments and intentional training opportunities, youth were able to learn new strategies for re‐solving conflicts respectfully, motivating each other to stay on task, and exercising leadership skills. SOS staff shared stories of personal trans‐formations as some youth, who had previously been labeled as disciplinary problems, excelled  

1

celled in their roles as team leaders and commu‐nity contributors.  Survey results related to partici‐pants’ self‐assessment of their teamwork skills also showed statistically significant increases over the summer.    Furthermore, SOS programs were successful in creating contexts where youth could practice and refine their academic skills, particularly in the ar‐eas of literacy, verbal communication, research methods, and critical thinking. SOS staff noted youths’ high levels of engagement in a number of academically‐related tasks such as conducting background research, analyzing data, reflecting on service in journals and roundtable discussions, and engaging multiple perspectives on the issues they confronted. Programming also aligned with standards for 21st Century Learning (P21 Frame‐work Definitions, 2009), as youth produced and repackaged information using digitized multime‐dia technology.                         

All of the SOS sites worked to align their curricula with core quality standards developed by ICP. Four of these quality standards appeared to be particu‐larly important in enabling sites to meet their goals: a positive youth development approach, an emphasis on youth voice, the incorporation of thematic learning, and a focus on demonstrable results for youth projects.    Based on these evaluation results, ICP provides recommendations for expanding and refining the SOS Model. These suggestions include linking SOS programs’ goals more directly to common core competencies; increasing youths’ attention to po‐litical engagement; providing additional opportu‐nities for service; and expanding research and evaluation efforts.   

2

3

1.The Summer of Service initiative was rebranded in July, 2013. It is now referred to as SummerTrek 

(http://www.icicp.org/summer‐trek).  

I. Introduction

 The Summer of Service (SOS) initiative1 is de‐signed to address the lack of constructive oppor‐tunities for middle school youth from vulnerable backgrounds during the critical months of the summer. Employing a service‐learning methodol‐ogy, SOS engages youth in 6‐8 week programs that integrate community service projects with out‐of‐school enrichment. In this way, SOS fills the gap in summertime programming, supporting youths’ academic, civic, and social development and paving the way for success in high school and beyond.  

Why Middle School? Summertime interventions that target middle‐school youth are particularly important, as re‐search shows that students’ early educational performance influences their future academic success. For example, higher education aspira‐tions in middle school and achievement in the eighth grade are strong predictors of post‐secondary success (Kuh, 2007; Somers, Cofer & VanderPutten, 2002; Trusty, Robinson & Plata, 2000). Other research has shown that behaviors associated with the decision to drop out of school occur starting in sixth grade (Jerald, 2006). Furthermore, a review of research on middle to high school transitions found that young people who succeed in school are not only strong aca‐demic achievers, but also demonstrate key social and emotional assets (Grossman & Cooney, 2009).  

Why Summer? The summer months, with the absence of school or other constructive opportunities, can create an environment where young people wallow in mind‐numbing down time or become exposed to risky behaviors. As such, it is a critical time for youth to be engaged in positive activities. Re‐search shows that young people stand to lose as  

    much as 1‐3 months of instructional knowledge and skills during the summer in a phenomenon  referred to as "summer learning loss" (Cooper, Nye, Charlton, Lindsay & Greathouse, 1996). This trend is especially worrisome for disadvantaged youth, as cumulative losses have been found to contribute significantly to the achievement gap (Alexander, Entwisle & Olson, 2001). Fortunately, research shows that youth development pro‐grams with academic enrichment activities can make a significant impact on preventing summer learning loss (Cooper, Charlton, Valentine, Muhlenbruck & Borman, 2000). In fact, some of the most promising out‐of‐school time literacy programs do not involve classroom‐style instruc‐tion, but rather weave fun and engaging enrich‐ment activities with academic supports (Moje & Tysvaer, 2010).  Despite the importance of summertime program‐ming for middle‐school youth, this age group of‐ten has the fewest opportunities for academic enrichment, summer and out‐of‐school time pro‐gramming. There are few public funding streams dedicated to summer programming, with even less resources available for middle school youth (Fairchild, Smink & Stewart, 2009). Working fami‐lies may also be hard pressed to pay for adult supervision for young teenagers during the sum‐mer months and after school, while many pub‐licly‐funded childcare programs only serve younger children. However, this age group is too young to work and be involved in other opportu‐nities, such as AmeriCorps. As a result, most young people transitioning from middle to high school have few organized activities during peri‐ods when they are out of school, and many are left unsupervised and therefore are at a higher risk of engaging in potentially negative behaviors. 

Why Service Learning? The Summer of Service initiative employs a ser‐vice‐learning framework to support the develop‐ment of middle school youth and fill this gap in productive summertime programming. Although not mainstream, service‐learning as an educa‐tional tool has gained traction in American class‐rooms since the later part of the 20th century. The National Youth Leadership Council defines service‐learning as a “multifaceted teaching and learning process” whereby service projects are imbedded within intentional learning goals and designed to meet real community needs. A num‐ber of studies have identified the benefits of ser‐vice‐learning in terms of students’ personal growth and development, academic develop‐ment, and civic engagement. For example, re‐search has found that youth participants of ser‐vice‐learning activities demonstrate increased empathy, a sense of social responsibility, in‐creased likelihood to participate in future voting and political activism, as well as an increase in academic skills and standardized test scores (Bradley, 2005; Shumer, 2005; Perry & Katula, 2001; Billig, 2000; Conrad & Hedin, 1991)   

Research by developmental psychologists sug‐

gests that early adolescence may present a par‐

ticularly opportune time for engaging youth in 

service‐learning activities (Wigfield, Byrnes & 

Eccles, 2005). Documented changes in cognition, 

social behaviors, and peer and parental relation‐

ships during the middle school years position 

many adolescents at a crossroads. Changes in 

cognitive function expand adolescents' ability to 

suspend personal biases consider objective infor‐

mation and consequences of action, and incorpo‐

rate background knowledge to solve problems. 

Adolescents increasingly begin to reflect about 

their place in their world, their future, and their 

relationships to others. An increased desire for 

independence from parental guidance leads to 

adolescents searching for a sense of belonging 

and identity, often formed in relation to peer 

groups. However, without continued guidance 

from caring and trusted adults, such an intense 

time of change can also leave youth particularly 

vulnerable to negative choices, as evidenced by 

statistics showing that middle schools have 

higher average incidences of violence and bully‐

ing than elementary and high schools.  (Juvonen, 

Le, Kaganoff, Augustine & Constant, 2004)  

 This is especially true for young people from eco‐

nomically disadvantaged backgrounds, who are 

unlikely to be presented with enough positive 

choices to channel their increasing curiosities 

about the world around them. Service‐learning 

opportunities, such as Summer of Service, are 

thus an important opportunity for disadvantaged 

youth to explore the world around them and de‐

velop a positive role in their society. History of the SOS Initiative ICP’s call for Summer of Service programming on 

a national level began in 2005 with a study of 

model summertime service‐learning programs 

for middle schoolers, summarized in the publica‐

tion Summer of Service: A New American Rite of 

Passage? . In 2008, ICP received a generous grant 

from Lumina Foundation for Education to de‐

velop training, evaluation and technical assis‐

tance materials to help replicate the Summer of 

Service model.   With the passage of the Edward 

M. Kennedy Serve America Act of 2009, ICP 

launched pilot SOS programming in several U.S. 

cities in the summer of 2010.  The program was 

defunded in 2011 at the federal level, and ICP 

secured resources from the Walmart Foundation 

to implement programs in 2012.   Early evaluations of SOS sites in 2010 demon‐strated the potential of this model to support the civic, social and academic development of middle school youth. Analyses of pre/post participant surveys revealed that 95% of the youth reported gains in civic skills, including their verbal commu‐

4

nication, service project implementation and time management (Tysvaer, 2010 ). The vast majority of youth interviewed (97%) responded that they felt they made a difference by participating in SOS. Youth demonstrated an increase in college aspira‐tions, access to college preparation information, and knowledge of college financing issues. SOS par‐ticipants had multiple opportunities to refine their literacy and critical thinking skills through print‐rich, project‐based learning tasks. Furthermore, qualita‐tive interviews showed a strong link between SOS service and the development of environmental sci‐ence content knowledge.     

5

6

II. Study Overview   In Summer 2012, ICP received funding from The Walmart Foundation to partner with three or‐ganizations: The AfterSchool Corporation (TASC), Earth Force, and City of Seattle Department of Parks and Recreation to implement SOS pro‐gramming in communities across the nation.   ICP evaluated eight of these sites which engaged a total of 389 rising 6th through 9th graders in a combination of leadership training, academic enrichment, visual and performing arts, recrea‐tional activities, and service projects that made a positive impact on their schools and communi‐ties. The programs worked to support three goals for participant learning and development: (see also Appendix C. SOS Program Logic Model):  

Goal 1: SOCIAL DEVELOPMENT: By en‐gaging in service projects within their communities, SOS will help youth strengthen their collaboration skills and networks of adults, peers and organiza‐tions that provide young people with productive opportunities outside of school.   Goal 2: CIVIC PARTICIPATION: SOS will assist youth in developing positive and empowered identities with a sense of strength and purpose regarding civic work. Youth will become more aware of community issues, become informed of opportunities to get involved in commu‐nity initiatives, and express more of an interest in and commitment to civic par‐ticipation.       

     Goal 3: ACADEMIC DEVELOPMENT: SOS will increase youth intellectual develop‐ment including critical thinking, literacy and academic content knowledge. ICP’s Summer of Service sites will include ac‐tivities that require the use of skills and knowledge aligned to formal learning standards.   

As part of the national 2012 Summer of Service (SOS) initiative, ICP administered surveys and conducted interviews of participants and staff to measure program processes and youth out‐comes at eight sites (see Table 1). A description of each site is provided in Appendix A.  The evaluation was designed to obtain responses to the following research questions:  

What were the experiences of SOS partici‐pants in these programs, including the activities, routines, instruction, and training processes?  

To what extent did programming align with the quality principles for SOS implemen‐tation? Were there other aspects of pro‐gram implementation that appeared to support positive youth outcomes? 

What did the youth take away from their SOS participation in terms of skills, knowledge, and resources? 

To what extent does participation in the SOS program appear to increase or enhance youths’ civic, social and/or academic development? 

ICP received 245 completed and matched pre/post participant surveys (out of 389 completers) for an overall 63% response rate( See Table 1). Pre/post and post‐only interviews were con‐ducted with a convenience sample of 65 youth and 15 staff across the sites. SOS staff also com  

7

pleted mid‐term and end‐of‐term survey question‐naires designed to measure the extent to which sites adopted program quality principles. Copies of evaluation instruments are available on the ICP website.  The following report provides a summary of the quantitative and qualitative results from the evaluation. Looking across multiple data sources, including survey questionnaires and first‐hand ac‐counts from youth and staff, this report provides compelling evidence of the academic, social and civic benefits associated with summertime service‐learning participation. However, it is important to note that the study was non‐experimental as it lacked control and comparison groups, and there‐fore is limited in drawing causal inferences. Addi‐tionally, the report captures the evaluation results from 8 of 11 SOS sites operating in 2012; three sites were not included due to missing data. Also, due to resource constraints, researchers were not able to collect longitudinal data that would have assessed program impact into the school year. Op‐portunities for further research are discussed in the concluding section of this report. 

SOS Program Model SOS sites were coordinated by community‐based nonprofits, schools, or local government agencies operating within low‐income neighborhoods. All sites maintained a low staff‐to‐student ratio of ap‐proximately one adult counselor for every 10‐15 youth participants. Adult staff included K‐12 teach‐ers, AmeriCorps members, college‐educated youth development professionals, educational consult‐ants, college students, and entry‐level Summer Youth Employment Program workers.   SOS programs offered youth a mix of fun and en‐gaging activities that promoted academic, social and civic development. Curricula varied by site as each program worked to tailor lesson plans to the specific needs of their participants and communi‐ties. However, each site worked to align their cur‐riculum to the Nine Elements for Quality SOS Pro‐gramming, a set of research‐ and practice‐based principles designed to guide instructional content, program structure, and participant and staff roles (see Appendix  B). For more information on the quality elements, see the Summer of Service Pro‐gram Design Toolkit.      

8

Table 1. Response Rates by Partner Organizations

SOS Partner

Sites

Youth Participants

Pre/Post Match

Surveys

Response Rate

Youth Interviews

Staff Interviews

Earth Force

4 159 106 67% 21 4

Seattle Parks & Recreation

5 45 30 71% 17 5

TASC

3 185 109 59% 27 6

TOTALS

389 245 63% 65 15

ICP surveyed site coordinators at program mid‐point and end‐of‐term to assess the degree to which programming was aligned with SOS qual‐ity elements. Survey results indicate a high adoption rate (80% or more of sites) for all qual‐ity elements included on the survey such as de‐signing service projects that meet authentic community needs, leveraging youth leadership roles, providing opportunities for youth to re‐search issue areas, and incorporating activities that build youths’ communication and leader‐ship skills.   Most of the sites did not operate from a single, scripted curriculum or set of lesson plans that guided instruction day‐by‐day throughout the summer. Rather, SOS coordinators assembled a calendar of activities with weekly themes and programming objectives that included struc‐tured and unstructured time, excerpted lesson plans from published curricula, and new or recy‐cled lesson plans designed by on‐site counselors and educational consultants. For example, Earth Force sites utilized the standard Earth Force Process curriculum, which guides youth through a six‐step service‐learning process, but also sup‐plemented this curriculum with activities tai‐lored to the summer enrichment context.  Across all three sites, activities included commu‐nity service projects, teambuilding workshops, reflection through journaling and other types of mixed media, creative expression through visual and performing arts, physical education, and recreational fieldtrips. Programming schedules ran 4‐5 days per week for 6‐7 weeks. Youth com‐pleted a minimum of 125 hours of service‐learning over the course of the summer.  

Program Participants SOS sites recruited youth participants in low‐income neighborhoods through existing after‐school programs, as well as through various out‐reach efforts to the general student population at partner schools and community‐based organi‐zations. SOS programs were free to all partici‐pants and provided healthy meals and snacks. Program incentives varied by site and included recreational fieldtrips, free tablet computers for completers, and/or an end‐of‐term small cash stipend. Each site had minimum attendance re‐quirements, and youth were required to com‐plete at least 125 hours of training and service to be considered program completers.  A summary of participant demographics is pro‐vided in Table 2. Across the sites, the average age of youth participants was 12.3 years. One‐third of the youth were rising 7th graders, fol‐lowed by 32% rising 8th graders, 17% rising 6th graders, and 15% rising 9th graders. Youth back‐grounds were predominately African American (42%) or Hispanic/Latino (23%) with 10% Cauca‐sian and 11% multi‐racial. Less than 2% of the participant population identified as Native American, Asian American, or Hawaiian/Pacific Islander.  According to participant pre‐program surveys, about half of the youth had some prior experi‐ence with volunteerism and/or service‐learning coursework. During the prior school year, 46% of youth reported that they had classes that in‐cluded a community service project. Forty‐two percent of youth reported volunteering an aver‐age of one hour or more per week during the past school year.  

9

However, most prior volunteer placements were epi‐sodic, disconnected from any intentional learning goals, and did not deliberately place youth in leadership roles. Based on participant interviews, the majority of youth (63%) reported that they did not have any friends, out‐side of SOS, who volunteered to help the community. About 58% of youth interviewees could name at least one adult they knew—a parent, teacher, or other family member—who volunteered or worked in a service‐related field.  The most common reasons that youth shared for joining SOS were to have fun, socialize with friends, and avoid being bored or unsupervised at home. More than 70% of interviewees explained that if they were not participat‐ing in SOS, their summers would be consumed with un‐structured, idle time—at home watching television, play‐ing video games, or hanging out with friends. Only about 26% of participant interviewees linked their motivation for joining SOS to an interest or desire to help the com‐munity.  

 

Table 2. Participant Demographics

Demographic Average Across Sites

Average Age 12.3

Grade

Demographic Average Across Sites

Average Age 12.3

Grade Rising 6th Rising 7th Rising 8th Rising 9th

16.8% 33.7% 31.9% 15.1%

Race/Ethnicity Alaskan or Native American Asian American African American or Black Hawaiian or Pacific Islander White or Caucasian Hispanic or Latino Multi-Racial Other

1.3% 1.5% 42.1% 1.3% 9.5% 22.8% 10.8% 10.8%

Prior Service-Learning Coursework

46.3%

Prior Volunteer Experience 60.4%

One or more hours of volun-teering per week

41.5%

10

III. Evaluation Results  

 The following presents findings from a mixed methods analysis of both program processes and participant outcomes. Data is presented in aggre‐gate across all eight sites and is organized into three somewhat overlapping themes: academic enrichment, social development and civic develop‐ment.  For the purpose of this study, academic enrich‐ment is defined as knowledge acquisition that is relevant to school curricular standards such as digi‐tal literacy, environmental science, and social/environmental justice; the ability to make connec‐tions between SOS content and in‐school learning; and the ability to think critically about the issues addressed through service activities— including engaging multiple perspectives, considering pros and cons, demonstrating socio‐political awareness, using if/then propositions and considering alterna‐tive strategies. 

 Social development is characterized in terms of youths' connectedness to individuals and institu‐tions in their communities; their collaboration and team‐building skills; and their ability to act as lead‐ers throughout the planning and implementation of their service‐learning projects.   Civic development is defined in terms of youths’ sense of responsibility to act and bring about posi‐tive change in society; their ability to take initiative in voicing their opinions and assuming leadership roles in the planning and implementation of their SOS program; their commitment to future civic en‐gagement activities; and their understanding of what actions they can take to influence rules or policies that affect their lives. 

 

Academic Enrichment Through community interviews, reflective journal‐ing and career scavenger hunts, SOS sites provided an academically enriching environment which en‐abled youth to refine their literacy and communi‐cation skills, practice research methods and critical thinking, gain an appreciation for academic soft skills, and become aware of pathways to college and careers. By the end of the six‐week program, youths’ average self‐assessment scores for skills related to communication and literacy had in‐creased, and they had developed strategies for ac‐tive listening, time management, staying focused and positive, and identifying colleges which they aspired to attend. As one participant said, SOS taught “how to be successful and how to be a good student and always stay on the right path.”  

Literacy and Communication Skills SOS programs created print‐rich environments where reading, writing, and public speaking were required on daily basis to plan, implement and re‐flect upon their service work. For example, investi‐gations into community issues involved internet research, drafting surveys and interview questions, and canvassing the neighborhood to gather data. Youth wrote letters, blog posts, video scripts, and public messaging to disseminate on posters and flyers. At some sites, youth practiced their multi‐media literacy skills as they learned web develop‐ment, graphic design, and film editing. 

11

“We had a technology facilitator assigned to our 

school for the summer, and she gave them the 

training on how to write blogs and websites, as 

that was one of the assignments, to blog about 

the day. She taught them how to make a video 

on the week and how to voice it over.”  

‐SOS Satff 

SOS Highlights: Digital Literacy 

SOS staff shared how these research projects expanded youths’ critical thinking skills by prompting deeper discussions of issues affecting their communities. For example at one site, youth walked the streets of their neighborhood and a nearby upper income community, compar‐ing physical features such as the condition of sidewalks, numbers of garbage cans and street lights, and the presence of liquor stores and day care centers. Youth found sharp contrasts in the few blocks between the two neighborhoods, which led to a dialogue about the unequal distri‐bution of resources across the city. Another SOS site mapped the challenges and resources of ur‐ban gardening, which provided an opportunity for youth to consider multiple perspectives on poverty and hunger in America.   

 

           

Staff also referenced how youth practiced critical thinking skills when designing, planning and re‐flecting on service projects. In many cases, par‐ticipants gathered multiple sources of back‐ground information via the internet and by net‐working with local experts on how to implement a project. Based on their research, youth dis‐cussed multiple strategies, considered the feasi‐bility of various approaches, weighed pros and cons, and identified courses of action. At one SOS site, youth were exposed to diverse perspectives through a series of reflective debates where teams of participants conducted background re‐search and presented opposing arguments on a variety of social and political issues. A number of the youth interviewees commented on how group discussions exposed them to new knowl‐edge, ideas and perspectives. 

“You have to  look  into the background of why  is the 

garden  important,  why  is  special  food  important, 

what are the important issues of our environment, so 

the kids  learn about  the background, and  that  there 

are a lot of things that can be better nation‐wide.” 

‐SOS Staff 

“I really liked the experience and how much I learned 

from  the program… we were  learning really valuable 

life  skills  that we  don’t  always  learn  in  school,  you 

know, they don’t always take the time to talk to you 

about. You know like uncomfortable issues that aren’t 

always  addressed  in our  society,  so  I  think  that was 

probably the best part of the whole program.” 

‐SOS Youth 

SOS Highlights: Links to Learning 

Youth Voice: Debating the Issues 

12

Research and Critical Thinking SOS programs worked to position young people as investigators examining the strengths and challenges of their own communities. Through this process, youth were exposed to research methodology skills such as survey design, data collection, data analysis and reporting. At some sites, findings were synthesized in multimedia formats and shared with community members.   

 

   

 For example, one site conducted a series of  interviews on urban gardening and created a documentary to teach others about the benefits of homegrown fruits and vegetables. SOS youth at another site worked with the evaluation staff at a large nonprofit organization to develop a survey instrument, collect and analyze data, graph their findings, and incorporate this infor‐mation into a documentary about factors con‐tributing to teen success.  

           

2.6

2.1

2.3

3.3

2.9

3.1

0 0.5 1 1.5 2 2.5 3 3.5 4

End of Summer Beginning of Summer

“They learned a lot about statistics, which would 

be a  form of math, of course, and  they actually 

learned how to do proper research…” 

‐SOS Project Director 

SOS Highlights: Research Methods 

13

Figure 1. Literacy and Communication Skills, Self-Assessed

14

Youth adopted professional‐level discourse while assuming the responsibilities of service leaders, including ways of speaking, acting, writing and presenting themselves. SOS youth interviewed members of the community, presented to public officials, created documentaries and dramatic skits, coordinated neighborhood events, and served as tutors and mentors of younger children.    Through reflection activities, participants kept journals and responded to thought‐provoking questions on their service projects. Reflection also included opportunities to verbally communicate their knowledge, perspectives, and feelings on a variety of relevant topics. Sites used debates and roundtable discussions to encourage youth to think critically about social and political issues, as well as to provide a training ground for partici‐pants to continually refine their public speaking skills.   Several project directors offered examples which suggested that participants increased their liter‐acy and communication skills over the summer. Staff at one site witnessed how youth who were “writing 3 or 4 lines at the beginning of scrap‐booking definitely took to writing a page and a half” by the end of the summer. Another staff per‐son explained that she observed literacy skills “being strengthened” as youth initially grappled with and then succeeded in drafting concise and persuasive text and graphic design elements on flyers urging residents to help save a community garden.   Staff also observed the development of verbal communication skills among participants. Staff explained that over the course of the summer youth became more open and coherent in sharing their ideas within their groups. Directors also       

commented on how youth gradually became more confident in their roles as community spokespeople with the ability to advocate on be‐half of their cause, respectfully discuss their thoughts and opinions with adults and peers, and ask “higher level questions” that delved deeper into the issues facing their communities. Multiple SOS staff commented on how in early weeks, staff alone were holding students accountable for pro‐fessional communication standards, for example, by verbally correcting their grammar. By the end of the summer, staff observed youth holding each other accountable to these standards.     Based on participant end‐of‐term surveys, youths’ average self‐assessment scores for skills related to communication and literacy increased over the six‐week program. Youth assessed their competen‐cies on a 4‐point scale with 1=not at all, 2=a little, 3=pretty well, and 4=very well. When asked to rate their abilities to “talk or present to people about a community issue,” average youth re‐sponses demonstrated an increase from 2.3 to 3.1. Similarly, youths’ self‐assessment of their abilities to “make phone calls or do interviews to gather information on community problems” increased from 2.1 to 2.9. When asked to rate their abilities to “use more than one source to gather informa‐tion on a school or community problem,” re‐sponses showed an increase from 2.6 pre‐program to 3.3 post‐program. See Figure 1. 

 

   

15

Academic Soft Skills Over the course of the summer, SOS programs offered youth multiple opportunities to increase their awareness of the behaviors, attitudes and habits of successful students. Sometimes re‐ferred to as “soft skills,” youth identified and practiced strategies for active listening, time management, staying focused and positive, and maintaining good health. In some cases, these lessons were intentionally built into the foci of service projects. For example, one SOS site re‐viewed research and conducted a community survey on the factors contributing to “being a successful teen.” After analyzing the data, these SOS youth created a documentary of their find‐ings which was shared with other teens in the neighborhood. At another site, youth presented original skits on making a successful transition to middle school for an audience of rising sixth graders. The skits offered practical advice to their younger peers on how to “stay out of trouble,” develop good study habits, and build relation‐ships with teachers.   When asked if they learned anything in SOS that would help them in school, more than half of the youth interviewees referenced soft skills. For ex‐ample, SOS participants told us, “I learned how to be successful and how to be a good student and always stay on the right path… always be above the influence, don’t let nobody peer pres‐sure you into doing something you’re not ready to do.”   A focus on exercise and nutrition at some sites also helped youth make connections between healthy lifestyles and academic success: “[I learned about] getting enough sleep so I won’t be all sleepy in class. And getting a good break‐fast and exercising so I can get…better grades in general.” Another youth responded, “Well, my concentration has really gotten better… I am a    

lot more focused than I was before I started the program, and I feel like I can achieve more now.”    Other youth explained that the SOS focus on teamwork gave them strategies that would “help manage my time,” “bring people together,” and “kind of make people friends even if people don’t like each other” in school. Others spoke about an increased sense of self‐efficacy: “[I learned] that you could be anything that you want to be if you keep your head up and do good in school,” and “I learned that you need like a lot of tools to be suc‐cessful, but if you want to be really successful you got to be yourself.”  

Pathways to College and Careers Many of the SOS sites reported implementing activities focused on early college and career planning for the middle school participants. At one site, youth were divided into classrooms that were each identified by a college or university that they aspired to attend. They conducted internet research on admission requirements, academic programs, fees and funding opportuni‐ties at their college namesakes and decorated their rooms in school colors. In addition, multiple SOS sites were staffed by current college stu‐dents who offered advice on making the transi‐tion to higher education.   SOS youth also participated in career scavenger hunts where they investigated the educational backgrounds of adult professionals encountered during field trips. Project directors reported that this process broadened youths’ perspectives about future employment opportunities and the schooling necessary to be successful. According to one SOS staff, the participants were “shocked to have discussions with the zoologist at the zoo and finding out – what made you become a zoo‐keeper? What was the schooling about? A lot of the kids have these wonderful careers 

  [in mind], and they didn’t know what it’s going to take to reach those careers.” 

Social Development

SOS youth participants developed socially as well, reporting gains in team‐building, leadership, and community connections as a result of collaborative service projects, mentoring opportunities, and community field trips. The majority of youth sur‐veyed reported advancements in their teamwork skills through the program. More than 80% of the youth interviewed could identify one or more sub‐stantive opportunities they had to serve as a leader, and more than 98% of youth interviewees could identify one or more community members they had met over the course of the program. 

 

Team-Building and Collaboration By design, SOS participation requires working in cohesive and cooperative teams to accomplish real‐world tasks. At some sites, teamwork began with the community mapping process, as youth and staff worked together to collect and analyze data. As weeks progressed, choosing and planning ser‐vice projects often evolved through group decision‐making processes. Implementing service projects was also a team‐dependent activity. At the service site, groups of youth worked together on assign‐ments that restored habitats, planted community gardens, and facilitated activities for younger chil‐dren—tasks that would have likely been impossible to complete as individuals.  

SOS sites also worked to create space where par‐ticipants interacted with individuals from diverse backgrounds to help youth witness firsthand  how people from all walks of life can learn from each other and share an interest in making the community a better place. SOS coordinators re‐cruited youth from different racial and ethnic back grounds, incorporated intergenerational service projects, and designed activities that exposed youth to people from a variety of socioeconomic backgrounds. For example, participants visited sen‐ior homes, interviewed low‐income immigrant farmers, and coordinated projects for younger ele‐mentary school children.   In addition to their collaborative service work, SOS coordinators designed a number of structured ac‐tivities and rituals to cultivate a culture of team‐work among participants and staff. For example at one site, youth worked in small groups each morn‐ing to create original “Camp Spirit” songs that were performed in a friendly competition with their peers. Across the sites, intentional team‐building training included icebreaker activities, ropes courses, and recreational games. Frequent oppor‐tunities to reflect on service work, such as weekly “Straight Talk” sessions, provided space for youth to share personal thoughts on their experiences, debate issues, and learn ways to respectfully re‐spond to diverse opinions and perspectives.  Based on end‐of‐term participant surveys, the aver‐age youth self‐assessment rating of their ability to “work on a team with other students to help solve a community problem” increased from 2.6 at the beginning of the summer to 3.4 at summer’s end, based on a 4‐point scale (see Figure 2.). Of those youth who demonstrated room for growth at the beginning of the summer (rated 1‐3 on teamwork skills), 77% reported increases in their teamwork skills through the program.  Enhanced teamwork and interpersonal skills were also among the most common benefits of  

16

“I learned a lot about how to become a lawyer and 

district attorney and judge. I learned what degrees 

you need to have.”                                    ‐SOS Youth 

Youth Voice: Career Planning 

participation referenced by youth interviewees. SOS youth spoke about gaining a deeper appreciation for the value of teamwork (e.g. “I learned that by work‐ing together you can get far with others.”), learning how to compromise and respect others’ opinions (e.g. “…so many people have so many different ideas, and you have to sit down and work together to fig‐ure this out…”), practicing patience and compassion (e.g. “I learned many things, but number one… treat others the way you want to be treated.”), and re‐solving conflicts respectfully.  The constant dependency on collaborative work cre‐ated a context in which youth had to adapt and ne‐gotiate problems in real time, and interviewees pro‐vided overwhelming evidence that participants were successful in becoming cohesive and cooperative. SOS youth shared stories about times when tensions arose and how they developed strategies to “get back to work” and “worry about personal problems later.” One site designated a “vibes” role—which rotated among the youth—that was responsible for monitoring the social and emotional climate of the group and ensuring that participants stay focused on the task at hand. As one youth explained, there were “…arguments, but in the end we were like one little family.”   The development of youths’ collaboration skills was also a prominent theme in end‐of‐term interviews with SOS staff. One project director explained that she saw “transformations” in several students over the summer in terms of their abilities to “get along well with others.” Project directors observed how participants appeared to develop a better under‐standing of group dynamics as youth learned “how strongly their interactions can affect people and how that can affect the whole group.” Another pro‐ject director observed “communication skills im‐proving” as youth became “cognizant of the fact that they were talking over each other…” and ad‐justed their discourse style to give each young per‐son the opportunity to contribute their thoughts and opinions.   

 

Leadership Each of the SOS sites worked to position youth as leaders and key decision makers in their programs. In some cases, youth leadership opportunities were infused throughout each phase of the curriculum—from research through service design and imple‐mentation. For example, participants at one site chose to work on the conversion of an old water treatment facility into a simulated archeological dig site that would be used as a teaching tool by local elementary and middle schools. For this project, youth took responsibility for nearly all aspects of organizing and completing the conversion, including serving as the point of contact for the various agen‐cies involved, leveraging donated resources such as dump trucks, and maintaining a project manage‐ment schedule.    

 In other cases, leadership opportunities came pri‐marily through the roles and responsibilities that youth assumed while on site at the various service projects. SOS youth served as teachers, mentors and activity coordinators for their peers, adult members of the community, and younger students. One such activity involved presenting original skits and leading discussions on how to make a successful transition to middle school for incoming sixth grade youth. Another project involved facilitating a puppet‐making activity with elementary school children. Other SOS youth recruited and organized adult com‐munity volunteers for a project that rehabilitated a community gardening site.  

17

“When  the kids  took a  step back and  saw how  it 

went  from  an  idea  on  paper  to  our  final  result‐‐ 

the kids did an entire project all on their own, that 

was a great sense of accomplishment.” 

‐SOS staff  

SOS Highlights: Celebrating Success 

 More than 80% of the youth interviewed could identify one or more substantive opportunities they had to serve as a leader during the program. The youth discussed teaching other volunteers how to properly use equipment, serving as guides to showcase SOS accomplishments for community members, mentoring younger chil‐dren, and keeping their peers on task. For some participants, they were trying out these influen‐tial roles for the first time. “I wasn’t good before at working in teams,” explained one youth, “but I learned to kind of be able to get into the conver‐sation and make myself heard.” Others found that SOS participation helped refine some of their existing leadership qualities as one youth told us, “I always knew that I was a leader, but I took it to the extreme this time.”   SOS staff also offered multiple examples where they observed participants increasingly taking on responsibility and initiative over the course of the summer. As the weeks progressed, youth became less dependent on staff to manage relationships, maintain productivity, and oversee tasks. Staff at one site described a “complete role reversal” by the end of the program where youth assumed full management of a Dream Big career develop‐ment activity for elementary school students, 

while SOS staff played a supportive role fetching supplies and taking photographs. Several staff also observed youth serving as motivators, inspir‐ing their peers to stay on task. In addition, as youth increasingly assumed leadership roles, they became more comfortable in voicing their opinions about the program and the issues they were facing as community developers. Explained one project director, “the first week I could make those kids do anything on the schedule… but by the third week [there] was a moment when they started to challenge the process at which we were going about program…you know, negotiat‐ing... But I enjoy that. That’s when I know that students are really owning up to it. It’s their pro‐gram.”   Project directors relayed individual leadership success stories, as well. At one site, SOS staff ob‐served a young male participant who had mani‐fested a “behavior problem” early in the program, but once on site for the service project, “he just kind of took charge of the group that he was working with,” managing the project and teach‐ing his peers how to install benches and garbage cans as part of a park enhancement initiative. The director credited this youth with being a “significant part of the project being completed on time” and called his demonstration of leader‐ship the program’s “biggest accomplishment for the whole summer.”    At another SOS site, the project coordinator spoke about a rising seventh grader who the principal recommended against enrolling in the program. “[The principal] told me, you know, he was going to be a big problem. He wouldn’t focus, and he wouldn’t listen,” explained the SOS coor‐dinator. In an interview, the youth also shared that he had “attitude problems” in school. How‐ever, staff observed him as a competent and mo‐tivated participant in the SOS program, noting several occasions when he led his peers during small group work and contributed positively to 

18

“My group had  very  strong personalities… The 

biggest aspect of  leadership that  I saw develop 

was  their ability  to motivate each other. There 

were  smaller ways  that helped me allow  them 

to  be  leaders,  like  tool manager.  Through  the 

second half of the project they got comfortable 

with me coming and going to do other tasks.  

‐SOS Staff

SOS Highlights: Youth Leaders 

the tasks at hand. “Every time an opportunity came up for him to do something, or come across and give something, he was one of the persons who gave the most,” reported the SOS coordina‐tor. 

Community Connections SOS coordinators structured a myriad of activities where participants would meet new people and learn about resources in their communities. In some cases, such connections began during the research phase as outside experts were brought in to discuss relevant topics such as horticulture, survey methodology, college planning, and nutri‐tion. SOS fieldtrips and service projects created additional opportunities for young people to con‐nect to the recipients of their service, representa‐tives from partner organizations, and other com‐munity members recruited to volunteer along‐side SOS youth.   During post‐program interviews, participants re‐ported meeting librarians, directors of neighbor‐hood associations, native seed specialists, law enforcement and emergency workers, public offi‐

cials, community activists, local artists, zoologists,  and high school career counselors. Some projects  recruited additional adult volunteers to support their service work, as was the case with a com‐munity garden project. At another site, SOS youth buddied up with younger students to men‐tor them about middle school, and SOS staff ob‐served some of these relationships continuing into the school year.   On post‐program participant surveys, average youth responses regarding their ability to “identify people who need to be involved in a community project” increased over the summer from 2.2 to 3.0 on a 4‐point scale (see Figure 2.). More than 98% of youth interviewees could iden‐tify one or more community members they had met during the program. According to staff and youth interviews, these new contacts introduced participants to additional community resources, shared diverse opinions and perspectives on community issues, and offered encouragement and appreciation for the work of the SOS youth. 

19

 SOS Highlights: Community Connections 

“They were very happy with the gentleman 

that’s the overseer of the local community 

center. He was out there both days that we 

were out there working, taking pictures of 

them.  I think that that helped [the youth] to 

be proud of [their service project] because 

there was someone there showing their ap‐

preciation.”  

‐SOS project director 

   SOS Highlights: Middle Schoolers Stepping Up 

After completing a service project with elementary 

school  students,  a  SOS  Staff  remarked:  “I  think 

that’s  one  of  the main  things  I’ve  learned  from 

working  with  middle  schools  is  that  because 

they’re  in  such  a  huge  transition  it makes  it  so 

much more difficult  to  connect with  them. And  I 

feel  like  they  think  they  have  a  lot  to prove  and 

need  to  figure out how  to do  it.  So  to  see  them 

from  this  like  tough  face  that  they put on  to  this 

really  sweet,  caring,  nurturing  leadership  role,  I 

think  is  going  to  definitely  impact  them  in  their 

future, in their everyday lives."

One young person explained, “when we went around the community and [told people] that we were starting a community garden, a lot of people were glad and happy because they were going to have fresh food [in the neighborhood]...”  Another youth commented that exposure to community members brought a sense of interconnectedness: “I met a lot of adults like people at the art center and firefighters. People that I never really knew, and I didn’t know how big of an influence they could have on me.”  

Figure 2. Youth Social Development, Self-Assessed

Civic Development

The organization and completion of service‐learning projects in their communities helped SOS youth to develop civic skills, become more socially responsible, gain civic knowledge and awareness, and commit to future civic involvement. According to post‐program surveys, almost all participants (98%) reported growth in one or more civic skill areaS, with almost half reporting growth in all 11 skill areas measured. Youths’ knowledge of the “ways that young people can work to influence the rules and laws that affect their lives” also in‐creased significantly, as did their commitment to their communities. Youth learned that “you need 

to participate in your community so that your community can prosper,” and 96% of SOS youth expressed some interest in continuing to volun‐teer during the following school year. 

Civic Skills SOS programs incorporated a number of activities that worked to bolster youths’ communication, research, and project management skills condu‐cive to being active and engaged citizens. As sum‐marized throughout this report, each site struc‐tured multiple opportunities for youth to learn civic skills through practice as participants took on increasingly substantial roles serving in their com‐

munities. SOS coordinators also organized weekly and sometimes daily trainings and recreational activities where youth practiced civic skills such as team building, persuasive speech, and conflict resolution. Furthermore, SOS participants had opportunities to operationalize and reinforce these skills through reflection and subsequent presentation of their service work to audiences that included public officials, community residents, peers and younger children.   Developed by researchers at the Center for Youth and Communities at Brandeis University, post‐program participant surveys included 11 items measuring youths’ self‐assessments of their abili‐

2.2

2.6

3

3.4

0 0.5 1 1.5 2 2.5 3 3.5 4

End of Summer Beginning of Summer

20

ties to accomplish a variety of tasks related to civic action and community development (Melchior, 2011). These civic skills included ways of communicating, gathering and processing in‐formation, and developing strategies to complete service‐related tasks. Youth were asked to reflect on their skill level at the beginning and end of summer. Responses were recorded on a 4‐point scale (1=not at all, 2=a little, 3=pretty well, and 4=very well).    Nearly all survey respondents (98%) reported growth in one or more civic skill areas. Almost half of the SOS participants reported growth in all 11 civic skill areas. Across all the skill items, the average participant responses increased by 27% or more from beginning to end of term (see Figures 5 and 6). The largest gains (increases of 35‐40%) were reported in five areas:  

Identifying needs or problems impor‐tant to your community  

Making phone calls or interviews to gather information on community prob‐lem 

Deciding what is important to think about in choosing a community project 

Setting up a timeline and action steps for a community project 

Identifying people who need to be in‐volved in a community project 

 An additional pre/post survey item asked youth to rate their agreement with the statement “I know how to design and do a service project in my community” on a 5‐point scale (1=strongly disagree, 5=strongly agree). On average, survey respondents demonstrated a small, but signifi‐cant increase on this item (see Figure 4.). These self‐reported gains in service project design and implementation competency represented the largest, statistically significant pre/post increases on the survey.  Youth also discussed practicing and developing their civic‐related skills during post‐program in‐terviews. One youth explained that as a result of 

SOS participation, “If I wanted to do something with the environment, I know how to identify the problem and strategize to make it not a problem anymore.” Other participants shared that they learned “how to manage your time,” “speak up for myself,” and consider the “pros and cons” of an issue.   

 

Social Responsibility Pioneering service‐learning researchers Youniss and Yates (1997) defined social responsibility as feelings of obligation associated with taking ac‐tions that address society’s problems, which they argued reflect part of the “distinguishing ele‐ments that mark mature social identity” (Youniss & Yates, 1997). Youniss and Yates explained how having a sense of agency, or a belief that actions will meaningfully contribute to the common good, serves as a foundational component of social responsibility. Inherently tied to agency, the SOS model also works to support youths’ de‐veloping sense of civic efficacy, defined as having confidence in one’s own ability (self‐efficacy) and/or the abilities of a group one belongs to (collective effective) to accomplish a goal or task.   In an effort to build pathways towards social re‐sponsibility, SOS programs offered youth experi‐ences where they could demonstrate a meaning‐ful impact on the community. As a result of their service, participating middle schoolers had the opportunity to witness first‐hand a transformed community garden, a repurposed water treat‐ment facility, a grateful group of senior citizens, or the smiling faces of elementary school chil‐

dren.

21

 SOS Highlights: Increased Civic Awareness 

“They’re going to know now to be a little more 

invested in what’s going on around them, and I 

think this gave them the tools to learn how to be 

involved in the community. I think SOS gave them 

a couple of options to improve their own quality of 

life and the way of life around them.” 

‐SOS Staff

Through these accomplishments, SOS programs hoped to boost youths’ confidence in their ability to productively participate in civic action. Reflec‐tive activities, such as journaling and producing documentaries, were also designed to reinforce youths’ sense of competency and motivation to contribute to the common good.  Data collected via youth and staff interviews sug‐gest that SOS sites were successful in organizing service projects where participants could take ac‐tions of consequence in their communities. Among those interviewed, 97% of youth believed they had “made a difference” by serving in SOS over the summer. When asked how they made a difference, many participants were able to share a demonstrable outcome such as increasing the availability of fresh produce in under‐resourced neighborhoods, providing places for people to sit and rest in a park, removing trash from public spaces, and restoring natural habitats.  One staff remarked, “When the kids took a step back and saw how [the service project] went from an idea on paper to our final result… that was a great sense of accomplishment.” Another staff spoke about the “visible gratification” youth received from creating an “enormous, vivid, graphically creative sign,” the crowning jewel of their sum‐mer‐long project to rehabilitate a school garden. A multitude of comments during youths’ post‐program interviews suggested that SOS participa‐tion strengthened youths’ commitment to and confidence in their ability to engage in socially responsible civic activities.   

When asked what they learned in the program,  youth responded, “…that you need to participate in your community so that your community can prosper,” “…no matter what we can always make a change in our lives,” and to “get out there and do something and not just sit around home, like you got to make a difference no matter how old you are, just get out there and help someone.”  

Participant surveys from the beginning and end of summer also tried to capture changes in youths’ sense of social responsibility, civic agency and effi‐cacy. Several survey items asked youth to rate their agreement (on a 5‐point scale) to statements such as “it is my responsibility to work with others in helping solve community problems.” Multiple items of the social responsibility scale showed small, but not statistically significant increases over the summer. However, when limiting the sample to the 49% of survey respondents who rated the SOS program highest (scored “excellent” on a 4‐point scale, see Figure 7), t‐tests produced significant  increases related to their: (a) belief  

22

 Youth Voice: Showing Results 

After completing a park restoration project, one 

youth commented, “I do feel like I made a differ‐

ence and I think it’s also very noticeable to people 

walking by. They can see that we have worked 

really hard and done good.” 

 Youth Voice: Developing a Civic Identity  

“The point is I can make a difference in my com‐

munity. I didn’t really want to do [service], but 

once you start doing it you don’t want to stop do‐

ing it. You feel good that you did something.” 

‐SOS Youth 

 Youth Voice: Building Compassion  

SOS Youth: “[I learned] not to always think about 

myself. There’s other people out there that have 

worser lives, not saying I have a worse life, but 

some people have good lives but not the best life 

ever, and there’s other people whose lives are not 

so great and you can always help somebody out.” 

that they can make a difference in the commu‐nity, and (b) the importance they place on “doing something that helps others.” This finding sug‐gests an association between quality program implementation, based on youths’ ratings, and an increased sense of social responsibility.    

Civic Knowledge and Awareness SOS sites worked to expand youths’ knowledge of government, community resources, and social and political issues through a variety of mecha‐nisms over the summer. Several sites used com‐munity walks to map the resources and chal‐lenges in their neighborhoods. Youth at one site helped design a “public policy” scavenger hunt where participants trekked through the streets identifying people, places and things that were funded, regulated or otherwise “touched” by the government. Education on civic and political af‐fairs was also integrated through group discus‐sions where youth reflected on the connections between service projects and larger issues of poverty and equality in America. For example, one SOS staff explained how a project to build a middle school garden at a predominantly Latino/a school led to a dialogue about the complex meanings of citizenship from immigrants per‐spectives. Another project documenting urban gardens raised youths’ awareness of the strengths and challenges of low‐income families struggling to put food on the table. Other sites focused on issues of environmental stewardship such as linking a native tree restoration project to the topic of global climate change.  In addition to mapping and dialogue activities, SOS projects also worked to broaden youths’ awareness and understanding of community is‐sues by connecting them to people from diverse backgrounds. Visiting folks in a senior center, mentoring younger students, and serving within  some of the most under‐resourced communities  in this country, SOS youth were exposed to life circumstances that were sometimes different from their own. Through these experiences, 

youth had the opportunity to consider the needs of others and incorporate this information into their service work.   Data from post‐program staff interviews suggest increases in youths’ civic knowledge and issue awareness over the summer. One SOS staff ex‐plained, “the kids became more aware of the things around them‐‐ how government helps out with school and how the government helps out with their education...” Another staff com‐mented that over the course of six weeks, the youth “…understood what they were doing, and they had a larger purpose than just doing chores.”  Several staff pointed to examples when partici‐pants, presented with new information about community members, took into consideration the needs of others when designing service pro‐jects. Examples include a community garden res‐toration in an area that lacked fresh fruits and vegetable markets, or the installation of park benches in shady places in response to the needs of elderly park goers.   

 

23

 Youth Voice: Serving as Mentors 

When asked to describe the best things about SOS, 

one youth explained, “Taking care of the kids. Well, 

not taking care of the kids, but like showing them 

different paths of what’s positive from negative…  

we were talking to them about junior high, what 

to do, what not to do… There are different places 

in life. You got to know right from wrong because 

some people don’t have anybody to tell them 

what to do, and we took our time to come over 

here to talk to them. That was one of the high‐

lights.”  

Based on pre/post participant surveys, youths’ knowledge of “ways that young people can work to influence the rules and laws that affect their lives” increased over the summer (see Figure 5.). Analyses of youth interviews also support the finding that youths’ civic knowledge and aware‐ness of issues grew during the program. SOS youth told us: 

“I learned what it means to be a citizen, about policies.  I  learned about ways  I could vol‐unteer in the community.” 

“I  never  really  noticed  how many  issues  the town  had,  and  I  didn’t  know  that  youth could fix that.”  

“I learned a lot about being nice to the environ‐ment because there is so much trash and you don’t really think of putting the trash down, or just doing random stuff, but you can definitely tell when you are cleaning it up.” 

 

Future Civic Involvement Eighty percent of youth surveyed reported they would consider serving in another term of SOS. Survey respondents also demonstrated an aver‐age pre/post increase in their agreement with the statement, “after this summer, I hope to continue volunteering in the fall.” Of those participants in‐terviewed, 96% expressed some interest in con‐tinuing to volunteer during the school year (81%   

Figure 3. Prior Volunteer Experience

 

said definitively “yes” and 15% reported “maybe” or “probably”). Among the more than 80% who planned to volunteer in the fall, the majority could identify structured opportunities that convened at least once per week including after‐school pro‐grams, community‐based internships, and city government initiatives. Figures 3 and 4 depict the potential change in service involvement among participant interviews. Prior to SOS, about 60% had prior volunteer experience, and only 40% vol‐unteered on a weekly basis, compared to up to 96% expressing a desire for future civic involve‐ment.   Participant comments regarding future political engagement demonstrated a less enthusiastic re‐sponse compared to community engagement. While 81% of youth interviewees stated defini‐tively that they were planning to vote after they turn 18, only 50% expressed interest in a more  general question: “what about getting involved in politics?” More than half of those interviewed appeared to be lacking in background knowledge and/or civics vocabulary to engage in a conversa‐tion about what it means to be politically engaged. Several youth asked, “What are politics?” Others stated simply, “Politics? No. That’s just not my thing at all.” Some participants failed to see links  

Figure 4. Future Volunteering Aspirations

0

10

20

30

40

50

60

70

80

90

100

Yes No

No

Maybe 

Definitely 

24

0

10

20

30

40

50

60

70

80

90

100

Yes  No

Prior Volunteer Experience 

No Prior Volunteer Experience

between political engagement and their career aspi‐rations (e.g. “I don’t do politics…. I’m thinking about being…  a  judge.”),  or  past  involvement  (e.g. when participating in a recent march to city hall to protest cuts in after‐school funding).   

For several youth, the term “politics” had negative connotations. One youth told us, “I don’t like poli‐tics. I think it’s kind of boring. It’s just too much numbers, and I’m not good at math. And it’s too much… too much stress for summer,” and “In my opinion, I don’t really like politics because it always leads to a lot of conflicts.”   Still, about 50% of the youth interviewed shared some interest in political engagement. Some of these youth required clarification on the terminol‐ogy, but once prompted, expressed a desire to be involved. For example, when the interviewer ex‐plained that marching to city hall to protest cuts in after‐school funding was a form of political engage‐ment, several youth responded favorably to that type of participation. Other youth appeared predis‐posed to activism and were therefore more adept at connecting their SOS experiences to the political domain. As commented by one young person, “Yeah,  I am really interested in politics. I guess I like fight‐ing for what I believe in. Summer of Service gave us an opportunity. We always talked about those is sues that come up in politics a lot, and I think that was cool that we got to talk about how we felt… as we are going to be the new generation.” 

Participant Satisfaction

The program received high satisfaction ratings from youth participants. Surveys averaged a 3.3 quality rating on a 4‐point scale, and more than 86% of youth rated the program good or excellent (see Fig‐ure 7). Nearly 90% of SOS participants were consid‐ering enrollment in a second term of service. Across the interviews, there was an overwhelming consen‐sus among the youth that SOS was a fun and enjoy‐able experience, an excellent way to meet new friends, and a good alternative to being bored at home.   

Among interviewees, 100% said they would recom‐mend the program to a friend. When asked what they would say to recruit a friend, most youth sold the program as a fun, adventurous experience. In addition, 60% of youth pitched opportunities to help the community as a key selling point of the program. This emphasis on "service" as a recruitment lure provides further evidence of the program’s civic outcomes, as only one‐quarter of interviewees had identified service as a motivation for participation at the beginning of the summer. 

Figure 5. Youth Civic Skills, Self-Assessed

All differences statistically significant at the ***p<.001, **p<.05, and *p<.10.  

25

3.5

3.6

3.3

3.7

3.8

3.7

1 2 3 4 5

End of Summer Beginning of Summer

1= strongly disagree       2= disagree       3= undecided          4= agree         5= strongly agree

***

**

*

26

Figure 7. Participant Rating of SOS Programming

Figure 6. Youth Civic Skills, Self-Assessed

* All differences statistically significant at the p< .001 level. 

2.3

2.3

2

2.6

2.5

2.6

3 .2

3 .2

3

3.3

3.1

3.3

0 0.5 1 1.5 2 2.5 3 3.5 4

End of Summer Beginning of Summer

*

*

*

*

*

*

“It made m

e feel 

good insid

e that I 

could help

 the envi‐

ronment, 

and people

 

are appre

ciative tha

t 

we did wh

at we 

did.”

 “… you would meet a lot of new people and you would change... like you would change the world and its places.” 

“I think it’s good for 

everyone to learn the 

skills that I learned 

and being able to 

change the world or 

the community doing 

fun activities.”

“I really like how I feel when I make a difference in the community and um, also its fun, you meet new people.” 

Recruitment Pitches from SOS Participants

48%

42%

9%

1%

Excellent

Good

Fair

Poor

IV. Why it Works All of the SOS sites worked to align their curricu‐lum with the Nine Elements for Quality SOS Pro‐gramming, a framework for program implementa‐tion which includes intentional up‐front planning, a service‐learning methodology, youth‐led oppor‐tunities, and college and career awareness activi‐ties (see Appendix B.). Based on the findings of this evaluation, the following four aspects of the quality elements appeared to be particularly im‐portant for helping sites meet their goals:   Summer-Style Thematic Learn-ing. Programs were successful in designing fun and engaging lesson plans that integrated  service and academic themes through a traditional sum‐mer camp repertoire of  arts, recreation and field trips. For example, an anti‐bullying project in‐cluded content across multiple activity areas in‐cluding online research on cyber bullying, arts‐based t‐shirt and button‐making, and a  digital literacy project that included creating an original video. This thematic learning helped participants draw connections of their service work across dis‐ciplines  and through a variety of creative medi‐ums. In addition, activities such as open dialogues and community forums linked service to larger themes of social and political significance. Such interconnectedness helped young people under‐stand, in the words of one SOS education consult‐ant, “you are part of something bigger.”   

A positive youth development ap-proach. All of the SOS sites were rooted in a positive youth development approach   ensuring that activities reflected participants’ talents, inter‐ests and passions. Team‐building, for example, included opportunities for youth to perform dance routines, write lyrics and poetry, and per‐form Camp Spirit songs. An elementary‐ to‐middle school transition project capitalized on partici‐pants’ existing background knowledge as older, more experienced students. Weekly journals and dialogue sessions gave youth the opportunity to creatively share their own thoughts and feelings about the social issues they were confronting. This youth‐centered programming created safe spaces where young people felt empowered to contrib‐ute, comfortable expressing themselves, and sup‐ported by adults and their peers.   

27

When asked why they were chosen to mentor the 

younger  students  transitioning  to middle  school, 

one SOS youth explained,   “I think  it’s because of 

history – we learn from mistakes in the past so we 

can have a brighter future. So  if the mistakes that 

we’ve made  can  help  them make  better  choices 

ahead of time, then it will be a better society and a 

future.”  

Youth Voice: Capitalizing on Their Assets  

Youth Voice. Creating substantive opportunities for young people to meaningfully contribute their opinions, perspectives and leadership skills reflects a core component of the Summer of Service model. SOS sites lever  aged youth voice both within pro‐gramming structures and activities, as well as dur‐ing service projects across their communities. Such experiences opened up new fields of influence for young people to position themselves as leaders and problem solvers. In addition, the sites were adept at under  standing that youth leadership doesn’t necessarily happen organically and instan‐taneously, but needs to be scaffold over time. SOS participants received training on group manage‐ment and facilitation skills, which were also mod‐eled by camp counselors. As weeks progressed, youth were given increasing levels of responsibility, and some began to take initiative on their own to lead group activities. 

  

Demonstrable Results. Across all of th’SOS sites, the vast majority of participant interviewees could identify multiple ways that their service made a direct impact on the community. When expectations were set too high, SOS staff appropri‐ately stepped in to help youth set realistic targets for success over the six‐week program. SOS youth spoke with confidence about their abilities to choose a course of action, follow through, and see results. In addition, sites seemed to excel at finding ways to reinforce youths’ accomplishments through reflection and celebratory events. These contributions, however great or small, appeared to foster a sense of social responsibility among the youth that they intended to carry into the future. 

28

1.ICP has incorporated these recommendations into the rebranded SummerTrek initiative. For more information, visit 

http://www.icicp.org/summer-trek/.  

V. Recommendations1 Overall, results of participant pre/post surveys, 

interviews and program observations suggest that 

the sites were successful in supporting youths' aca‐

demic, social and civic development. In addition, 

participants were able to complete a number of 

service projects that made a positive contribution 

to their schools and communities. Youth had multi‐

ple opportunities to serve as leaders and positive 

role models, and many of the sites plan to continue 

their service work into the school year.  Some rec‐

ommendations for future summer service‐learning 

programs are included here.  

 

More direct links to common core compe-tencies. With additional planning and curriculum 

development, SOS programs could strengthen their 

academic content by including relevant middle 

school material (e.g. English language arts, science, 

math and social studies) as outlined in the Com‐

mon Core State Standards.  Alignment with the 

common core would help programs establish aca‐

demic benchmarks and more clearly defined out‐

come measures. In addition, academic alignment 

could be improved by integrating the production of 

a polished text over the summer. For example, re‐

flection activities could culminate in revising and 

presenting a five‐paragraph essay on their service 

experiences. The programs might also consider 

weaving academic vocabulary from content‐area 

subjects into lesson plans. The key is to find ways 

of building more direct linkages to school‐based 

competencies without losing the youth‐friendly, 

creative and self‐expressive approach.  

 

Increased attention to political engage-ment. While the vast majority of youth 

showed significant gains in their interests and skills  

 

 

 

related to civic participation, youths’ affinity for  

political participation was less apparent. Many 

youth expressed little interest in politics and/or 

were unsure what constituted political engage‐

ment.  Therefore, given a working vocabulary and 

background knowledge, many more young people 

may be motivated to get involved.  SOS youth may 

benefit from additional programming content that 

makes explicit the relevant political dimensions of 

their civic work and offers social studies content. 

Activities such as letter writing to educate a public 

official on particular issue areas could be helpful in 

building those connections. 

 

Additional opportunities to serve. When 

asked for their recommendations for program en‐

hancements, many youth suggested that future 

summers include more service projects in the com‐

munity. Participants appeared eager to find addi‐

tional ways to serve vulnerable populations and 

make an impact on their neighborhoods and 

schools. Some of the research on service‐learning 

has found that participant outcomes are most fa‐

vorable when they have direct contact with those 

benefiting from their service. Currently, there is no 

consensus around how much time should be de‐

voted to direct service, but sites should continu‐

ously strive to find the right balance of research, 

training, action and reflection. In addition, a num‐

ber of the SOS sites made plans to continue their 

service work with the youth into the school year 

through after‐school programs and service‐learning 

coursework. Summer can provide the most oppor‐

tune time for doing the types of deep‐dive and in‐

trospective work that lays the foundation for build‐

ing a culture of collaborative service that can carry 

forward throughout the year.

29

Expanded research and evaluation efforts. This report summarizes a mixed meth‐ods study that included interviews and surveys documenting the benefits of SOS for young peo‐ple. The study offers a unique view into the in‐ner workings of a summer service‐learning in‐tervention, as told through the eyes of youth participants and adult staff. The first‐hand ac‐counts of youths’ experiences and benefits from the program provide a compelling illustration of why researchers in this domain should not rely solely on self‐assessment survey questionnaires. However, limitations of the evaluation design include the lack of comparison or control groups of non‐participating youth from similar back‐grounds. Without such comparable data, the study is unable to make definitive claims about the causal relationships of participation to youth learning and development. In addition, the de‐sign could be improved by including objective measures of participant outcomes. For example, gains in literacy skills could be assessed via read‐ing and writing assessment tools and/or review‐ing artifacts of youth work at multiple time points over the summer. Finally, the design could also be improved with the inclusion of longitudinal data that would measure youths’ application of acquired civic, social and aca‐demic skills into the school year.  

Conclusions 

This evaluation of Summer of Service 2012 dem‐onstrates the potential for service‐learning pro‐grams to promote youths’ academic, personal and civic development.  With the dedication of more intensive funding to programs such as Summer of Service (now SummerTrek), we will begin to see a new generation of civically‐empowered citizens with the skills, interests and expertise to actively participate in civic and po‐litical affairs throughout their lives.   

30

VI. References  Alexander, K. L., Entwisle, D. R., & Olson, L. S. (2001). Schools, achievement and inequality: A seasonal per‐

spective. Educational Evaluation and Policy Analy‐sis, 23(2), 171‐191. 

 

Billig, S. H. (2000). Research on K‐12 School‐Based Service‐Learning – The Evidence Builds. Phi Delta Kap‐

pan, 81(9), 658.  

 

Bradley, L.R. (2005). K‐12 service‐learning impacts: A review of state‐level studies of service learning. In 

NYLC, Growing to Greatness 2005: The State of Service‐Learning Project. St. Paul, MN: National Youth Lead‐

ership Council. Available at: http://www.nylc.org/sites/nylc.org/files/files/170G2G2005.pdf. 

Conrad, D. and Hedin, D. (1991). “Schoolbased community service: What we know from research and the‐

ory,” Phi Delta Kappan, 743‐749 

 

Cooper, H., Charlton, K., Valentine, J.C., Muhlenbruck, L., & Borman, G.D. (2000). Making the Most of Sum‐

mer School: A Meta‐Analytic and Narrative Re‐view. Monographs of the Society for Research in Child Devel‐

opment, 65 (1), 1‐127. 

 

Cooper, H., Nye, B., Charlton, K., Lindsay, J., & Greathouse, S. (1996). The effects of summer vacation on 

achievement test scores: A narrative and meta‐analytic review. Review of Educational Research, 66, 227–

268. 

 

Fairchild, R., Smink, J., & Stewart, A. B. (2009). It's time for summer: an analysis of recent policy and fund‐

ing opportunities. Baltimore, MD: National Summer Learning Association. 

 

Grossman, J.B., Cooney, S.M. (2009). Paving the Way for Success in High School and Beyond: The Impor‐tance of Preparing Middle School Students for the Transition to Ninth Grade. Public/Private Ventures. Available at: http://www.sfbeacon.org/practitionerResources/Paving_the_Way‐GROUNDWORK.pdf   Jerald, C. (2006). Dropping Out is Hard to Do. Washington, DC: The Center for Comprehensive School Re‐

form and Improvement.  

 

Juvonen, J., Le, V‐N, Kaganoff, T., Augustine, C., & Constant, L. (2004). Focus on the Wonder Years : Chal‐

lenges Facing the American Middle School. Washngton, DC: Rand.  

 

Kuh, G. D. (2007). What Student Engagement Data Tell Us about College Readiness. AAC&U Peer Review, 

9(1), 4‐8 

 

Melchior, A. (2011). Summer of Service Evaluation Toolkit. Washington, DC: Innovations in Civic Participa‐

tion. 

 

Moje, E. B., & Tysvaer, N. M. (2010). Adolescent literacy development in the non‐school hours: A practitio‐

ner's guidebook. New York, NY: Carnegie Corporation of New York. 

 

P21 Framework Definitions. (2009). Washington, DC: Partnership for 21st Century Learning.  

31

32

 

Perry, J. L., & Katula, M.C. (2001). “Does Service Affect Citizenship?” Administration and Society, 33(3), 330‐

365.  

 

Shumer, R. (2005). Service‐learning research: What have we learned from the past. In NYLC, Growing to 

Greatness 2005: The State of Service‐Learning Project. St. Paul, MN: National Youth Leadership Council. 

Available at: http://www.nylc.org/sites/nylc.org/files/files/170G2G2005.pdf. 

Somers, P., Cofer, J., & VanderPutten, J. (2002). The early bird goes to college: the link between early col‐

lege aspirations and postsecondary matriculation. Journal of College Student Development, 43( 1), p. 93‐

107. 

Trusty, J., Robinson, C. R., & Plata, M. (2000). Effects of gender, socioeconomic status, and early academic 

performance on postsecondary educational choice. Journal of Counseling and Development, 78(4), 463‐72. 

 

Tysvaer, N.M. (2010). ICP’s 2010 Pilot Summer of Service First Year Findings of Participant Outcomes. 

Washington, DC: Innovations in Civic Participation. 

 

Wigfield, A., Byrnes, J.P., Eccles, J.S. (2005). Development during early and middle adolescence. In Alexan‐

der, P.A. & Winne, P.H. (Ed). Handbook of Educational Psychology. Mahwah, NJ: Earlbaum, 87‐113. 

 

Youniss, J., & Yates, M. (1997). Community Service and Social Responsibility for Youth. Chicago: University 

of Chicago Press, p. 36. 

VII. Appendices  

Appendix A. Site Descriptions and Project Highlights 

Earth Force‐Onslow, NC 

In Onslow, NC, SOS youth turned an old water treatment centre  into an archaeological dig 

site that can be used by elementary and middle schools  in the district. SOS participants re‐

purposed an old holding cell at the Sturgeon City treatment centre, cleaning it out and filling 

it with shells, whale teeth, and other fossils. The youth solicited assistance from community 

members and local companies who agreed to donate dump trucks and fossils. At the end of 

the summer, youth created posters announcing the creation of the archaeological site.  

 

Earth Force‐ Albuquerque, NM 

SOS  youth  at  this  site  raised  awareness  for  their middle  school  community  garden.  The 

youth created an enormous, vivid sign advertising the garden, as well as magnets and fliers 

which they distributed to the surrounding community. Site leaders worked with the youth to 

refine their verbal messaging and invited a design expert to offer artistic advice. In addition, 

the SOS participants worked with the middle school teacher who originally created the gar‐

den  to understand  its history,  its purpose,  and what  is  required  for  its maintenance. The 

youth then created and dozen and a half tomato cages for the garden.  

 

Earth Force‐ Belen, NM 

Participants at  this site developed a community garden and connected  it  to  the  local  food 

pantry. Youth picked up trash, painted garden boxes and planted trees in the garden. Addi‐

tionally, they created a logo for the garden and made signs to generate awareness. Over the 

course of the summer, the SOS participants learned about the issue of hunger, as well as the 

importance of healthy eating. They maintained reflective  journals to enhance their service‐

learning experience and advance their literacy skills.  

 

Earth Force‐Walterboro, SC 

Youth participating  in SOS at  this  site undertook a project  to curb  littering and beautify a 

community walking park adjacent to the local school.  After removing the existing trash from 

the park, the youth installed three trash cans with cement to sure their longevity.  The youth 

then installed four benches and planted flowers to encourage community members to utilize 

the park.  Community members overwhelmingly supported the work of the youth, and over 

33

City of Seattle Parks and Recreation Department  

Participants in SOS Seattle sites worked on a host of projects related to the environment, includ‐

ing the development of community gardens, the production of a mini documentary about urban 

gardening  and  farming,  the  construction  of  a  walking  trail,  and  the  cleanup  of  local  parks. 

Throughout the summer, youth  learned a wide range of skills,  including how to safely operate a 

drill; how to identify native and invasive species; and how to cook ingredients harvested from the 

local garden.  

 

TASC: Good Shepherd Services PS32 ‐ Brooklyn, NY 

Although  surrounded  by  the more  affluent  community  of  Carroll Gardens, NYC  Public  Primary 

School #32 serves a population of economically disadvantaged elementary and middle school stu‐

dents  from  nearby  Red  Hook  and  the  Gowanus  public  housing  complex.  This  juxtaposition  of 

neighborhoods became a focal topic of their SOS project, as youth mapped out the environmental 

strengths and challenges of the streets surrounding their school. They began to ask questions such 

as “why do some areas get multiple garbage cans and others have none?” Disparities in public ser‐

vices became an issue during their weekly debate sessions where youth learned to consider multi‐

ple  perspectives, weigh  pros  and  cons,  support  arguments with  data,  and  exercise  persuasive 

speech.  

 

TASC: Good Shepherd Services MS447 – Bronx, NY 

SOS middle schoolers of Creston Academy  in  the Bronx chose  to conduct a participatory action 

research project over  the summer. The  theme was “how  to be a successful  teen  in  the Bronx.” 

Youth  learned  to create survey  instruments, collect and analyze data, and  identify  themes  from 

their findings. Their research was folded into the production of a “teen success” documentary that 

featured  local youth and adults offering advice on how to be a good student, stay active, adopt 

healthy eating habits, and give back  to  the  community. SOS youth explained  that  they  learned 

strategies for being successful as they developed and presented the documentary to other youth.   

 

TASC: Cypress Hills Community Development Corporation – Brooklyn, NY 

Located in a NYC public middle school in the Cypress Hills neighborhood of Brooklyn, SOS partici‐

pants of ISI 171 focused their service projects on cross‐age tutoring and mentoring opportunities. 

SOS youth developed and delivered skits to rising 6th graders on how to make a successful transi‐

tion  to middle school. Since  the SOS youth were  rising 7th  through 9th graders,  they could  tap 

their own personal stories in designing these skits. SOS youth also designed “Dream Big,” an arts‐

based curriculum that introduced career concepts to younger elementary school students.  In ad‐

34

dition, Cypress Hills SOS had a strong emphasis on college and career  readiness. SOS participants 

were divided into teams which were identified by the name and mascot of an actual college or uni‐

versity that the youth aspired to attend. Participants learned to conduct internet research on higher 

education opportunities, admission requirements, and financial aid.

35

Appendix B: Nine Elements for Quality SOS Programming  

1. Intentional Program Design and Planning ‐ Similar to other types of after‐school and summer initiatives, a high quality SOS program is guided by a thoughtful and inten‐tional plan of action that includes clearly defined goal and objective statements, a cur‐riculum of detailed lesson plans aligned with educational standards, a fiscally‐sound budget, recruitment and staffing plans, and a consideration of all logistical issues in‐cluding space, timeline, transportation, materials and supplies. 

 2. Meaningful Service ‐ In SOS programs, service projects are an integral part of the enrich‐

ment experience. SOS participants are convened as community problem‐solvers, and the service piece becomes the focus of their attention. In some SOS programs, youth will work to build a service strategy concentrated on a single focal issue over the entire summer. In other programs, youth may tackle a different issue each week that culmi‐nates into multiple service opportunities. In all cases, SOS programming will be youth‐driven and designed to meet authentic community needs within a service‐learning framework that is age‐appropriate and team‐oriented. SOS youth will also be given the chance to consider their service within the larger socio‐political context in which they live. 

 3. Summer‐Style Learning ‐ Educational curricula are an important part of the SOS experi‐

ence. To that end, summer enrichment programs have been experimenting with many ways to boost academic skills with non‐traditional instructional practices. Learning in the summer should be fun, interactive, project‐based and intentional. Youth should be aware that they are gaining skills and knowledge that can be helpful in school. Begin‐ning in middle school, youth should also be encouraged to think about how their sum‐mer service‐learning experiences will help pave the way to post‐secondary education. 

 4. Youth Voice ‐ A primary goal of SOS programming is to foster a new generation of youth 

leaders empowered to use their knowledge, skills, expertise, and talents to contribute to the common good. To accomplish this goal, SOS providers create an atmosphere where youth and adults work in partnership sharing responsibilities for the manage‐ment and implementation of the program. Strategies include formal and informal youth leadership roles, training, and multiple opportunities to practice communication and organizational skills. Adults set the tone for youth‐as‐partners by acting as facilita‐tors, support staff, and consultant‐type “experts” when needed. 

 5. Qualified Staffing ‐ The demanding schedules and curricular challenges of SOS program‐

ming require that providers hire and train well‐qualified staff that are enthusiastic, adaptable, and nurturing. Qualified staff should have knowledge of youth development and service‐learning principles, be prepared to work in partnership with youth partici‐pants, and show an appreciation for diverse cultural and generational backgrounds. 

  

36

 6. School, Community and Family Involvement – Successful SOS programs enlist the sup‐

port of a broad and diverse network of partners to help organize service projects, pro‐vide training and educational expertise, and link programming to college access. SOS partners may include local schools, community‐based organizations, parents, and higher education institutions. 

 7. Continuity and Intensity – Service‐learning research shows that longer and more in‐

tense service experiences make a greater impact on youth than short‐term or episodic volunteering. SOS providers look for innovative ways to link their program to year‐round service and learning opportunities. For example, some SOS projects use summer time to develop youth‐led service action plans that will be implemented during the school year. While other SOS projects continue service‐learning activities in year‐round after‐school programs and/or in‐school classes. 

 8. Present, Reflect and Celebrate ‐ Quality service‐learning experiences incorporate a vari‐

ety of reflection activities throughout the program in ways that develop youths’ ana‐lytical skills and stimulate transformative thinking in reference to their service work. SOS participants should also have the opportunity to present their work to broader au‐dience, including public officials and others in leadership positions. Finally, no SOS pro‐ject is complete without a formal celebratory event that recognizes the accomplish‐ments of youth participants. 

 9. Monitor, Evaluate and Sustain – SOS programs benefit from implementing a compre‐

hensive evaluation strategy that includes: (a) systematic and ongoing data collection to measure progress towards goals, (b) multiple methods for soliciting feedback from all stakeholders, especially the youth participants, and (c) analysis of data to insure con‐tinuous quality improvement. 

37

Cultivatio

n of 

the ne

xt 

gene

ratio

n of 

civically‐

empo

wered

 

citizen

s with

 

the skills, 

interests a

nd 

expe

rtise

 to 

activ

ely 

participate in 

civic a

nd 

political affa

irs 

now and

 into 

adulthoo

d. 

IMPA

CT 

Appendix C: SOS Program Logic Model  

38

39

          The 2012 SOS Evaluation had been developed based upon a programming logic model outlined in Figure 1 below. As highlighted in the model, the ultimate aim of SOS participation is to build “the next generation of civi‐cally‐empowered citizens with the skills, interests and expertise to actively participate in civic and political affairs now and into adulthood.” This evaluation will examine participant civic development as measured by five out‐come indicators: action, skills, responsibility, connections and knowledge. These indicators have been organized into three program goal areas:                G1: SOCIAL DEVELOPMENT: By engaging in service projects within their communities, SOS will help youth strengthen their networks of adults, peers and organizations that provide young people with productive opportu‐nities outside of school.   

(OBJ 1.1) Youth will increase their social capital in the community as they build networks and gain access to local resources.  (connections: contacts) (OBJ 1.2) Youth will feel valued by the adults in their community. (connections: contacts) (OBJ 1.3) Youth will develop relationships with diverse individuals and gain an appreciation for the power of collective action (connections: collective efficacy).  

G2: CIVIC PARTICIPATION: Assist youth in developing positive and empowered identities with a sense of strength and purpose regarding civic work. Youth will become more aware of community issues, in‐crease their repertoire of opportunities to get involved, and express more I interest and commitment to civic participation.  

  (OBJ 2.1) Youth demonstrate a sense of responsibility to act and bring about positive change in society. (responsibility: civic agency) (OBJ 2.2) Youth adopt ways to take initiative in voicing their opinions and assume leadership roles in the planning and implementation of their SOS program. (skills: civic action competen‐cies and communication) (OBJ 2.3) Youth demonstrate a commitment to future civic engagement activities. (action/intent: civic participation) (OBJ 2.4) Youth understand what actions they can take to influence rules or policies that affect their lives. (knowledge: public policy) (OBJ 1.1) Youth will increase their sense of strength and purpose regarding their ability to bring about positive change in society. (responsibility: efficacy)     

G3: INTELLECTUAL DEVELOPMENT: Increase youth intellectual development including critical thinking, literacy and academic content knowledge. ICP’s Summer of Service sites will include activities that re‐quire the use of skills and knowledge aligned to formal learning standards. 

  (OBJ 3.1) Youth will learn new content relevant to school curricular standards such as digital literacy, environmental science, and social/environmental justice. Participants will also demonstrate the ability to make connections between SOS content and in‐school learning. (knowledge: issues and skills: literacy)  (OBJ 3.2) Youth will demonstrate the ability to think critically about the issues addressed through service activities including: engaging multiple perspectives, considering pros and cons, demonstrating socio‐political awareness (history, economics, social, political), using if/then propositions, and considering alternative strategies. (skills: critical think‐ing and knowledge: social analysis) 

  

Appendix D: Evaluation Model 

40

Thank you to everyone who contributed to this report. We are grateful to Carrie Bodley-Bond at ICP for helping to conduct the evaluation and to the interns at ICP who assisted in transcrip-tion and data analysis: JaHye Yoon, Kwabena Boateng, Janice Mulela, Lisa Joseph, and Matt Rohan. Thank you as well to Katie Scott for designing the report. Finally, thank you to our SOS partners, site staff, and youth participants—we couldn’t have had a successful summer of SOS programming without you!

VIII. Acknowledgements

41

1776 Massachusetts Avenue, NW Suite 100 Washington, DC 20036 Phone 202-775-0290 Fax 202-355-9317