chemical literacy critical thinking · quantitative versus qualitative analysis, and the...

13
UNIVERSITY OF KENTUCKY Department of CHEMISTRY UNDERGRADUATE PROGRAM ASSESSMENT PLAN 1. Introduction Assessment Plan for Bachelor in Arts and Bachelor in Science in the A&S Department of Chemistry Unit Mission Statement: The mission of the Department of Chemistry is to provide undergraduate and graduate students with both the academic knowledge and the laboratory experience that will prepare them for future training and employment, including pursuit of professional degrees, teaching and industrial careers, and further academic training in chemistry at the graduate and postdoctoral levels. Basic Assessment Approach: The A&S Department of Chemistry at the University of Kentucky (UK CHEMISTRY) will assess 3 SLOs within a threeyear cycle, using the direct methods described below. Please see the attached Curriculum Map and Artifact Map. 2. Assessment Oversight, Resources The Chemistry Director of Undergraduate Studies (DUS) will act as assessment coordinator. It is the responsibility of the DUS and the Undergraduate Program Committee (UPC) to monitor the activities of assessment that occur in the Chemistry Undergraduate Program. The DUS will lead the departmental assessment conversation held each fall and will write the assessment report due to UK A&S on October 31 st . 3. ProgramLevel Learning Outcomes SLO1: Introductory Understanding of Chemical Composition and Analysis Students will demonstrate overall understanding of meaning of molecular composition, mixtures and quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, healthrelated, and product development. SLO2: Chemical Literacy and Critical Thinking (GCCR) Students will demonstrate effective oral and written communication of chemical knowledge to both professional and general audiences, and will be able to use the chemical literature to put that new information into context. SLO3: Cheminformatics (GCCR) Background: http://en.wikipedia.org/wiki/Cheminformatics UK Chemistry will impart a working knowledge of how to retrieve and use scientific results from standard chemistry databases. This is an important aspect of chemical knowledge in the age of information and a necessary skill for employment in the chemical sciences.

Upload: others

Post on 22-Jul-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

UNIVERSITY OF KENTUCKY Department of CHEMISTRY UNDERGRADUATE PROGRAM ASSESSMENT PLAN 

 

 

1.   Introduction  

Assessment Plan for Bachelor in Arts and Bachelor in Science in the A&S Department of Chemistry  

Unit Mission Statement:  

The mission of the Department of Chemistry is to provide undergraduate and graduate students with both the academic knowledge and the laboratory experience that will prepare them for future training and employment, including pursuit of professional degrees, teaching and industrial careers, and further academic training in chemistry at the graduate and postdoctoral levels. 

 Basic Assessment Approach: 

 The A&S Department of Chemistry at the University of Kentucky (UK CHEMISTRY) will assess 3 SLOs within a three‐year cycle, using the direct methods described below.  Please see the attached Curriculum Map and Artifact Map. 

 2. Assessment Oversight, Resources 

 The Chemistry Director of Undergraduate Studies (DUS) will act as assessment coordinator. It is the responsibility of the DUS and the Undergraduate Program Committee (UPC) to monitor the activities of assessment that occur in the Chemistry Undergraduate Program.  The DUS will lead the departmental assessment conversation held each fall and will write  the assessment report due to UK A&S on October 31st.  

 3. Program‐Level Learning Outcomes 

 SLO1: Introductory Understanding of Chemical Composition and Analysis  

Students will demonstrate overall understanding of meaning of molecular composition, mixtures and 

quantitative versus qualitative analysis, and the application of these concepts to problems such as 

environmental, health‐related, and product development.   

 

SLO2: Chemical Literacy and Critical Thinking (GCCR) 

Students will demonstrate effective oral and written communication of chemical knowledge to both 

professional and general audiences, and will be able to use the chemical literature to put that new 

information into context. 

 

SLO3: Cheminformatics (GCCR) 

Background: http://en.wikipedia.org/wiki/Cheminformatics UK Chemistry will impart a working knowledge 

of how to retrieve and use scientific results from standard chemistry databases. This is an important aspect 

of chemical knowledge in the age of information and a necessary skill for employment in the chemical 

sciences.      

Page 2: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

4. Curriculum Map  I= introduce, R = reinforce, E = emphasize  

Courses  SLO1  SLO2  SLO3 

CHE 105 /107 /111 /113  I  I   

CHE 230/231/232  R  I  I 

CHE 226  E  I  I 

CHE 410G/ CHE 412 /440G/ 441 /442G  R  R  R 

CHE 522 /532/ 533  E  R  R 

CHE 535  R  E  E 

CHE 372/ 472  R  E  E 

CHE 550/ 552  R  E   

 

5. Assessment Methods and Measures  

Direct Methods: 

 •     SLO1 Artifact collected in CHE 226.  •  SLO2 Reading comprehension quiz given as an exit exercise in CHE 472.  •  SLO3 Test to evaluate student familiarity with the use and applicability of chemical databases given as an exit exercise in CHE 472. 

 

6. Data Collection and Review 

 

  Assessed  Data 1  Data 2

Year 1  SLO 1  Assignment artifact gathered in CHE 226. 

Year 2  SLO 2  Reading comprehension quiz given as an exit exercise in CHE 472. 

Year 3  SLO 3  Test to evaluate student familiarity with the use and applicability of chemical databases given as an exit exercise in CHE 472.

 

  

Courses  SLO1  SLO2  SLO3 

Year 1 CHE 226  E  I  I 

Year 2 CHE 472  R  R  R 

Year 3  CHE 472  R  E  E 

  7. Assessment Cycle and Data Analysis  

Assessment of student learning takes place throughout the program and occurs in all courses.  Program faculty will be asked to maintain records of course‐level assessment.  Program‐level assessment data will 

Page 3: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

only be gathered at summative points indicated above in the curriculum.  

The program will follow a three‐year assessment cycle, with SLO1 being assessed in year, SLO2 in year 2 and SLO3 in year 3.  Data will be gathered annually for all outcomes. All students must be evaluated for course purposes.  Therefore, all student data will be gathered for the purposes of the program assessment.   

 Results will be analyzed and interpreted at the second annual faculty meeting of every academic year. 

Assessment reports will be completed no later than October 1st of each year and provided to the college’s assessment coordinator for review.  Final reports will be sent to the university’s assessment 

office no later than October 31st of each year.   

8. Teaching Effectiveness  

All instructors will use the University Teacher Course Evaluation (TCE) process to be evaluated by their students each semester.  Each instructor will be asked to provide self‐reflection which will include areas of improvement.  The Department Chair will review the TCE results, any available peer review forms, and the self‐reflection with the instructors and provide feedback to the instructor.  This will occur on an annual basis.  

 9. What are the plans to evaluate students’ post‐graduate success? 

 We have found effective tracking of alumni to be very challenging. UK Chemistry has recently established an Alumni Board to increase contact between UK CHEMISTRY and its alumni. Tracking post‐graduates will be greatly facilitated by our Alumni Board.    The newly formed UK Chemistry Alumni Board (CAB) met for the first time on Saturday, October 11, 2014, in the recently renovated Tuttle Conference Room, CP‐114, of the Chemistry‐Physics Building. The goals of the Board are:  • to establish, maintain, and preserve contact and communications between the UK Department of Chemistry and baccalaureate, masters, and doctoral graduates of the Department.   • to promote fellowship and to foster cooperation on matters of mutual interest to the UK Department of Chemistry and its alumni.  • to share with current students the experiences of alumni and to increase awareness of the diversity of careers available to chemists. 

 10. Appendices ‐ Required 

 SLO2 will be assessed using the Literacy/Critical Thinking Rubric which can be found below.   

 

   

Page 4: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

SLO2 Chemical Literacy and Critical Thinking RUBRIC Definition Chemical  literacy and critical  thinking  for  the purposes of  this  rubric  is  the understanding,  justifiable  skepticism and application of  information  in  chemistry  articles  from  news  sources  targeted  at  chemical  professionals.  This target audience is a level of understanding above the chemistry‐related information that one can find in general news sources.  

 

 

Rubric 

Evaluators are encouraged to assign a zero to any work sample or collection of  work that does not meet 

benchmark (cell one) level performance 

 

SLO2 Chemical Literacy and Critical Thinking RUBRIC 

Capstone  Milestone 3  Milestone 2  Benchmark 

 Translation and Comprehension 

Readers understand and can explain the material in their own words and can answer questions to show the relationship between the reading and chemical principles.  

Readers understand and can explain the material. The reader gives indications of having a chemical level understanding. 

Readers understand and can explain the material, but there are indications of knowledge gaps that should not exist for an undergraduate senior chemistry major.  

Readers understand and explain the material at a non‐scientific literacy level. Good linguistic skills are present, but the chemical knowledge has not yet been claimed.  

Critique and Fact Checking 

Reader effectively considers and criticizes issues such as error analysis and runs the new material through the filter provided by their chemical education.  

Given the limited understanding, a consistent level of critique should be present. 

Given the limited understanding, a consistent level of critique should be present. 

Given the limited understanding, a consistent level of critique should be present.  

Appreciation of Far‐ranging Implications   

Can do quantitative and qualitative reasoning to apply what is read to related problems.   

Can do qualitative reasoning to apply what is read to related problems.   

Some level of qualitative reasoning to apply what is read is evident.   

The application of the new material to related societal problems is somewhat lacking.  

 

   

Page 5: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

SLO3 Cheminformatics RUBRIC Definition Demonstrate effective knowledge of the use and application of Cheminformatics (Background: http://en.wikipedia.org/wiki/Cheminformatics) UK Chemistry imparts a working knowledge of how to retrieve and use scientific results from commercial databases. This is an important aspect of chemical knowledge in the age of information and a necessary skill for all sectors of employment in the chemical sciences.  

 

Rubric 

Evaluators are encouraged to assign a zero to any work sample or collection of  work that does not meet 

benchmark (cell one) level performance 

 

SLO3 Chem‐informatics 

Capstone  Milestone 3  Milestone 2  Benchmark 

 Utility 

Students can explain how they would look for particular chemical information, and which databases to apply to the specific problem. Readers can intersect searches and perform Boolean logic on search results.  

Students are familiar with one or two databases and appreciate the value of this information. Students can perform chemical structure searches and know how to generalize/broaden structure searches.  

Students are familiar with one or two databases and appreciate the value of this information. Students can perform chemical structure searches. 

Students can perform chemistry database searches such as SciFinder or Web of Science and criticize the information.  

Knowledge of the Temporal Aspects of Database Information, knowing when to quit looking.  

Students can move forward and backward in time in the literature. The readers appreciate the value of subject reviews.  

Students can describe how to thoroughly review a topic in the chemical literature, and describe how they know when they have finished the search.  

Students can describe how to review a topic, and attempt to become an expert about a topic in the chemical literature.  

Students can describe how to look for chemical information 

 

   

Page 6: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

Example: SLO2 was assessed in 2014 

Artifact:  

 

 

Page 7: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

 

   

Page 8: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

 

 

   

Page 9: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

SLO2 2014 Assessment 

DEPARTMENT OF CHEMISTRY UNIVERSITY OF KENTUCKY 

CHE 572‐002 Fall 2014 

LEARNING OUTCOMES ASSESSMENT  

As an assessment of the UK Department of Chemistry’s teaching effectiveness, we want to determine how 

close our graduating seniors are to achieving instructional goals. Your performance on this exercise will not affect 

your grade in CHE 572‐002. Thank you for helping improve UK Chemistry.  

In this assessment, we hope to partially evaluate your literacy in chemistry. To better understand the article, 

you may search the literature or the web for background information. If you are interested in comparing your 

answers with our answers, let your instructor know and we will send you feedback.  

Please read the article from Chemical &Engineering News 2013, 91, 21‐22 (July 1, 2013), and answer the 

following questions with a few paragraphs and complete sentences: Do not copy and paste. Your answers should be 

crafted thoughtfully in your own words.  Your answers should be submitted as an MS Word document. Use the 

template provided.  

 

1. Why does carbon dioxide get “a lot of attention—most of it negative—as a greenhouse gas?” 

2. What are some of the proposed ways to alleviate the carbon dioxide problem? 

3. How many electrons are required to reduce one molecule of CO2 and as much water as needed to CH3OH 

and O2‐? Write the balanced reduction equation. 

4. About 34 billion tonnes (3.4 x 1016 g) of carbon dioxide entered the Earth’s atmosphere in 2011. How 

many coulombs of electricity would be required to convert all of this carbon dioxide into methanol 

according to the equation in question 3? How many kg of methanol would result? How does this amount 

compare to the current annual world market for methanol? 

5. Describe how Jaramillo and coworkers qualitatively and quantitatively determined the product 

distribution from electrochemical reduction of CO2 on copper. 

6. Jaramillo and coworkers propose that surface‐bound reactive intermediates such C(OH)2 and CH2O can 

account for the formation of C1, C2 and C3 products. Suggest a mechanism for the formation of any C2 

product and a specific experiment to test whether this is a reasonable mechanistic pathway.  

 

   

Page 10: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

 

Example: SLO2 was assessed in 2013 

Artifact:  

 

SLO2 2013 Assessment 

CHE 572 Communication in Chemistry is a course that all of our majors must take twice in their undergraduate career 

to complete one of three majors or major‐tracks. CHE 572 is therefore an excellent forum in which to see how well 

our students have progressed.  

This assessment tool is designed to assess the students' organic chemistry/biochemistry literacy. We directed the 

CHE 572 002 students' attention to a short, but pithy news item on the web for them to access at their leisure and 

then to submit three, paragraph‐long detailed answers to three questions posed to them. This exercise was not 

timed; it was done online ‐‐ outside of regular class time.  

The article for the students to digest was published in the American Chemical Society's (ACS) magazine, Chemical and 

Page 11: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

Engineering News (C&E News) Vol 91 (12) March 25, 2013, entitled: "Avoiding The Death Receptor, Biochemistry: 

Crystal structures of serotonin receptor‐drug complexes could reduce killer side‐effects" By Elizabeth K. Wilson 

http://cen.acs.org/articles/91/i12/Avoiding‐Death‐Receptor.html 

To test student comprehension of this reading assignment, the CHE 572 002 students were asked to submit 

paragraph‐length, in‐their‐own‐words, responses to the following three questions:  

1) What was the scientific discovery described by this article? Why is this discovery important?  

2) The article highlights a scientific problem. As concisely as you can, please explain the main scientific problem in 

your own words.  

3) What are the drug designers trying to accomplish in this case? What data or information will drug designers use to 

meet their goals in the future?  

ACS C&E News articles have a scientific readership. In fact, the magazine is generally inaccessible to non‐ACS 

members. One has to be chemistry‐educated to appreciate the nuances of the content. However, this article is at the 

level that our undergraduates in their 3rd or 4th year should understand.  

Each of the 7 members of the undergraduate program committee will evaluate each student response on a high‐

pass, pass, and fail basis.  

Target/ Benchmark 

High‐pass indicates a precocious thinker who shows a lot of promise and is able to tease out nuanced features in the 

information content. Pass, indicates that the student understands the content. We realize that it is difficult to 

separate students that are not engaged but otherwise capable from those who needed to do this exercise so that 

they could get on to some other pressing assignment or final exam preparation at the end of the school year. These 

students are not being graded for this activity. A fail indicates a student who does not understand the content of the 

article.  

We expect that all of the CHE 572 002 students should be able to answer questions 1 and 2 at the pass level. We 

expect that at least 2/3 of these students should be able to pass question 3. Question 3 involves an understanding of 

how drug designers use atomistic relationships between receptor and drug molecules to elucidate possible beneficial 

structural changes to direct the molecular‐level development of the next generation of drugs. 

   

Page 12: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

Example: SLO3 was assessed in 2012 

Artifact:  

DEPARTMENT OF CHEMISTRY UNIVERSITY OF KENTUCKY 

CHE 572∙002 Spring 2012 

LEARNING OUTCOMES ASSESSMENT 

As an assessment of UK Chemistry’s teaching effectiveness, we want to determine how close our graduating 

seniors are to some of our instructional goals. Five multi‐part questions are presented below. The next time CHE 572‐

002 meets on April xx, 2012, we will ask you to answer these questions in short answers and complete sentences. 

Write in advance on one 8.5" x 11" page to help you formulate your answers.  

Your performance on this exercise will not affect your grade in CHE 572‐002. Thank you for helping improve UK 

Chemistry.  

=================================================================== 1. In your education here at the University of Kentucky did you ever have to search the primary literature* for 

chemical information?  

For a definition of 1° vs. 2° vs. 3° literature see: http://grinnell.unh.edu/primarylit.html 

a. In which courses do you recall having to search the primary literature?  

b. Which courses were most instructive in teaching you to search the literature?  

c. Do you feel comfortable mining the literature for chemical information?  

 

2. Describe where you would start searching for chemical information about 2a and 2b in modern times.  

a. If you wanted to synthesize and purify 2a, where would you look first?  

b. If your search would differ, how would your search differ given the differences in chemical 

composition between 2a and 2b?  

c. Given the differences in chemical composition where do you think you would find these two 

molecules described in the chemical literature.  

3. Given what you now know about literature searching can you advise when and how freshmen or 

sophomores could receive better instruction in finding chemical information?  

4. Do you routinely use computer software to draw and include chemical equations and structures in your 

documents? When did you learn to do this in your time at UK or before? What kind of an impact did this 

Page 13: Chemical Literacy Critical Thinking · quantitative versus qualitative analysis, and the application of these concepts to problems such as environmental, health‐related, and product

 

 

ability have on your education in terms of your ability to prepare presentations, class assignments and 

reports?  

5. Do you use software to represent x‐ray structures, energy‐minimized chemical structures or biochemical 

structures in 3D for modeling purposes to better understand concepts or problems? Do you think more 

formal instruction in this area would have been beneficial and/ or enjoyable for you?  

6. Please comment further about this general subject if anything occurs to you.