458-1703-2-pb

8/18/2019 458-1703-2-PB

1/11

1Faculdade Redentor, e-mail: [email protected] Redentor, e-mail: [email protected]

Faculdade Redentor, e-mail: [email protected]

AVALIAÇÃO PRELIMINAR DOS CURSOS DE GRADUAÇÃODE UMA INSTITUIÇÃO DE ENSINO SUPERIOR PRIVADA

UTILIZANDO ANÁLISE ENVOLTÓRIA DE DADOS E

RESTRIÇÕES AOS PESOS Darciane Alves Justino

1

Silvio Figueiredo Gomes Júnior 2

André Raeli Gomes 3

RESUMO

Em um mercado caracterizado por níveis cada vez maiores de competitividade e o surgimentode demandas mais complexas e em constantes mudanças para a manutenção das instituiçõesde ensino, faz crescer a percepção de que as abordagens padrões adotadas para a avaliação de

desempenho não são mais suficientes. O cenário atual requer análises multidimensionais e oreferenciamento de unidades eficientes através do estabelecimento de benchmarks. Este artigoconsiste em avaliar de forma quantitativa os cursos de graduação de uma Instituição de EnsinoSuperior (IES) Privada, localizada no interior do Estado do Rio de Janeiro, através dametodologia Análise Envoltória de Dados (DEA). Foi utilizada ainda a técnicas de restriçõesaos pesos para melhor avaliação destes cursos. A criação deste índice de eficiência fornece uminstrumento a mais aos gestores da IES para aperfeiçoamento do processo de ensino-aprendizagem.

Palavras-chave: Análise Envoltória de Dados, Cursos de Graduação, Eficiência, EnsinoSuperior

ABSTRACT

For the maintenance of educational institutions in a market characterized by high levels ofincreasing competitiveness and the emergence of more complex and changing demands,increases the perception that the standard approaches adopted for evaluating the performanceare no longer sufficient. The current scenario requires multidimensional analysis andreferencing of efficient units through the establishment of benchmarks. This article aims toassess quantitatively the undergraduate courses of a Private Higher Education Institution(IES), located in the Rio de Janeiro State using Data Envelopment Analysis (DEA)methodology. It's also used the weight restrictions techniques for better assessment of these

courses. The creation of this efficiency index provides an instrument to the managers of theIES for improving the teaching-learning process.

Keywords: Data Envelopment Analysis, efficiency, highcollege, undergraduate courses.

8/18/2019 458-1703-2-PB

2/11

1. Introdução

O desempenho das instituiçõeseducacionais tem sido objeto de diversasdiscursões por parte de profissionais da

área da educação, baseando seus estudosem análises qualitativas ou quantitativas.Enfoques variados de avaliaçãoeducacional podem ser encontrados nostrabalhos de Borges e Calderón (2011),Ferreira e Tenório (2010), Caiyunet al.(2011), Warren et al. (2012), Dong e Hu(2012), Jiang (2012) e Liu e Yu (2012).

Para Soares de Mello et al. (2001),uma avaliação real da eficiência na área daeducação é necessário uma metodologia

que alie a subjetividade da avaliaçãoqualitativa com a objetividade da avaliaçãoquantitativa. Os métodos quantitativos deapoio à decisão aplicados ao setor deensino apresentam a desvantagem dereduzida disponibilidade de dados, assimcomo dificuldade de incorporação devariáveis de natureza estritamentequalitativa. A abordagem da Análise porEnvoltória de Dados ( Data Envelopment Analysis – DEA), juntamente com outrosmétodos de pesquisa, vem sendoempregada na avaliação de desempenhodas escolas e universidades. Belloni (2000)utilizou DEA para avaliação da eficiênciaprodutiva de Universidades FederaisBrasileiras. Outros trabalhos que utilizamesta metodologia para cálculo de eficiênciaou benchmarks para professores, cursos einstituições de ensino são Angulo Mezaetal. (2012), Ahn (1987), Moita (2002), Lapae Neiva (1996), Lapa et al. (1995, 1997),Nunes (1998), Bessentet al. (1983),Tyagiet al.(2009), Jeon e Shields (2005),entre outros.

Segundo Panepucci (2003), oaumento da utilização de DEA no setoreducacional se deve ao fato deste setor sercomposto por múltiplos insumos emúltiplos produtos, permitindo assim autilização de DEA. Além disso, a liberdadeque DEA possui para atribuir pesos àsvariáveis, deixa o decisor mais confortávelao utilizá-la .

Neste contexto, o objetivo destetrabalho é determinar a eficiência dosdiferentes cursos de graduação de umainstituição de ensino superior privada (IES)localizada no Estado do Rio de Janeiro.

Esta IES completou 10 anos deatividades em 2012 e iniciou suasatividades com seis cursos de graduação:Engenharia Civil, Engenharia Mecânica,Nutrição, Fonoaudiologia, CiênciasBiológicas e Serviço Social. Em dezembrode 2006, a faculdade passou a oferecer doisnovos cursos: Fisioterapia e Sistemas deInformação. Em janeiro de 2008, afaculdade implantou mais quatro cursos:Engenharia de Produção, Administração,

Enfermagem e Arquitetura e Urbanismo.Em julho de 2011, iniciou o curso deDireito.

A IES busca oferecer sempre cursosde qualidade e por isso seu crescimentoacelerado vem se destacando em sua áreade influência. Por esta razão, odesenvolvimento de indicadores dequalidade é fundamental para que estainstituição atinja suas metas. E, nestesentido, a medida de eficiência dos seus

cursos de graduação com a utilização deDEA foi apoiada e encorajada pelosgestores da IES.

Para o desenvolvimento destetrabalho, foram analisados os cursos degraduação que formaram alunos nosegundo semestre de 2010.

2. Data Envelopment Analisys (DEA)

A Análise de Envoltória de Dados(do inglês Data Envelopment Analysis) éum método não-paramétrico, surgidoformalmente com o trabalho de Charnes etal. (1978), com o objetivo de medir aeficiência de unidades tomadoras dedecisão, chamadas DMUs ( Decision Making Units), na presença de múltiplosfatores de produção (inputs) e múltiplosprodutos (outputs).

As DMU´s caracterizam-se pordesempenhar tarefas semelhantes, ou seja,

8/18/2019 458-1703-2-PB

3/11

utilizam os mesmos insumos edesempenham as mesmas tarefas paraproduzir um mesmo produto, diferindo nasquantidades de recursos (inputs) utilizadose de produtos(outputs) gerados.

A técnica de construção defronteiras de produção e indicadores deeficiência produtiva teve origem notrabalho de Farrel (1957) e foi generalizadapor Charneset al. (1978), no sentido detrabalhar com múltiplos insumos emúltiplos produtos.

2.1. Modelos DEA Clássicos

Há dois modelos DEA clássicos:CCR (de Charnes, Cooper e Rhodes) eBCC (de Banker, Charnes e Cooper). Omodelo CCR (ou CRS - Constant Returnsto Scale), trabalha com retornos constantesde escala (Charnes et al., 1978). Em suaformulação matemática considera-se quecada DMU k , k = 1, ..., s, é uma unidade deprodução que utiliza n inputsxik , i =1, …, n,para produzir m outputsy jk , j =1, …, m.Esse modelo maximiza o quociente entre acombinação linear dos outputs e acombinação linear dos inputs, com arestrição de que para qualquer DMU essequociente não pode ser maior que 1.

Mediante alguns artifíciosmatemáticos, este modelo pode serlinearizado, transformando-se em umProblema de Programação Linear (PPL)apresentado em (1), onde ho é a eficiênciada DMU o em análise; xio e y jo são osinputs e outputs da DMUo; vi e u j são ospesos calculados pelos modelo para inputs e outputs.

max h o = u j y jo j =1

m

∑

sujeito a v i x io = 1i =1

n

∑ ( 1 )

u j y jk − v i x ik ≤ 0i =1

n

∑ j =1

m

∑ , k = 1,...,s

u j ,v i ≥ 0 ∀x , y

O modelo BCC (ou VRS – Variable Returns to Scale) considera situações deeficiência de produção com variação deescala e não assume proporcionalidade

entre inputs e outputs. Apresenta-se em (2)a formulação do problema de programaçãofracionária, previamente linearizado paraesse modelo (Bankeret al., 1984). Em (2)ho é a eficiência da DMUo em análise; xik representa o inputi da DMUk , y jk representao outpu tj da DMUk; vi é o peso atribuídoao input i, u j é o peso atribuído ao output j;u* é um fator de escala.

max h o = u j y jo j =1

m

∑ +u *

sujeito a v i x io = 1i =1

n

∑ ( 2 )

u j y jk − v i x ik ≤ 0i =1

n

∑ j =1

m

∑ , k =1,...,s

u j ,v i ≥ 0 ∀x , y

u * ∈ ℜ

A Figura 1 mostra as fronteiras

BCC e CCR para um modelo DEAbidimensional (1 input e 1 output ). AsDMUs A, B e C são BCC eficientes; aDMU B é CCR eficiente. As DMUs D e Esão ineficientes nos dois modelos. Aeficiência CCR e BCC da DMU E é dada,respectivamente, por E'E'''E''E' e

E'E'E''E' .

8/18/2019 458-1703-2-PB

4/11

I

O

A

BC

D

E

CCR

BCC

E’E’’ E’’’

Figura 1 – Fronteiras DEA BCC e CCRpara o caso bidimensional.Fonte: Biondi Neto, 2001.

Além de identificar as DMUseficientes, os modelos DEA permitemmedir e localizar a ineficiência e estimaruma função de produção linear por partes,que fornece o benchmark para as DMUsineficientes. Esse benchmark édeterminado pela projeção das DMUsineficientes na fronteira de eficiência. Aforma como é feita esta projeção determinaorientação do modelo: orientação a inputs (quando se deseja minimizar os inputs,

mantendo os valores dos outputsconstantes) e orientação a outputs (quandose deseja maximizar os resultados semdiminuir os recursos).

Em ambos os modelos acima, não éconsiderada nenhuma restrição aos pesosestipulados para os inputs e outputs, excetoserem estritamente positivos. Desta forma,o método tende a ser benevolente com asDMUs, estipulando pesos que asfavoreçam. Em muitos casos, a atribuição

de pesos zero empobrece a análise, poisdesconsidera a variável que prejudica aeficiência de uma DMU. Uma das formasde resolver este problema é com autilização de técnicas de restrições aospesos.

2.2. Restrições aos Pesos

A incorporação de julgamento devalor através de restrições aos pesos pode

ser dividida em três grupos de métodos,segundo Lins e Angulo-Meza (2000):restrições diretas nos pesos, regiões desegurança e restrições nos inputs e outpus virtuais.

2.2.1 Restrições Diretas aos Pesos

O enfoque de restrições diretas nospesos, desenvolvido por Dyson eThanassoulis (1988) e generalizado porRoll e Golany (1991), propõe oestabelecimento de limites numéricos aosmultiplicadores, com o objetivo de nãosuperestimar ou ignorar inputs ou outputs na análise. Este tipo de restrição pode levarà inviabilidade do PPL, uma vez que,estabelecer um limite superior ao peso deum input , implica em um limite inferior noinput virtual total do resto das variáveis, epor sua vez isso tem implicações para osvalores que podem tomar os inputs restantes. As equações (3) e (4) apresentamas formulações para os limites inferiores esuperiores dos multiplicadores dos outputse inputs, respectivamente.

II i ≤ v i ≤ SI i (3)

I i ≤ u i ≤ SO i (4)

2.2.2 Método de Regiões deSegurança

O método de Regiões de Segurança( Assurance Region – AR), desenvolvidopor Thompson et al. (1990), limita a

variação dos pesos a uma determinadaregião. As restrições da abordagem por ARsão de dois tipos: Tipo I (ou método Cone Rattio) e Tipo II.

Para o tipo I, é incorporada àanálise a ordenação relativa ou valoresrelativos de inputs e outputs, as equaçõesque representam as restrições estãoapresentadas em (5) e (6).

211 +++ ≤+ iiiii vvk vk (5)

8/18/2019 458-1703-2-PB

5/11

iiii vv β α ≤≤ +1 (6)

A região do segurança Tipo II,

apresentada por Thomponet al.

(1990)compreende restrições que relacionam ospesos dos inputs e dos outputs, conforme(7).

jii uv ≥γ (7)

2.2.3 Restrição aos Inputs e Outputs Virtuais

Outra forma de restringir a

liberdade dos pesos, conforme descrito porBranco da Silva e Soares de Mello (2005) ébaseada no fato de que a contribuição deum input à DMU é ii xv . Assim, um critério

de seleção pode ser o de incluir apenas osinputs e outputs que contribuem de“maneira significativa” aos custos totais ebenefícios relevantes a uma DMU. Aoinvés de restringir os valores dos pesos, sãodefinidas restrições à proporção do output virtual total da DMUj, utilizado pelo output

r, ou seja, a “importância relacionada” aooutput r pela DMUj, ao intervalo [ ]r r ϕ φ , ,com

r φ e r ϕ sendo determinados peloespecialista (Wong e Beasley, 1990). Arestrição no output r é apresentada em (8)

onde ∑=

s

r

rjr yu1

representa o output virtual

total da DMUj.

ϕ r ≤ u r y rj u r y rj r =1

s

∑

≤φ r (8)

Este artigo utiliza a técnica deregião de segurança tipo I para adeterminação dos pesos das variáveis etornar mais completa a análise dosresultados. Foi escolhida a técnica deregião de segurança tipo I pois esta exigemenos informações por parte dos decisores.Além disso, esta técnica trabalha com

informação ordinal ao invés de informaçãocardinal (BANA E COSTA et al, 2013).Este tipo de informação é menos precisa,gerando menos inviabilidade nadeterminação dos pesos das variáveis

(ALLEN et al, 1997).

3. Estudo de caso

Foram avaliados os cursos degraduação da IES, que formaram alunos nosegundo semestre de 2010. São eles:Engenharia Civil, Engenharia Mecânica,Nutrição, Fonoaudiologia, CiênciasBiológicas, Serviço Social e Fisioterapia.

A escolha das variáveis do modelotem como base os trabalhos de Senra et al.(2007), que propuseram um método paraseleção de variáveis que combina a boarelação causal e boa discriminação entre asDMUs chamada de método multicritério deseleção de variáveis e Andrade et al. (2009) que utiliza este mesmo método paraescolha de variáveis para avaliação decursos de graduação do CEDERJ (Centrode Educação à Distância do Estado do Riode Janeiro). O método de seleção devariáveis foi importante na definição davariável dos alunos ingressantes, pois,como os alunos podem ter reprovaçõesdurante o curso, o tempo de integralizaçãodo curso nem sempre é igual ao tempo queo aluno levou para concluir seus estudos.No entanto, Andrade et al. (2009) mostramque os dados relevantes são os referentesao primeiro semestre da respectiva turmaconcluinte, ou seja, como estão sendoconsiderados os formandos do 2o semestrede 2010, serão considerados osingressantes no 1o semestre de 2006 paracursos de 5 anos de duração e 1o semestrede 2007 para cursos de 4 anos de duração.

Desta forma, foram consideradas 3variáveis no modelo: 2 inputs e 1 output .Como inputs foram adotados o número dealunos ingressantes no 1o semestre do cursorelativo à turma que se formou (1o semestrede 2006 para cursos de 5 anos de duração e1o semestre de 2007 para cursos de 4 anos

8/18/2019 458-1703-2-PB

6/11

de duração) e o custo com professores no2o semestre de 2010. Cabe destacar que autilização do custo com professores emapenas 1 semestre deve-se ao fato destecurso possuir variação muito pequena de

um semestre para o outro dentro de ummesmo curso. A inclusão desta variável nomodelo deve-se ao fato desta instituição seruma instituição de ensino privada quepossui recursos limitados para operar.Desta forma, o controle dos custos possuiuma importante função para o sucesso dainstituição. Esta foi uma alteração emrelação ao trabalho de Andrade et al. (2009) que avaliarão uma instituição deensino pública. Como output foi

considerado o número de alunosconcluintes no 2o semestre de 2010.

A Tabela 1 apresenta a relação doscursos e os valores dos dados normalizadosde inputs e outputs utilizados no modelo,onde AI representa Alunos Ingressantes(input ) e AC representa alunos concluintes(output ).

Tabela 1: Dados do modelo.

Cursos AI Custos AC

Eng. Civil 5,81 17,41 5,8

Eng. Mecânica 11,62 13,35 8,38

Nutrição 22,09 17,68 27,74

Fonoaudiologia 6,74 9,58 7,74

Biologia 14,41 13,97 9,67

Serviço Social 31,62 13,67 34,83Fisioterapia 7,67 14,35 5,8

O modelo DEA utilizado foi oBCC, uma vez que se tem retornosvariáveis de escala e a orientação utilizadafoi output pois busca-se maximizar osoutputs para a mesma quantidade derecursos, ou seja, o objetivo da IES é oaumento do número de alunos formados e

não reduzir o número de alunosingressantes nos cursos.

Para a resolução dos PPL's dosmodelos DEA, utilizou-se o software SIAD(Sistema Integrado de Apoio à Decisão)

(ANGULO MEZA et al., 2005).

4. Análise dos Resultados

A seguir a Tabela 2 apresenta aseficiências obtidas para cada cursoavaliado.

Tabela 2: Eficiências.

DMU Eficiência

Engenharia Civil 1,000000

Engenharia Mecânica 0,594398

Nutrição 1,000000

Fonoaudiologia 1,000000

Biologia 0,545296

Serviço Social 1,000000

Fisioterapia 0,647920

Com base nos resultadosapresentados na Tabela 2 observa-se quequatro curso de graduação obtiverameficiência igual a 1 que, em DEA, são oscursos considerados eficientes: EngenhariaCivil, Nutrição, Fonoaudiologia e ServiçoSocial.

A Tabela 3 apresenta osbenchmarks para cada DMU ineficiente.Vale ressaltar que para as DMUs eficientesseus alvos são elas mesmas, por isso nãoaparecem na Tabela 3.

Tabela 3: Benchmarks.DMU Nutrição Fonoaudiologia

Eng.Mecânica

32% 68%

Biologia 50% 50%

Fisioterapia 6% 94%

8/18/2019 458-1703-2-PB

7/11

É interessante observar que, naTabela 3, somente os cursos de Nutrição eFonoaudiologia foram benchmarks para oscursos ineficientes, ou seja, os cursos de

Engenharia Civil e Serviço Social não sãobenchmarks para nenhuma outra DMU.Isto ocorre porque, apesar de seremeficientes, Engenharia Civil possui um dosmaiores valores de custos com professores

e o número de alunos ingressantes é muitobaixo. No entanto, o modelo o tornaeficiente pois consegue formar umaquantidade de alunos semelhante aonúmero de alunos que ingressou no curso,

mesmo tendo o maior custo. No caso docurso de Serviço Social, este consegueformar a maior quantidade alunos.

A Tabela 4 apresenta os pesosatribuídos a cada variável do modelo.

Tabela 4: Pesos das variáveis.DMU AI Custos AC

Engenharia Civil 0,3597 0,0000 0,1724

Engenharia Mecânica 0,1555 0,0000 0,1193Nutrição 0,0470 0,0000 0,0360


Biologia 0,1347 0,0000 0,1034

Serviço Social 0,0000 0,1920 0,0287

Fisioterapia 0,2246 0,0000 0,1724

Como DEA possui liberdade na escolha

dos pesos das variáveis, observa-se, pelaTabela 4, que o peso da variável custoobteve peso zero em todos os cursos excetoServiço Social, o que não é interessantepara a análise, pois deseja-se considerartodas as variáveis utilizadas. No entanto,devido ao problema das multiplicidadesdos pesos em DEA, é possível que existamoutras combinações de pesos onde nãohajam pesos nulos. Assim, esta análise nãoé conclusiva apesar de haver indícios de

não existirem outras combinações de pesosnestes casos.Segundo Soares de Mello et al.

(2006), quando, em DEA, há preferênciaentre os inputs e/ou outputs, por parte dosagentes de decisão, deve-se incorporarestes julgamentos de valores aos modelosDEA por meio de restrições aos pesos,associados aos inputs e/ou outputs dasunidades avaliadas.

Assim, foi utilizada a técnica de

regiões de segurança (AR) tipo I derestrições aos pesos. A restrição imposta aomodelo é que o peso da variável custo dosprofessores (u2) tem que ser maior ou igualao peso atribuído à variável número dealunos ingressantes (u1). A equação (9)apresenta a restrição adicionada ao modeloDEA.

v 2 − v 1 ≥ 0 (9)

Na Tabela 5 apresenta as eficiênciasatribuídas a cada curso após a utilização datécnica de restrições aos pesos no modeloDEA.

Tabela 5: Eficiências com restrições aospesos.

DMU Eficiência

Engenharia Civil 0,309083

Engenharia Mecânica 0,477727

8/18/2019 458-1703-2-PB

8/11

Nutrição 0,843121

Fonoaudiologia 1,000000

Biologia 0,464248

Serviço Social 1,000000Fisioterapia 0,68991

Analisando os resultadosapresentados na Tabela 5, observa-se queapenas dois cursos são consideradoseficientes: Fonoaudiologia e ServiçoSocial. A redução do número de DMU's

eficientes é uma característica da aplicaçãoda técnica de restrições aos pesos, poisaumenta-se as restrições do modelo

A Tabela 6 apresenta os pesosatribuídos por DEA para cada variável.

Tabela 6: Pesos das variáveis com restrições aos pesos.

DMU Ingressantes Custos Concluintes

Engenharia Civil 4,5975 4,5975 6,0052

Engenharia Mecânica 3,1821 3,1821 4,1563Nutrição 0,9613 0,9613 1,2556


Biologia 2,7576 2,7576 3,6019

Serviço Social 0,0000 0,0000 1,0000

Fisioterapia 4,5975 4,5975 6,0052

Observa-se pela Tabela 6 que, com a

utilização da restrição aos pesos, houveredução da quantidade de pesos nulos (comvalor zero). Além disso, o modeloconseguiu encontrar solução eficienteatribuindo pesos iguais para as variáveis de

input . Esta característica foi considerada

positiva pelos autores pois não se sentiamconfortáveis para definir qual variável eramais importante.

A Tabela 7 apresenta os Benchmarks para cada curso avaliado.

Tabela 7: Benchmarks utilizando restrições aos pesos.

DMU Fonoaudiologia Serviço Social

Engenharia Civil 59% 41%

Engenharia Mecânica 64% 36%Nutrição 7% 93%

Biologia 52% 48%

Fisioterapia 71% 29%

Observa-se que o fato dos cursos deNutrição e Engenharia Civil possuírem osmaiores custos (Tabela 1) faz com quedeixem de serem eficientes quando se

utiliza a técnica de restrição aos pesos pois,desta forma, o peso atribuído a estavariável deixa de ser nulo.

Outro ponto interessante é o cursode Nutrição possui como benchmark

8/18/2019 458-1703-2-PB

9/11

principal o curso de Serviço Social quepossui a quantidade de alunos ingressantese alunos concluintes aproximados,diferenciando apenas na variável custo dosprofessores.

Vale ressaltar ainda a baixaeficiência do curso de Engenharia Civilcom a utilização da técnica de restriçõesaos pesos. Isto ocorre porque o curso deEngenharia Civil possui o segundo maiorcusto com professores e um número baixode alunos ingressantes e alunosconcluintes.

5. Considerações Finais

A técnica DEA verifica se cadaunidade opera de maneira eficiente ou não,relativamente a um conjunto específico derecursos utilizados e de resultados obtidos,fazendo uma comparação entre unidadesque realizam tarefas similares, sem anecessidade de conhecermos qualquerrelação de importância (pesos) entre asvariáveis consideradas. Desta forma, DEAse mostrou bastante apropriado paraavaliação dos cursos de graduação da IESanalisada. Além disso, DEA auxilia nadefinição em estratégias de produção quemaximizem a eficiência das DMUsavaliadas, corrigindo as ineficientes atravésda determinação de alvos, o que pode serbastante útil para melhoria dos cursosestudados.

Vale ressaltar que este estudo éinovador na busca da eficiência dos cursosde graduação da IES em questão,permitindo assim uma visão geral destescursos de graduação, comparados entre si.

Como trabalhos futuros, pretende-setestar outras técnicas para maiordescriminação dos mod elos DEA como,por exemplo, a inclusão de DMUsartificiais ao invés da técnica de restriçõesaos pesos. Deseja-se também ampliar oestudo com a inclusão de novas variáveisconsideradas importantes ao estudo,definidas em acordo com os gestores daInstituição, além da inclusão de dados de

outros semestres, assim como dos demaiscursos que ainda não possuem alunosformados.

6. Agradecimentos

A FAPERJ e a IES pelo apoiofinanceiro.

7. Referências Bibliográficas

AHN, T. S. (1987) Efficiency and relatedissues in higuer education: a DataEnvelopment Analysis approach. Ph.D.Dissertation, The Universityof Texas at

Austin.ALLEN, R.; ATHANASSOPOULOS, A.;DYSON, R.G. e THANASSOULIS, E.(1997)Weightsrestrictionsandvaluejudgements in data envelopment analysis:evolution, developmentand futuredirections. AnnalsofOperationsResearch,vol. 73, 13-34.

ANDRADE, F. V. S.; BRANDÃO, L. C. eSOARES de MELLO, J. C. C. B. (2009)

Avaliação de um curso de matemática àdistância com modelos DEA e seleção devariáveis. Relatórios de Pesquisa emEngenharia de Produção da UFF, vol. 9, n.10.

ANGULO MEZA, L.; BIONDI Neto, L.;SOARES de MELLO, J. C. C. B. eGOMES, E. G. (2005) ISYDS – IntegratedSystem for Decision Support (SIAD –Sistema Integrado de Apoio a Decisão): asoftware package for data envelopment

analysis model. Pesquisa Operacional, vol.25, n. 3, 493-503.

ANGULO MEZA, L.; SOARES deMELLO, J. C. C. B. e GOMES JÚNIOR,S. F. (2012) Benchmarking DistanceLearning Centers with a MultiobjectiveData Envelopment Analysis Model.Advanced Topics in Applied OperationsManagement.ed. InTech, 183-200.

BANA e COSTA, C. A.;

8/18/2019 458-1703-2-PB

10/11

ANGULOMEZA, L. e OLIVEIRA, M. D.(2013) O método MacBeth e Aplicação noBrasil. Engevista, vol. 15, n. 1. 3-27.

BANKER, R. D.; CHARNES, A. e

COOPER, W. W. (1984) Some models forestimating technical scale inefficiencies indata envelopment analysis. ManagementScience, vol. 30, n. 9, 1078-1092.

BELLONI, I. (2000) Uma Metodologia deAvaliação da Eficiência Produtiva deUniversidades Federais Brasileiras. Tese deDoutorado, UFSC.

BESSENT, A. M.; BESSENT, E. W.;CHARNES, A.; COOPER, W. W.;Thorogood, N. C. (1983) Evaluation ofEducational-Program Proposals by Meansof DEA. Educational AdministrationQuarterly, vol. 19, n. 2, 82-107.

BIONDI NETO, L. (2001) Neuro-DEA -Nova Metodologia para Determinação daEficiência Relativa de UnidadesTomadoras de Decisão. Tese de Doutorado,Universidade Federal do Rio de Janeiro.

BRANCO da SILVA, B. P. e SOARES deMello, J. C. C. B. (2005) Modelo DEA

Aplicado aos Resultados das Olimpíadas deAtenas 2004. Anais do VIII SPOLM -Simpósio de Pesquisa Operacional eLogística da Marinha, Rio de Janeiro.

BORGES, R. M. e CALDERÓN, A. I.(2011) Avaliação educacional: O estado doconhecimento da revista ensaio: Avaliaçãoe políticas públicas em educação (1993-2008). Ensaio, vol. 19, n. 70, 42-56.

CAIYUN, S.; YICHEN, W. e JIANJUN, Z.

(2011) Model research on teachingevaluation for university teachers based ondevelopmental evaluation. Lecture Notes inElectrical Engineering, vol. 112, 149-154.

CHARNES, A.; COOPER, W. W. eRHODES, E. (1978) Measuring theefficiency of decision-making units.European Journal of Operational Research,vol. 2, 429-444.

DONG, S. S. e HU, Y. N. (2012) Theapplication effectiveness evaluation of theeducational equipment based on AHP.Advanced Materials Research, vol. 341-342 , 384-389.

DYSON, R. G. e THANASSOULIS E.(1988) Reducing weight flexibility in DEA.Journal of the Operational ResearchSociety, vol. 39, 563-576.

FARRELL, M. J. (1957) TheMeasurement of Productive Efficiency.J.R. Statisstic. Soc. A120, 253-290.

FERREIRA, R. A. e TENÓRIO, R. M.(2010) A construção de indicadores dequalidade no campo da avaliaçãoeducacional: Um enfoque epistemológico.RevistaLusofona de Educação, vol. 15, 71-97.

JEON, Y.; SHIELDS, M. P. (2005)Integration and utilization of publiceducation resources in remote andhomogenous areas: A case study of theupper peninsula of Michigan.Contemporary Economic Policy,vol. 23,n.4, 601-614.

JIANG, Q. Q. (2012) Teaching qualityevaluation based on covariance analysismethod. Lecture Notes in ElectricalEngineering, vol. 100, 1032-1037.

LAPA, J. S.; LOPES, A. L. M. e LANZER,E. (1995) Análise Envoltória de Dadosaplicada à avaliação de IES: determinaçãodos pesos relativos e valoração dosinsumos e produtos. XXVII SBPO -Simpósio Brasileiro de Pesquisa

Operacional, Vitória.LAPA, J. S.; BELLONI, J. A. e NEIVA, C.C. (1997) Medidas de desempenho deuniversidades acadêmicas de umaInstituição de Ensino Superior. RelatórioTécnico- Departamento de Engenharia deProdução e Sistemas, UFSC.

LAPA, J. S. e NEIVA, C. C. (1996)Avaliação em educação: comentários sobredesempenho e qualidade. Ensaio, vol. 4, n.12, 213-236.

8/18/2019 458-1703-2-PB

11/11

LINS, M. P. E. e ANGULO MEZA, L.(2000). Análise Envoltória de Dados eperspectivas de integração no ambiente deApoio à Decisão. Editora daCOPPE/UFRJ, Rio de Janeiro.

LIU, Y. e YU, J. (2012) A qualitativeanalysis and statistics of educationalevaluation results based on decision treealgorithm. AdvancedMaterialsResearch,vol. 433-440, 319-323.

MOITA, M. H. V. (2002) Um Modelo paraAvaliação da Eficiência Técnica deProfessores Universitários utilizandoAnálise de Envoltória de Dados.Dissertação de Mestrado em Engenharia

de Produção, Universidade Federal deSanta Catarina, Florianópolis.

NUNES, N. (1998) Avaliação da eficiênciaprodutiva de departamentos universitários:uma aplicação de Análise Envoltória deDados. Dissertação de Mestrado, UFSC.

PANEPUCCI, G. T. M. (2003) Avaliaçãode desempenho dos departamentosacadêmicos da UFSCar utilizandoAnáliseEnvoltória de Dados – DEA.

Dissertação de Mestrado em Engenhariade Produção, Universidade Federal de SãoCarlos, São Carlos.

ROLL, Y. e GOLANY, B. (1991)Controlling factor weights in DEA. IIETransactions, vol. 23, n. 1, 2-9.

SENRA, L. F. A. C.; NANCI, L. C.;SOARES de MELLO, J. C. C. B. eANGULO MEZA, L. (2007) Estudo sobremétodos de seleção de variáveis em DEA.

Pesquisa Operacional, vol. 27, n. 2, 191-207.

SOARES de MELLO, J. C. C. B.; LETA,F. R.; FERNANDES, A. J. S.; VAZ, M. R.;SOARES DE MELLO, M. H. C. eBARBEJAT, M. E. R. P. (2001) Avaliaçãoqualitativa e quantitativa: uma metodologia

de integração. Ensaio. Avaliação e PolíticasPúblicas em Educação, vol. 9, 237-251.

SOARES DE MELLO, J. C. C. B.;GOMES, E. G.; ANGULO MEZA, L.;SOARES DE MELLO, M. H. C. ESOARES DE MELLO, A. J. R. (2006)Engineering post-graduate programmes: aquality and productivity analysis. Studiesin Educational Evaluation, vol. 32, n. 2,136-152.

THOMPSON, R. G.; LANGEMEIER, L.N.; LEE, C. H.; LEE, E. e THRALL, R.M.(1990) The role of multiplier bounds inefficiency analysis with application to.Kansas Farming. Journal of Econometrics,vol. 46, 93-108.

TYAGI, P.; YADAV, S. P.; SINGH, S. P.(2009) Relative performance of academicdepartments using DEA with sensitivityanalysis.Evaluation and ProgramPlanning.Vol. 32,n. 2, 168-177.

WARREN, S. J.; DONDLINGER, M. J.;MCLEOD, J. e BIGENHO, C. (2012)Opening the Door: An evaluation of theefficacy of a problem-based learning game.Computers and Education, vol. 58, n. 1,397-412.

WONG, Y. e BEASLEY, J. (1990)Restricting Weight Flexibility in DEA.Journal of Operational Research Society,vol. 41, 829-835.

458-1703-2-pb

Documents