Estudo de caso: Acesso a transporte público aumenta a taxa de emprego?1

Introdução

A República de Atlantis está considerando expandir o acesso ao transporte público por todo o país com a expectativa de levar desenvolvimento econômico e melhorar o bem estar de todos os cidadãos, especialmente daqueles inseridos no mercado de trabalho. Atualmente, em muitas cidades de Atlantis, as oportunidades de emprego são principalmente encontradas em uma parte da cidade, mas a maioria dos desempregados mora longe, em áreas diferentes da cidade. A República de Atlantis prevê que uma melhoria no acesso ao transporte público poderá permitir às pessoas viajar facilmente de uma parte das cidades para outra, permitindo à população que mora em uma região afastada assegurar e manter seu emprego em outra parte da cidade e, desta forma, aumentar a empregabilidade em toda Atlantis. Antes de iniciar esta nova política, eles desejam ter evidências de que facilitar o acesso ao transporte público irá ter um impacto direto e significativo sobre o emprego.

Em 2014, o Ministro dos Transportes decidiu trabalhar com uma ONG chamada Jubilee Jobs para iniciar um projeto piloto de uma nova proposta. Esta proposta tem como principal objetivo aumentar o acesso ao transporte público por meio de convites feitos a domicílios localizados em algumas partes do país para receberem transporte subsidiado através de um cartão com preço reduzido. Usando o cartão com preço da passagem reduzido, uma viagem de ônibus custa somente 75% do preço padrão. Um dos indicadores que o programa irá medir é a taxa de emprego. A República de Atlantis gostaria de examinar os resultados deste programa para ajudar a determinar se o programa deverá ser expandido para outras áreas do país.

1 Números foram inventados a propósito do estudo de caso, mas o desenho é baseado no seguinte artigo:Phillips, David. Getting to Work: Experimental Evidence on Job Search and Transportation Costs, Labour Economics, August 2014.

1

Histórico A equipe da ONG convidou 1.000 representantes de domicílios (em geral o chefe da família) para uma reunião nas prefeituras das áreas escolhidas das cidades selecionadas. A equipe da ONG explicou aos representantes como usar o cartão com preço de passagem reduzido durante as reuniões nas prefeituras e esclareceu que domicílios que decidissem usar o cartão seriam responsáveis por 75% do custo padrão da viagem, e o programa iria cobrir o custo restante.

A República de Atlantis gostaria de usar as informações recolhidas deste programa para responder à seguinte pergunta: a melhoria no acesso ao transporte público aumenta o nível de emprego? Como poderemos descobrir? 

Este estudo de caso toca nestas questões examinando vários métodos que podem ser usados para analisar o impacto de um programa ou intervenção. Apesar do contexto deste estudo de caso ser transporte público em Atlantis, as questões levantadas aqui também são válidas para a análise de impacto de outros programas em qualquer país em desenvolvimento.

Imagine que você foi contratado como consultor para trabalhar com a Jubilee Jobs. Para desenvolver uma série de evidências que eles possam usar como justificativa para implementar a política de acesso a programas de transporte público, uma avaliação de impacto será criada junto ao programa da Jubilee Jobs. Você foi contratado para implementar essa avaliação de impacto.

Por favor, complete questão 1 antes de prosseguir.******************************

2

Questão 1 para discussão – Qual é a pergunta principal que sua avaliação de impacto deve ser capaz de responder?

O melhor acesso ao transporte público aumenta empregabilidade?

Em dezembro de 2013, a Jubilee Jobs obteve uma lista de 1.000 domicílios com informações úteis sobre cada um deles, incluindo o número de membros, nível de escolaridade, renda mensal média e outras características observáveis.

Em janeiro de 2014, foram enviados convites para que 1.000 domicílios comparecessem a reunião na prefeitura que foi marcada em um período nos dois meses seguintes. Jubilee Jobs esclareceu que se o chefe da família não estivesse disponível, outro membro do domicílio poderia comparecer. Jubilee jobs também ofereceu para pagar pelo transporte e acomodação para todos os participantes.

Entre Janeiro e Março de 2014, uma reunião na prefeitura aconteceu em todas as comunidades. Ao final do ano, 403 domicílios usaram o cartão com preço reduzido, e 597 domicílios não usaram o cartão nem ao menos uma vez.

Jubilee Jobs concordou em compartilhar com você os dados correspondentes aos 1.000 domicílios envolvidos no programa de cartão com preço reduzido. Nós estamos pedindo para você usar estes dados para detectar o impacto do cartão com preço reduzido sobre emprego.

Método 1 – Diferença simples em emprego, entre domicílios que usaram o cartão com preço reduzido e aqueles que não utilizaram.

Assuma que os 403 domicílios que usaram o cartão com preço reduzido constituam o grupo de tratamento e os 597 domicílios restantes (ou seja, aqueles domicílios que participaram na reunião mas decidiram não usar o cartão com preço reduzido) representem o grupo de comparação. Se você deseja determinar o impacto do uso do cartão de preço reduzido sobre emprego, você pode verificar se domicílios que usaram o cartão tiveram taxas de emprego maiores que aqueles que não utilizaram.

Tabela 1: Porcentagem média de domicílios empregados por mês

… em domicílios que usaram o cartão

… em domicílios que não usaram cartão

Impacto estimado

Método 1:Diferença simples 64% 55% 9%**: estatisticamente significante a 5%

3

Por favor, complete a questão 2 antes de prosseguir.******************************

4

Questão 2 para discussão – Você acha que este método pode oferecer uma ideia precisa do impacto real do cartão sobre emprego? Por que sim, ou por que não? É possível que os domicílios que escolheram usar os cartões sejam diferentes daqueles que optaram por não utilizar os cartões?

Método 2 – Propensity Score para obter a diferença em emprego entre domicílios pareados.

Na Tabela 2 abaixo você pode ver que, quando o Método 1 é usado, os domicílios que usam o cartão apresentam uma diferença intrínseca em relação àqueles domicílios no grupo de comparação – ou seja, as médias das variáveis que capturam características observáveis são diferentes entre grupo tratamento e comparação. Para resolver isso, você pode tentar parear os domicílios baseando-se nas características observáveis e estimando o impacto como sendo a diferença no indicador chave entre domicílios pareados.

Isto requer o uso de análise estatística para designar um valor de propensity score para cada domicílio. O valor do propensity score é parecido a um ordenamento que é calculado tomando como base quão similares ou diferentes os domicílios são em uma série de variáveis. As variáveis usadas são: tamanho do domicílio, anos de escolaridade do chefe da família e renda mensal. O valor do propensity score é então utilizado para parear domicílios com valores similares de propensity score no grupo de tratamento (quando usaram o cartão), e do grupo controle (quando não usaram). Dessa forma você pode lidar com problemas relacionados às diferenças nas características do domicílio. Note na Tabela 2 abaixo que, quando se usa o pareamento por propensity score, o tamanho da sua amostra diminui devido ao fato de nem todos os domicílios serem utilizados. Isto acontece porque o método de pareamento por propensity score não utilizará aqueles domicílios para os quais não foram achados bons pares.

Tabela 2: Características do grupo tratamento e controle usando diferença simples e métodos de pareamento por Propensity Score.

Método 1: Simples Diferença Método 2: Pareamento por Propensity Score

Grupo ‘Tratamen

to’

Grupo ‘Control

e’

Diferença

Grupo ‘Tratamen

to’

Grupo ‘Control

e’

Diferença

Renda média mensal

1460 630 830* 1030 920 110

Tamanho do domicílio 4.2 6.7 -2.5* 4.5 4.7 -0.2Anos de escolaridade do chefe da família

10.5 5.3 5.2* 8.7 8.2 0.5

Tamanho da amostra 403 597 362 537

*: estatisticamente significante a 5%

Tabela 3: Porcentagem média mensal de domicílios empregados em 2014 usando Pareamento por Propensity Score

… em domicílios que usaram o cartão

… em domicílios que não usaram o cartão

Impacto estimado

5

Método 2:Propensity Score 62% 57% 5%*

*: estatisticamente significante a 5%

Por favor, complete a questão 3 antes de prosseguir.******************************

6

Questão 3 para discussão – Olhando a Tabela 2, o que notamos sobre as características observáveis quando mudamos do Método 1, Diferença Simples, para o Método 2, Pareamento por Propensity Score? Por que você acha que isso acontece?

Método 3 – Dupla Diferença ou "Diferença em Diferença" Comparação nas médias mensais de emprego, ao longo do tempo, entre domicílios que usaram cartões com preços reduzidos versus aqueles que não usaram o cartão.

Se você continua preocupado sobre as diferenças entre características de domicílios que utilizaram o cartão e aqueles que não utilizaram, você pode tentar estimar o impacto do programa usando uma abordagem de comparação por dupla diferença. Isto requer a mensuração de indicadores chave ao longo do tempo ou dados em painel para que você possa eliminar características não observáveis que não mudam ao longo do tempo. Este método pode estimar o impacto médio do programa entre domicílio tratamento (T) e controle (C) como mostrado a seguir.

DD=(T 2014−T2013 )−(C2014−C2013).

De fato, a lista de domicílio inclui dados mensais de emprego nos domicílios de 2012 a 2013, ou seja, antes do programa promovido pela Jubilee Jobs ser iniciado. O nível de emprego em um domicílio no passado pode ser um bom previsor do emprego futuro.

Em outras palavras, emprego médio mensal de um domicílio no passado pode ajudar a determinar qual será o nível de emprego no futuro. A Tabela 4 mostra este uso do nível de emprego dois anos antes da implementação do programa da Jubilee Jobs (2012 e 2013) e no ano em que o programa foi implementado (2014) para domicílios que usaram cartão de transporte (tratados) e para aqueles que não usaram (controle).

Tabela 4: Porcentagem média de pessoas empregadas por mês de 2012 a 2014… nos domicílios

que usaram o cartão de transporte

… nos domicílios que não usaram o

cartão de transporte

Diferença

Em 2014 64% 55% 9%

Em 2013 61% 54% 7%

Em 2012 60% 53% 7%

Diferença entre a média mensal de emprego em 2014 e 2013

3%(64-61)

1%(55-54)

2%*(3-1)

=(64-61) - (55-54)=(Diferença dupla)

*: estatisticamente significante a 5%

7

Por favor, complete a questão 4 e 5 antes de prosseguir.************************************************************

8

Questão 4 para discussão– Como você poderia utilizar o dado de emprego nos anos anteriores para melhorar a sua análise? Baseado na informação da Tabela 4, qual seria a sua nova estimativa para o impacto do cartão de redução do preço da passagem sobre o emprego?

Questão 5 para discussão– Você acha que o impacto estimado utilizando os métodos 1 a 3 representam o verdadeiro efeito causal dos cartões de redução da tarifa do transporte? Por que sim, ou por que não?

Método 4 – Experimento aleatório

Foi constatado que os 1.000 domicílios participantes foram escolhidos de maneira aleatória a partir de uma lista completa de todos os domicílios das áreas atendidas. Isto é similar ao sorteio aleatório feito em um experimento clínico, em que o tratamento/ medicamento é administrado aleatoriamente de modo que um grupo de pacientes recebe o medicamento, mas outro não. A lista completa inclui 7.000 domicílios. Nós podemos explorar este sorteio aleatório de 1.000 domicílios para estimar o impacto do cartão de redução da tarifa de transporte sobre o nível de emprego.

A ideia é que os 1.000 domicílios que são escolhidos para receber o cartão da Jubilee Jobs (agora referido como o grupo de “tratamento”) devem ser iguais aos outros 6.000 domicílios (agora referido como grupo de “controle”) em termos de características observáveis e não observáveis. A única diferença entre os grupos de tratamento e controle é que o primeiro grupo foi convidado pela Jubilee Jobs para receber o cartão de redução do preço da tarifa de transporte e o segundo não.

A Tabela 5 compara o grupo de “tratamento” e o grupo de controle no que diz respeito às características observáveis. A Tabela 6 mostra o impacto estimado do cartão comparando o nível médio de emprego mensal no grupo de tratamento e no grupo de controle.

Tabela 5: Características do grupo de tratamento e controle‘Grupo de

“tratamento” (convidado)

Grupo de “controle”(não convidado)

Diferença

Emprego médio mensal em 2013 58% 57% 1%Emprego médio mensal em 2012 57% 57% 0%

Renda média mensal 1020 990 30Anos de estudo do chefe do 7.9 7.2 0.7

Tamanho do domicílio 5.3 5.4 -0.1Tamanho da amostra 1,000 6,000

*: estatisticamente significante a 5 %

Tabela 6: Porcentagem média de domicílios empregados por mês em 2014Grupo “tratamento” Grupo “Controle” Impacto estimado

Método 4: Diferença simples aleatória 60.7% 60.1% 0.6%*: estatisticamente significante a 5 %

9

Please complete questions 10 through 12 before reading further.******************************

10

Questão 6 para discussão – Note que os dois grupos parecem ser bem similares na Tabela 5. Isto é o que você poderia esperar? Por quê? Como isto pode ser comparado com as características dos dois grupos quando analisados pelos métodos 1 e 2?

Questão 7 para discussão –Baseado nos resultados acima, você recomendaria a implementação da política de programas de transporte?

Conclusão

A Tabela 7 mostra o impacto estimado dos cartões de transporte sobre o nível de emprego usando os vários métodos discutidos nesse estudo de caso.

Tabela 7 – Resumo dos impactos estimados do cartão de redução de tarifaMétodo Impacto estimadoMétodo 1: Diferença simples 9.0%*Método 2:Pareamento com propensity score 5.0%*Método 3: “Dupla diferença” baseado em dados em painel 2.0%*Método 4: Experimento aleatório 0.6%*: estatisticamente significante a 5 %

Como você pode notar, nem todos os métodos geram os mesmos resultados. A escolha do método apropriado é, portanto, muito importante. O objetivo deste estudo de caso não é avaliar um programa específico que distribui cartões de redução da tarifa do transporte público, mas sim testar os vários métodos existentes neste contexto particular.

Na análise do programa, nós percebemos que aqueles que receberam o cartão tenderam a apresentar maior nível de emprego, mas que eles também tinham maior probabilidade de apresentar, em anos anteriores, maior taxa de emprego relativamente aos que não utilizam o cartão. Nós também podemos perceber que quando usamos propensity score para parear os domicílios, as características dos dois grupos não eram sempre iguais. Então, quando os métodos não aleatórios apontaram impactos positivos e estatisticamente significativos, podemos atribuir esse resultado ao “viés de seleção” (neste caso, uma seleção de domicílios que escolheram utilizar os cartões de redução na tarifa do transporte) e não a uma política bem sucedida de acesso a transporte público.

11

Aplicação para desenvolvimento

Viés de seleção é um problema que ocorre em muitas avaliações de programas. Pense em algum programa de desenvolvimento não aleatório que você avaliou recentemente ou viu ser avaliado. Discuta como o grupo participante do programa foi escolhido e como a “seleção” pode ter afetado a capacidade do avaliador de encontrar o verdadeiro impacto do programa.

Apêndice

Nota Técnica: Ajuste pelas taxas de adesão

A Tabela 5 mostra a simples comparação dos grupos de tratamento e controle quando o grupo de tratamento consiste em todos os domicílios que foram convidados a participar das reuniões nas prefeituras com Jubilee Jobs, e o grupo de controle consiste em todos os que não foram convidados. O impacto estimado não leva em consideração o fato de que 597 domicílios no grupo de “tratamento” foram convidados mas escolheram não participar do programa ao não utilizar os cartão de transporte.

Se nós desejamos estimar o impacto de utilizar o cartão de transporte de fato, em vez do efeito de “convidar” os domicílios a utilizarem os cartões, então nós precisamos ajustar a estimativa utilizando a técnica de Variáveis Instrumentais.

Uma possível forma de realizar esse ajuste é apresentada a seguir:

Estimativado Método 4 (Tabela 6 )Diferençana taxadeuso docartão deentre

grupode tratament econtroleEntão:

0.006403

1000− 0

6000 = .0149

Se vocês está interessado em detalhes técnicos deste apêndice, por favor, consulte o líder da equipe.

12