workshop de surveys
DESCRIPTION
Workshop dado no UOL sobre a construção, utilização e análise de questionários online (surveys).TRANSCRIPT
Workshop de Surveys
Agenda
214/04/2023
- O que é? Quando usar? (14:00 – 14:15)
- Processo (14:15 – 14:25)
- Desenvolvendo um questionário (14-25 – 15:25)
* Respiro * (15:25 – 15:40)
- Avaliando questionários (15:40 – 16:00)
- Hands-on time! ( 16:00 – 16:20 )
- Amostra, Recrutamento e Incentivos (16:20 – 16:40)
- Análise( 16:40 – 16:50 )
- Reportando os resultados (16:50 – 17:00)
14/04/2023 3
O que é? Quando usar?
O que é?
14/04/2023 4
O que é Survey?
514/04/2023
• Survey = levantamento de dados.
• “Método para coletar informações de pessoas acerca de suas ideias, sentimentos, planos, crenças, bem como origem social, educacional e financeira” – (Fink & Kosecoff, 1985, p. 13)
O que é Questionário?
614/04/2023
• Questionário = instrumento utilizado no survey.• “Um conjunto de perguntas sobre um determinado
tópico que não testa a habilidade do respondente, mas mede sua opinião, seus interesses, aspectos da personalidade e informação biográfica” – (Yaremko, Harari, Harrison & Lynn 1986, p. 186)
Tipos de Surveys
• Formulários online• Formulários em papel auto-
administrados (questionários)• Entrevistas estruturadas• Entrevistas estruturadas pelo
telefone• Enquetes• Aplicações podem ser
diversas
Tipos de Entrevistas
• Estruturada (nível fácil): o entrevistador se mantém fiel ao roteiro e não explora assuntos que podem surgir durante a entrevista.
• Semiestruturada (nível moderado): o entrevistador possui um roteiro dos tópicos ou perguntas e pode explorar as respostas se achar necessário.
• Não estruturada (nível difícil): o entrevistador apenas tem um assunto e realiza perguntas de modo flexível. Pode explorar e se aprofundar nos assuntos.
Quando usar ?
Estratégia DesignPós
Lançamento
- Medir e dimensionar:- Requisitos de usuário.- Preferências.- Funcionalidades.- Segmentação dos
consumidores.
- Feedbacks quantitativos em protótipos
- Satisfação e adoção do produto
Quando usar ?
• Quando você sabe o que quer: dados quantitativos e/ou dados
qualitativos de atitudes, crenças, opiniões, preferências,
motivações – comportamento self-reported.
• Observar o atual comportamento não é relevante, ou você
pode fazer pesquisas de campo/testes de usabilidade para
complementar os dados levantados.
• Você quer atingir um grande número de pessoas para derivar
um comportamento padrão de todo o público.
• Quando você tem tempo e budget suficientes.
• Quando você tem acesso aos
consumidores/prospects/usuários.
Quando usar ?
- Meio fácil de coletar dados qualitativos
- Meio fácil para coletar respostas abertas de muitos respondentes.
- Flexível (telefone, web, e-mail, papel)
- Facilmente combinado com outras técnicas (observação, focus groups, testes de usabilidade).
- Exige conhecimento específico (amostra, análise dos dados,...)
- Pode levar bastante tempo (mais do que você imagina)
- Não é o melhor meio de avaliar usabilidade (o que as pessoas dizem não é o que elas fazem – combinar com observação)
Prós Contras
14/04/2023 12
Processo
Processo
Processo
• Entender:– Objetivos a serem estudados– O que deve ser melhorado (site, alguma interação
específica...)– Público-alvo (demográfico, background ou comportamental)
• Pesquise:– Brainstorm com o time possíveis questões e abordagens– Revisar pesquisas anteriores– Entrevistar interessados e acordar um objetivo comum na
pesquisa– Os dados já existem em algum lugar?
Processo
• Comece por um outline!
Tópicos:
- Esclareça os objetivos,- Análise (qual o formato de
resultado é esperado?)- Incentivos,- Como os participantes
serão recrutados- Como será feito o convite- Tamanho da amostra- Metodologia- Duração- Questionário
Ética na Pesquisa
• Resolução 196/96: diretrizes e normas para pesquisa com seres humanos.
• Baseada em 4 princípios: autonomia, não-maleficência, beneficência e justiça.
14/04/2023 17
Desenvolvendo um questionário
Seções de um Questionário
Introdução
Demográficas
Questões
Introdução
• Dê instruções para o preenchimento (140 caracteres)
• Exponha como serão exibidas as questões obrigatórias (opcional)
• Garanta a privacidade dos dados que estão sendo solicitados.
• Permita que o usuário desista do preenchimento.
Demográficas
• Questões demográficas devem ser colocadas somente se houver realmente um objetivo pra elas.
• Coloque primeiro as questões que filtram os respondentes (que vão delimitar se a sequência de preenchimento é obrigatória).
• Considere mensagens de conclusão: se terminou preenchimento, se qualificou para responder toda a pesquisa.
Formulando as questões
• Use a abordagem de funil (perguntas gerais para específicas),
• Comece com perguntas fáceis,• Considere iniciar a pesquisa com questões
de pré-teste,• Mantenha as questões e sessões curtas –
evite o cansaço!• Inclua instruções e um exemplo,• Não pergunte sobre comportamentos
repetitivos ou não marcantes,
Objetividade é a palavra-
chave!
Curva aproximada do esquecimento
Formulando as questões
• Sempre inclua uma opção “outros” de resposta:– Eu não sei– Prefiro não responder– Todas anteriores
• Utilize linguagem familiar – pense nas questões como uma conversa,
• Mostre apenas dados mutuamente excludentes,• Evite: questionar tendenciosamente ou guiar,• Evite: Questões que “aparecem” após alguma
seleção• Evite: Palavras com significado vago
Formulando as questões
• Pergunte “o quanto você...” em vez de “você...”
• A ordem dos itens afeta as respostas,• Varie as respostas, use termos
negativos,• Faça uma pergunta mais de uma vez,
em momentos diferentes da pesquisa,• Utilize questões tanto fechadas quanto
abertas.
(embora inconsciente e automaticamente)
Fonte: Reeves, B., & Nass, C. (1996). The media equation: How people treat computers, television and new media like real people and places. Cambridge:
Cambridge University Press.
Evitando respostas educadas
• Crie uma distância entre o meio de avaliação e o objeto a ser avaliado:– Se possível, utilize papel ou
computadores separados– Linguagem (“nosso site” X “o site”)– Design da pesquisa, diferente do site– Sem branding ?
Nunca o entrevistador pode
- Influenciar respostas dos participantes com alteração da expressão facial, gestos ou entonação na voz.
Devemos ser totalmente Poker face!
Lembrete
• Nem sempre o que uma pessoa diz que faz é o que ela realmente faz.
• Algumas realmente esquecem e outras tentam passar uma boa imagem de si mesmas.
Neste caso, é bom observar o entrevistado enquanto ele realiza uma ou mais atividades (investigação contextual)
Dicas
• Conquiste o entrevistado no início.• Faça perguntas relevantes.• Pense no perfil de quem vai responder para não
criar perguntas complexas.• Não crie perguntas que pode ter mais de um
sentido.• Não induza o participante a responder o que
você quer.• Evite perguntas que fazem o participante pensar
muito para poder responder, ele não lembrará. Ao invés de perguntar quantas vezes no ano, pergunte quantas vezes no último mês.
Tipos de Perguntas
Fechadas- Utilizado para avaliar algo e obter um feedback rápido.
- Muito usado para obter dados quantitativos.
- Requer que o entrevistado conheça as respostas prováveis e escolha uma delas.- Restringe a abrangência do assunto.
Qual o horário que você almoça?
( ) 12h( ) 12h30( ) 13h
Tipos de Perguntas
Abertas- São exploratórias, ou seja, não há limitação para as respostas dos entrevistados.- É útil quando temos pouco ou nenhum conhecimento sobre um assunto.- Serve para coletar opiniões e fatos desconhecidos ou inesperados.- Análise das perguntas é complexa.- Mais utilizada para obter informações qualitativas.
Qual o horário que você almoça?______________________________________________________
Tipos de Perguntas
Semi-Abertas- É o misto da fechada com a aberta.
- O entrevistado seleciona uma possível resposta e faz a justificativa da sua escolha ou cita uma outra opção.- Permite que se entenda o motivo da opção escolhida.
Qual o horário que você almoça? Justifique sua resposta.
( ) 12h( ) 12h30( ) 13h
____________________________________________________________________
Tipos de Perguntas
Dicôtomica- São questões em que apenas temos uma variável boolena e oposta a outra como Sim/Não ou Concordo/Não Condordo.
- Pode também ter uma questão aberta de justificativa da opção escolhida ou mais uma opção caso a pessoa não saiba responder, como ( ) não sei
Você já comprou o livro de UX? Justifique sua resposta.( ) Sim ( ) Não
_________________
Tipos de Perguntas
Encadeadas- É quando a segunda resposta depende da primeira resposta.
- Podem ser fechada, aberta ou semi-aberta.- Utilizada quando uma pergunta tem um complemento em outra questão e que necessita de uma sequência lógica.
Qual dispositivo você mais usa?
( ) computador( ) smartphone( ) tablet
Se você escolheu a opção computador -> Quais sites você costuma acessar?Se você escolheu a opção smartphone -> Você possui conexão 3G?Se você escolheu a opção tablet -> Quais aplicativos você possui instalado?
Tipos de Perguntas
Ordem de preferência- Onde são apresentadas várias opções ao entrevistado e não há opção correta.
Numere as opções de acordo com sua preferência de horário para almoçar:
( ) 12h( ) 12h30( ) 13h( ) 13h30
Tipos de Perguntas
Múltipla Escolha- É quando se tem um conjunto de respostas válidas e deseja saber as.
- Utilizada para descobrir as atividades mais frequentes que o entrevistado faz.- Você pode limitar o número de opções.
Quais atividades você realiza diariamente? (marque até três opções)
( ) andar de bicicleta ( ) fazer caminhada( ) comer frutas ( ) dormir cedo( ) ir ao parque ( ) levar o cachorro para passear
Tipos de Perguntas
Faixas de Valores- Utilizado para questões delicadas como idade e salário, onde os participantes podem não querer responder o valor exato.- Lembre-se de não sobrepor valores como 20-30 / 30-40, onde o 30 aparece em duas opções.
Idade:
( ) abaixo de 21( ) 21-30( ) 31-40( ) 41-50
( ) 51-60
Tipos de Perguntas
Escala de Likert- Utilizado para opiniões, atitudes ou satisfação.
- A questão é uma afirmação. - Normalmente temos 5 respostas.
É fácil aprender sobre questionários através de um workshop:
( ) concordo plenamente( ) concordo parcialmente( ) não concordo nem discordo( ) discordo parcialmente
( ) discordo totalmente
Tipos de Perguntas
Escala de Diferenciais Semânticos- Utilizado explorar atitudes e opiniões bipolares.
- Normalmente temos 5 ou 7 respostas. Mas podemos ter um número par 4 ou 6 caso queremos evitar que as pessoas fiquem em “cima do muro”.
De acordo com sua opinião, o site é:
bonito ( ) ( ) ( ) ( ) ( ) feio
claro ( ) ( ) ( ) ( ) ( ) confuso
útil ( ) ( ) ( ) ( ) ( ) inútil
Entendimento errado da escala
NPS (Net Promoter Score)
• Pergunte a uma amostra aleatória de sua pesquisa sobre recomendações (com um campo aberto para explicações)
14/04/2023 42
* RESPIRO *
14/04/2023 43
Avaliando Alguns questionários
Avaliando alguns (1/3) questionários
• Uma pesquisa de uma página que questiona sobre o registro online de uma cidade, para serviços recreativos
Avaliando alguns (2/3) questionários
• Uma enquete sobre a capacidade dos candidatos a vice-presidente.
Avaliando alguns (3/3) questionários
• Uma parte de uma pesquisa feita pela HBO.
14/04/2023 67
Hans-on time!
• Descreva um outline de uma pesquisa para seu produto.– Objetivo: alguma
necessidade já levantada– Ou: conhecer seus usuários
e opiniões de uso.
14/04/2023 69
Amostra, Recrutamento e Incentivos
Tamanho da Amostra
Margem de erro
Tamanho da Amostra
Sample Size Calculator: http://www.surveysystem.com/sscalc.htm
Como os participantes serão recrutados
Fonte Prós Contra
Site independente - Garantia de encontrar uma amostra suficiente e efetiva para seus critérios,
- Incentivos geralmente já estão incluídos,
- Pode ser fácil manter pesquisas grandes.
- Respondentes podem ser “profissionais de pesquisa”,
- Pode ser caro
Usuários Registrados - Gratuito- Acostumados a receber e-mails
deste remetente- Investiu no site, então é mais
propenso a responder a pesquisa
- Pode precisar de um incentivo- Pode não aceitar pesquisas que
levem mais de 15 min para responder
- Alguns podem ficar bravos com o contato e reclamar (minoria)
- Pode não gerar uma amostra suficiente
Interceptações - Gratuito- Coleta respostas no contexto
de uso
- Pode levar bastante tempo para coletar respondentes suficientes,
- Podem não aceitar pesquisas que levam mais de 10 min para responder
- Pode utilizar o canal para reclamar do produto/serviço.
Aceitação da pesquisa se baseia em: esforço percebido, recompensa e confiança
Como será feito o convite
• Determine o script que será utilizado para convidar os participantes
• Lembre-se sempre de passar: confiança, a quantidade de esforço necessário e a recompensa
• Recompensa: non-cash
Incentivos
• A população é grande, como por exemplo uma pesquisa nacional,
• Uma resposta já gera informações suficientes para serem utilizadas (entrevista),
• O respondente pode levar o tempo que quiser para responder a questão,
• O propósito da entrevista é gerar dados de interesses gerais para os públicos,
• A pesquisa não contém questões controversas ou não consideradas intrusivas.
Quando não usar incentivos
Quando usar incentivos
• Quando a população de interesse é pequena,
• Compensar o participante quando há riscos envolvidos (p.e. questionar sobre atividades ilegais),
• Incentivar boa vontade quando houver alguma evidência de não cooperação,
• Intrusões ou solicitações não convencionais (entrevistas longas, manter um diário,...)
• Questões sensíveis são questionadas,• Há um “gatekeeper”• Envolve um período de pesquisa• O alvo são pessoas que geralmente são
alvos de pesquisas (CEOs,...)• O participante tem algum custo
envolvido,• Se há alguma organização que
geralmente paga para o público responder pesquisas (médicos,...)
Fonte: Conselho da Associação dos Profissionais de Estatísticas Federaishttp://www.copafs.org/seminars/use_of_incentives_five_questions.aspx
Incentivos
• Afeta diretamente:– Pode alterar a composição da amostra de
respondentes,– Pode mudar a estimativa dos resultados
comparativamente às respostas pagas X respostais reias (incluindo potencial efeito em respostas nulas ou como eles respondem.
– Ambos podem ser positivos ou negativos• Afeta indiretamente:
– Reduz os esforços de recrutamento,– Influencia as expectativas dos participantes,– Encoraja a falsificação entre alguns participantes.
Incentivos
• Quanto?• Quando? Pré-pagas X Pós-pagas• Como? Cash ou Cash-equivalent• Incentivos diferenciais pelo público-
alvo?• Uso de condicionais para recebimento
dos incentivos (%)
14/04/2023 78
Análise
Análise
• Estatística descritiva:– Sumarizar os dados (frequência, média,
derivação, etc..)• Estatística inferencial:
– Projeta conclusões sobre uma população a partir de uma amostra,
– Assume uma probabilidade,– Permite a estimativa de erros.
Um pouquinho de estatística básica....
• Probabilidade– Jogue uma moeda: probabilidade de cara X
coroa ?– Chance de seus resultados serem uma
casualidade– Vezes que a moeda for jogada (tamanho da
amostra) importa• Erro
– Diferença entre o que a população quer dizer, e o que sua amostra quer dizer.
– Quanto maior for sua amostra, o erro diminui, e a confiança aumenta
Mais um pouquinho de estatística básica...
• Estimativa de erro– Nível e intervalos de confiança
• Ex: Nós estamos 95% confiantes que a nossa amostra estatística (80% de preferência por incluir uma funcionalidade de busca) é entre + ou – 5% do parâmetro da população.
• Auxilia a determinar o mínimo da amostra
• Correlação– Pesquisas são boas para medir fortes
associações entre variáveis• Ex: A correlação entre Usable e Enjoyable foi .83.
Margem de erro
Mais um pouquinho ainda!
• Desvio padrão
Mais um pouquinho ainda!
• Tabulação cruzada
http://www.custominsight.com/articles/crosstab-sample.asp
- Formule hipóteses
- Procure pelo que NÃO está lá
- Procure pelo obvio
- Mantenha a mente aberta
- Confie nos dados
- Observe o “n”
Vc quer saber mais né?
14/04/2023 85
Reportando os resultados
Reportando os resultados• Resumo executivo *• Pesquisas anteriores, hipóteses e objetivos• Metodologia utilizada• Resultados• Discussão• Recomendação• Anexos: Formulário, Dados, Detalhamento
da Análise
Reportando os resultados
• Dicas:– Faça um relatório de resultados conciso,– Utilize gráficos para enfatizar os pontos
principais,– Inclua screenshots,– Reporte tanto resultados positivos quanto
negativos,– Evite jargões,– Distribua um PDF,– Armazene em um lugar acessível para futuras
consultas.
Checlist para lançamento
• Confirme a origem da amostra,
• Faça um teste de QA no formulário,
• Valide com os interessados,
• Decida sobre os incentivos e organize a logística,
• Crie um template de email
• Receba uma aprovação oficial
• Faça um teste de QA no email
• Disponibilize um email / telefone para suporte
• Launch!
Av. Brig. Faria Lima, 1.384, 4º andarCEP 01452-002 . São Paulo/SP
Telefone: 11 3914.9559 www.uol.com.br
14/04/2023 89
Obrigado ;-)Equipe de Concepção & Interface de Produtos – P&D