aula crp-0420-2015-04

133
COMUNICAÇÃO DIGITAL CRP-0420 AULA 04: BIG DATA

Upload: aulas-luli-crp-0357-crp-0422-e-crp-0420

Post on 12-Jan-2017

883 views

Category:

Education


1 download

TRANSCRIPT

Page 1: Aula CRP-0420-2015-04

COMUNICAÇÃODIGITAL

CRP-0420

AULA 04: BIG DATA

Page 2: Aula CRP-0420-2015-04

NA AULA PASSADA…CONTEÚDOS E DEBATES

Page 3: Aula CRP-0420-2015-04

TAREFAS:

Page 4: Aula CRP-0420-2015-04

PALESTRAS TED:DANIEL DENNETT, ELLEN JORGENSEN,

JOHANNA BLAKLEY, JUAN ENRIQUEZ,

LUCY MCRAE, MARTINE ROTHBLATT

Page 5: Aula CRP-0420-2015-04
Page 6: Aula CRP-0420-2015-04

FICÇÃOBEING JOHN MALKOVICH

BLACK MIRROR - S01E03 S02E01

Page 7: Aula CRP-0420-2015-04
Page 8: Aula CRP-0420-2015-04
Page 9: Aula CRP-0420-2015-04
Page 10: Aula CRP-0420-2015-04

DOCUMENTÁRIOS:FUTURESCAPE - S01E02

HORIZON:

MONITOR ME

HOW YOU REALLY MAKE DECISIONS

WHO'S AFRAID OF DESIGNER BABIES?

Page 11: Aula CRP-0420-2015-04
Page 12: Aula CRP-0420-2015-04

LEITURASCALIFORNIAN IDEOLOGY - BIT.LY/CD03-3

THE TRANSHUMANIST READER - PARTE 3

HUMAN NO MORE - CAPS 2, 4, 12

FREE WILL - CAP 1

CONSCIOUSNESS EXPLAINED - CAP 9

ANTROPOLOGIA DO CIBORGUE - CAP 3

Page 13: Aula CRP-0420-2015-04

PENSADOR DO TEMA:SAM HARRIS - BIT.LY/CD03-1

DANIEL DENNETT - BIT.LY/CD03-2

Page 14: Aula CRP-0420-2015-04

LEITURA (LIVRO)LINKED - CAPS 3 A 6

WHAT TECHNOLOGY WANTS - CAPS 3, 13

EMERGENCE - INTRO, CAPS 2 E 20

Page 15: Aula CRP-0420-2015-04

PROGRAMA:6/8 - CONTEXTO

13/8 - A COISA

20/8 - IDENTIDADE

27/8 - NADA (LDOC)

3/9 - BIG DATA

10/9 - SEMPÁTRIA

17/9 - EDUCAÇÃO

24/9 - CROWD*

1/10 - EXCLUSÃO

8/10 - CIBERATIVISMO

15/10 - GAMES

22/10 - VR, AI

29/10 - IOT, SMART CITIES

5/11 - NEURO E BIO

12/11 - HACK E CODE

19/11 - FABRICATION

26/11 - TENDÊNCIAS

3/12 - PECHA KUCHA 1+2

Page 16: Aula CRP-0420-2015-04

LDOC

Page 17: Aula CRP-0420-2015-04

DATACRACIAA VIDA NA INTERFACE

LULI RADFAHRER

CRP-ECA-USP

Page 18: Aula CRP-0420-2015-04

“TORNOU-SE EVIDENTE QUE O CHOQUE DO FUTURO

NÃO É MAIS UM PERIGO POTENCIAL DISTANTE, MAS

UMA DOENÇA AUTÊNTICA, DA QUAL PADECE UM

NÚMERO CADA VEZ MAIOR DE PESSOAS.

ESTE ESTADO PSICO-BIOLÓGICO PODE SER

DESCRITO EM TERMOS MÉDICOS E PSIQUIÁTRICOS:

É A DOENÇA DA MUDANÇA.

— ALVIN TOFFLER, 1970

Page 19: Aula CRP-0420-2015-04
Page 20: Aula CRP-0420-2015-04

NARRATIVA / SINFONIACONSTRUÇÃO COMO

FARSESCA, DRAMÁTICA, GRANDIOSA

Page 21: Aula CRP-0420-2015-04

1. O CAOS

Page 22: Aula CRP-0420-2015-04

DESPERTAR1.1. ABOMINÁVEL MUNDO NOVO? ANTROPOCENO - LONGEVIDADE - EVOLUÇÃO DO

COMPUTADOR - CIBORGUES - CHOQUE DO FUTURO

1.2. CAOS (DES) CONTROLADO TEMPO IRREAL - VÍCIO EM VELOCIDADE - ESTRESSE

ATOS REFLEXOS - PARADOXO DA EVOLUÇÃO

TECNOLÓGICA - UNABOMBER E SEU MANIFESTO

Page 23: Aula CRP-0420-2015-04

FALSA PREMISSA: CULPA DA TECNOLOGIA

1.3. TECNOLOGIAS E INTERNET SOCIEDADE TECNOCULTURAL - ETAPAS DA INTERNET

CICLOS DE VIDA DE TECNOLOGIAS

Page 24: Aula CRP-0420-2015-04

NINGUÉM A RECORRER

1.4. GATEKEEPERS EM CRISE FIM DO GATEKEEPER - LIVRO E IMPRESSO

PARÊNTESE DE GUTENBERG

Page 25: Aula CRP-0420-2015-04

DESINFORMAÇÃO E EXCLUSÃO

1.5. NOVOS APRENDIZADOS TECNOCRACIA E TECNOPÓLIO - ENVELOPAMENTO

APRENDIZADOS - ESCOLAS

1.6. EXCLUSÃO DIGITAL SUBDESENVOLVIMENTO TECNOLÓGICO

EXCLUSÃO CULTURAL - INICIATIVAS PRIVADAS

Page 26: Aula CRP-0420-2015-04

2. TECNOLOGIA

Page 27: Aula CRP-0420-2015-04

INVESTIGAÇÃO2.1. QUASE VIVA

TEORIA ATOR-REDE - ATORES TECNOLÓGICOS

2.2. EMERGÊNCIA GRAFOS - EMERGÊNCIA - REDES - NÚMERO DE DUNBAR

LEIS DE POTÊNCIA - INTELIGÊNCIA COLETIVA

SUPERORGANISMOS - O LIMIAR DA VIDA

Page 28: Aula CRP-0420-2015-04

QUESTIONAMENTO: PESSOAL

2.3. BIG DATA PRINCÍPIOS - VANTAGENS - PROBLEMAS

2.4. MENSURAÇÃO METADADOS - CORRETORES - FONTES

2.5. LIVRE ARBÍTRIO HEURÍSTICAS - NATUREZA - OBSTÁCULOS DIGITAIS

2.6. MODELOS MENTAIS SOCIEDADES - RECONHECIMENTO - FÉ

Page 29: Aula CRP-0420-2015-04

3. A VIDA NA REDE

Page 30: Aula CRP-0420-2015-04

QUESTIONAMENTO: SOCIAL

3.1. FUTURO DO PRETÉRITO IDEOLOGIA DA CALIFÓRNIA - OBJETIVISMO - ESTADO

3.2. O USUÁRIO E SUA EXPERIÊNCIA ATUAÇÃO - PROBLEMAS - DESIGN DE EXPERIÊNCIA

3.3. A VIDA COMPARTILHADA INDIVIDUALISMO - COMPUTAÇÃO SOCIAL - ALDEIA VS.

GLOBAL - CONFLITO DE GERAÇÕES - VIDA

COMPARTILHADA - IDENTIDADES MÚLTIPLAS - LACAN

3.4. IMATURIDADE E DOMINAÇÃO FACEBOOK E TV - INFANTILIZAÇÃO - ALGORITMOS

Page 31: Aula CRP-0420-2015-04

QUESTIONAMENTO: COMUNICAÇÃO

3.5. INTERFACES FLUXO - HCI - INTERFACES - NUI -MECÂNICA, DINÂMICA

E ESTÉTICA - PERCEPÇÃO - METÁFORAS E EXPRESSÕES

3.6. NARRATIVAS AUTOR - IMPORTÂNCIA - HISTÓRIAS PSEUDOINFANTIS

O VEROSSÍMIL - O INFINITO COMO CONTINUIDADE

Page 32: Aula CRP-0420-2015-04

4. INTERAÇÕES

Page 33: Aula CRP-0420-2015-04

FUTURO PRÓXIMO: HORIZONTES

4.1. INFORMAÇÃO ANTI-EXPERTS - SOBRECARGA - ATENÇÃO PARCIAL

CONTÍNUA - MULTITAREFA - MEMES - ALGORITMOS

MEMÉTICOS - A METÁFORA DA MÁQUINA

4.2. CRIADOS-FALANTES PRÓTESE RUIM - MOBILIDADE - AUTÔMATOS - INTERNET

DAS COISAS - COMPUTAÇÃO UBÍQUA - FABRICAÇÃO

4.3. CIDADES INTELIGENTES M2M - MÉTRICAS URBANAS - MUNDOS ESPELHO

APLICAÇÕES - SISTEMA OPERACIONAL URBANO

Page 34: Aula CRP-0420-2015-04

NOVAS DOMINAÇÕES4.4. INTELIGÊNCIA ARTIFICIAL

TESTE DE TURING E QUARTO CHINÊS - FILOSOFIA DA

MÁQUINA - MOORE E RETORNOS ACELERADOS - TIPOS

DE AI - SISTEMAS ESPECIALISTAS - MACHINE LEARNING

REVOLTA - PLASTICIDADE - 3 CENÁRIOS - SIMBIOSE

Page 35: Aula CRP-0420-2015-04

CONSCIENTIZAÇÃO E PERSPECTIVAS

4.5. DATASFERA DATASFERA - REALIDADE AUMENTADA - SEMÂNTICA

CÓDIGO - SOFTWARE LIVRE - HUMANIDADES DIGITAIS

4.6. DATACRACIA FEUDALISMO DIGITAL - E-GOVERNANÇA

PARTICIPAÇÃO - TRANSPARÊNCIA - DADOS ABERTOS

Page 36: Aula CRP-0420-2015-04

DATASFERAA PAISAGEM INVISÍVEL

Page 37: Aula CRP-0420-2015-04

UNIFICANDOESTAMOS NOS

COM O FLUXO DE DADOS

QUE NOS CERCA.

Page 38: Aula CRP-0420-2015-04
Page 39: Aula CRP-0420-2015-04

A DATASFERAMUDA A NATUREZA DA IDENTIDADE,

PRIVACIDADE, SEGURANÇA, CULTURA,

EDUCAÇÃO, CIVISMO E EMPREENDEDORISMO.

Page 40: Aula CRP-0420-2015-04

A FUSÃONÃO PRECISA SER FÍSICA,

CONTANTO QUE SEJA FUNCIONAL.

Page 41: Aula CRP-0420-2015-04

INTELIGENTESAGENTES

MUDAM CONHECIMENTO, LEI,SAÚDE E SOCIEDADE.

Page 42: Aula CRP-0420-2015-04

IDEOLÓGICO.CÓDIGO É

MAIS DIFÍCIL DE PERCEBER,

COMPREENDER E RESISTIR.

Page 43: Aula CRP-0420-2015-04

DATACRACIAALÉM DA BUROCRACIA

E DA DEMOCRACIA.

Page 44: Aula CRP-0420-2015-04

DATACRACIADEMOCRACIA É UM ÓTIMO REGIME,

MAS É VULNERÁVEL A MANIPULAÇÕES.

Page 45: Aula CRP-0420-2015-04

DATACRACIA

DEMOCRACIA, PLUTOCRACIA

OU TECNOCRACIA?

A COMBINAÇÃO DE TECNOLOGIA E MOVIMENTAÇÃO PÚBLICA

DETERMINARÁ O RESULTADO.

Page 46: Aula CRP-0420-2015-04

POLÍTICA DIGITALPRECISAMOS DE REPRESENTANTES

QUE ENTENDAM CÓDIGO.

Page 47: Aula CRP-0420-2015-04

O QUE FAZER?GOVERNOS: GARANTIR A TRANSPARÊNCIA.

CIDADÃOS, EMPRESAS E DESENVOLVEDORES: USAR OS DADOS, MOSTRANDO QUE HÁ DEMANDA E

HABILIDADE PARA INTERPRETÁ-LOS.

INSTITUIÇÕES DE ENSINO: PREPARAR ALUNOS E SE

PREPARAR PARA NOVAS LITERACIAS.

MÍDIA: TRANSITAR EM CONTEXTOS

MULTIDISCIPLINÁRIOS.

Page 48: Aula CRP-0420-2015-04

OBRIGADO.

Page 49: Aula CRP-0420-2015-04

EXTRASNÃO COUBE, TALVEZ FALE NA PRÓXIMA AULA.

Page 50: Aula CRP-0420-2015-04

DOCUMENTÁRIOALL WATCHED OVER

BY MACHINES OF LOVING GRACE

Page 51: Aula CRP-0420-2015-04
Page 52: Aula CRP-0420-2015-04
Page 53: Aula CRP-0420-2015-04
Page 54: Aula CRP-0420-2015-04
Page 55: Aula CRP-0420-2015-04
Page 56: Aula CRP-0420-2015-04
Page 57: Aula CRP-0420-2015-04
Page 58: Aula CRP-0420-2015-04
Page 59: Aula CRP-0420-2015-04
Page 60: Aula CRP-0420-2015-04
Page 61: Aula CRP-0420-2015-04
Page 62: Aula CRP-0420-2015-04
Page 63: Aula CRP-0420-2015-04
Page 64: Aula CRP-0420-2015-04
Page 65: Aula CRP-0420-2015-04
Page 66: Aula CRP-0420-2015-04
Page 67: Aula CRP-0420-2015-04
Page 68: Aula CRP-0420-2015-04

PONTOS A DEBATER:• OBJETIVISMO E IDEOLOGIA DA CALIFÓRNIA • CRISE DO CAPITALISMO INDUSTRIAL • COMMODITIZAÇÃO DE SENTIMENTOS • INVESTIMENTO CHINÊS • TEORIA DE SISTEMAS • GEODÉSICAS E A RESILIÊNCIA DA NATUREZA • COMUNAS HIPPIES • O MUNDO COMO UMA MÁQUINA • ECOSSISTEMAS • CONSUMO E CRISE NA ÁFRICA • GENE EGOÍSTA

Page 69: Aula CRP-0420-2015-04
Page 70: Aula CRP-0420-2015-04
Page 71: Aula CRP-0420-2015-04
Page 72: Aula CRP-0420-2015-04
Page 73: Aula CRP-0420-2015-04
Page 74: Aula CRP-0420-2015-04
Page 75: Aula CRP-0420-2015-04

BIOHACKING

Page 76: Aula CRP-0420-2015-04
Page 77: Aula CRP-0420-2015-04
Page 78: Aula CRP-0420-2015-04

DOCS HORIZON:PLAYING GOD

Page 79: Aula CRP-0420-2015-04

DOCUMENTÁRIOSSURPLUS

DIGITAL AMNESIA

Page 80: Aula CRP-0420-2015-04

BIG DATA

Page 81: Aula CRP-0420-2015-04

FUCKIN’ BIG DATA.

Page 82: Aula CRP-0420-2015-04
Page 83: Aula CRP-0420-2015-04
Page 84: Aula CRP-0420-2015-04

BIG FUCKIN’ DATA.

Page 85: Aula CRP-0420-2015-04
Page 86: Aula CRP-0420-2015-04
Page 87: Aula CRP-0420-2015-04

FERORMÔNIOTRANSAÇÕES ONLINE DEIXAM RASTRO OU

DIGITAL

Page 88: Aula CRP-0420-2015-04
Page 89: Aula CRP-0420-2015-04

DADOS ESTRUTURADOS PARA OPERAÇÕES AUTOMÁTICAS,

SÃO INFORMAÇÕES COM ALTO GRAU

DE ORGANIZAÇÃO, DE FORMA QUE

SUA INCLUSÃO EM UM BANCO DE

DADOS É TRANSPARENTE E

FACILMENTE ACESSÍVEL.

Page 90: Aula CRP-0420-2015-04

NÃO ESTRUTURADOS JÁ OS DADOS

PARECEM FICÇÃO CIENTÍFICA:

ELES NÃO TEM UM MODELO DE

REGISTRO PREDEFINIDO, ESTÃO

MISTURADOS OU NÃO ESTÃO

ORGANIZADOS DA FORMA ESPERADA.

SUA LEITURA RESULTA EM

IRREGULARIDADES E AMBIGUIDADES

QUE O TORNAM DIFÍCIL DE ENTENDER

POR SISTEMAS TRADICIONAIS.

Page 91: Aula CRP-0420-2015-04
Page 92: Aula CRP-0420-2015-04

DADOSESTRUTURADOS

• 2.7 ZETABYTES NO MUNDO DIGITAL

• FACEBOOK ARMAZENA E ANALISA MAIS DE 30

PETABYTES DE DADOS GERADOS POR USUÁRIOS.

• AKAMAI (MÍDIA PUBLICITÁRIA) ANALISA 75

MILHÕES DE EVENTOS POR DIA PARA DESCOBRIR

OS MELHORES LOCAIS PARA ANÚNCIOS.

• A MAIOR BASE DE DADOS DA AT&T TEM UM BANCO

DE DADOS DE 312 TERABYTES, COM 1,9 TRILHÕES

DE ITENS, INCLUINDO REGISTROS TELEFÔNICOS.

Page 93: Aula CRP-0420-2015-04

DADOSNÃO ESTRUTURADOS

• A CADA MINUTO, USUÁRIOS DO YOUTUBE

AGREGAM CERCA DE 300H DE NOVOS VÍDEOS.

• DROPBOX RECEBE DIARIAMENTE CERCA DE UM

BILHÃO DE DOCUMENTOS.

• ESTIMA-SE QUE A PRODUÇÃO DE DADOS EM 2020

SERÁ 43 VEZES MAIOR DO QUE ERA EM 2009.

• A CADA SEGUNDO CERCA DE 6000 MENSAGENS

ENVIADAS PARA O TWITTER, 500 MILHÕES/DIA.

• A NSA ESTÁ CONSTRUINDO UM DATA CENTER EM

UTAH COM CAPACIDADE ESTIMADA ENTRE 5

ZETTABYTES E "ALGUNS YOTTABYTES”

Page 94: Aula CRP-0420-2015-04
Page 95: Aula CRP-0420-2015-04

FACEBOOK:• 1,4 BILHÃO DE USUÁRIOS, 890 MILHÕES ATIVOS

DIARIAMENTE. 6% DO TEMPO GASTO NA INTERNET;

• 250 BILHÕES DE FOTOS, CRESCE A CERCA DE 350

MILHÕES POR DIA.

• USUÁRIOS COMPARTILHAM 4,75 BILHÕES DE ITENS

DE CONTEÚDO E 10 BILHÕES DE MENSAGENS/DIA.

• EMPRESAS TEM CERCA DE 50 MILHÕES DE

PÁGINAS ARMAZENADAS NO SERVIÇO DIGITAL.

• 100 TERABYTES DE DADOS ENVIADOS

DIARIAMENTE PARA O FACEBOOK.

Page 96: Aula CRP-0420-2015-04

BASE DE DADOS:CPU DE COMPUTADOR VS.

COMO FUNCIONA?

Page 97: Aula CRP-0420-2015-04

BASE DE DADOS:ALIMENTAÇÃO DE UMA

1ª FASE: FUNCIONÁRIOS

2ª FASE: USUÁRIOS

3ª FASE: MÁQUINAS

Page 98: Aula CRP-0420-2015-04

MUITOS DADOSE QUANDO SE TEM

QUASE INSTANTÂNEOS?

Page 99: Aula CRP-0420-2015-04

YOUTUBE E FACEBOOKOU SEJA: COMO FAZEM

ENTRE OUTROS?

COMO EVITAR UMA SOBRECARGA DO SISTEMA?

Page 100: Aula CRP-0420-2015-04

TRANSFERIDOSOS DADOS NÃO SÃO

PARA O PROCESSADOR

PROCESSADORES DIVERSOS

ANALISAM CONJUNTOS DE DADOS

Page 101: Aula CRP-0420-2015-04

HADOOPTECNOLOGIAS DE BIG DATA:

COMMODITY HARDWARE(QUALQUER LINUX BOX COMJVM BASTA)

FLEXÍVEL, ESCALÁVEL E BARATA

É O LEGO DOS DATA CENTERS

Page 102: Aula CRP-0420-2015-04

MAPREDUCETECNOLOGIAS DE BIG DATA:

TABELA DE REFERÊNCIA (INDICA O QUE CADA MÁQUINA FAZ COM OS DADOS)

TODAS AS TRANSAÇÕES SÃO

REGISTRADAS E ANALISADAS

POR PROCESSADORES EM PARALELO

Page 103: Aula CRP-0420-2015-04

REVOLUCIONAMHADOOP E MAPREDUCE

A ANÁLISE DE DADOS

RÁPIDO (SEM ENTRADA E SAÍDA)

COMPATÍVEL (DADOS BRUTOS, CRUS)

ARMAZENÁVEL EM MEMÓRIA FLASH

DAS AS TRANSAÇÕES SÃO

REGISTRADAS E ANALISADAS

Page 104: Aula CRP-0420-2015-04

BIG DATA:APRENDIZADO DE MÁQUINA E VISÃO COMPUTACIONAL

Page 105: Aula CRP-0420-2015-04

NOVO EMPIRISMO• TEORIA QUE DEFINE QUE O CONHECIMENTO

VEM PRIMARIAMENTE DA EXPERIÊNCIA.

• ELA ENFATIZA O PAPEL DA EVIDÊNCIA, DE

PREFERÊNCIA SENSORIAL, NA FORMAÇÃO

DAS IDEIAS SOBRE A NOÇÃO DE IDEIAS

INATAS OU TRADIÇÕES.

• É A BASE DO MÉTODO CIENTÍFICO

Page 106: Aula CRP-0420-2015-04

BIG DATA: PREVISÕES• APLICA ANÁLISES ESTATÍSTICAS PARA

ENORMES QUANTIDADES DE DADOS, A FIM

DE INFERIR PROBABILIDADES: PROCURAR OS

MELHORES SINAIS E PADRÕES À MEDIDA

QUE MAIS DADOS SÃO ALIMENTADOS, O QUE

LEVA A UMA NATURAL MELHORIA DE SEUS

RESULTADOS AO LONGO DO TEMPO.

Page 107: Aula CRP-0420-2015-04

RECOMENDAÇÕES• AMAZON: LIVRO IDEAL

• GOOGLE: WEBSITE MAIS RELEVANTE

• FACEBOOK: CONTEÚDOS COM BASE NAS

PREFERÊNCIAS DE SEUS USUÁRIOS

• WAZE: INDICAR CAMINHOS

• NETFLIX: NOVOS FILMES

• AS MESMAS TECNOLOGIAS PODERÃO SER

APLICADAS PARA DIAGNOSTICAR DOENÇAS E

RECOMENDAR TRATAMENTOS.

EFEITO SCHRÖDINGER: OBSERVAÇÃO E INFLUÊNCIA.

Page 108: Aula CRP-0420-2015-04

AMOSTRAGEM E ESCASSEZ

• A NECESSIDADE DE AMOSTRAGEM É FRUTO DE

ESCASSEZ DE INFORMAÇÃO, CARACTERÍSTICA DE

UMA ERA ANALÓGICA. USANDO AMOSTRAS MUITO

MAIORES, EM ALGUNS CASOS NA ORDEM DE

BILHÕES DE REGISTROS, OU ATÉ A BASE DE

DADOS INTEIRA, HOJE É POSSÍVEL IDENTIFICAR

DETALHES INVISÍVEIS, COMO SUBCATEGORIAS

GRANULARES QUE AMOSTRAS PEQUENAS NÃO

CONSEGUIAM AVALIAR SEM UMA GRANDE

MARGEM DE ERRO.

• PARADOXALMENTE, UMA BASE DE DADOS MAIOR

TAMBÉM LIBERA O PESQUISADOR DA BUSCA POR

Page 109: Aula CRP-0420-2015-04

BIG DATA E EXATIDÃO

• QUANDO O VALOR É MUITO GRANDE NÃO É

POSSÍVEL NEM RELEVANTE CONTÁ-LO TODO. POR ISSO É POSSÍVEL SE SATISFAZER COM

ESTIMATIVAS APROXIMADAS.

• NÚMERO DE AUTOMÓVEIS, CRIANÇAS OU ANIMAIS

DE ESTIMAÇÃO EM UMA CASA (VALORES PEQUENOS,

DISCRETOS E IMPORTANTES), VS. EM UMA CIDADE

OU O NÚMERO DE GRÃOS DE AREIA OU ESTRELAS.

• QUANDO O VOLUME É PEQUENO, CADA VALOR FAZ

DIFERENÇA E PRECISA SER COMPUTADO COM

EXATIDÃO. QUANDO MUITO GRANDE, A EXATIDÃO

NÃO FAZ SENTIDO NEM É RELEVANTE.

Page 110: Aula CRP-0420-2015-04

BIG DATA: DIREÇÃO GERAL

O QUE SE PERDE EM PRECISÃO NO

NÍVEL MICRO, GANHA-SE EM

PERCEPÇÃO NO NÍVEL MACRO.

Page 111: Aula CRP-0420-2015-04

PRINCÍPIOS: IMPRECISÃO

• AUMENTAR O VOLUME FACILITA A INEXATIDÃO.�

• NÚMEROS ERRADOS E AMOSTRAS CORROMPIDAS

SEMPRE PENETRARAM CONJUNTOS DE DADOS.�

• O QUE NUNCA FOI CONSIDERADO, APESAR DE

INEVITÁVEL, ERA APRENDER A VIVER COM ELES.�

• AO PARTIR DE AMOSTRAS PEQUENAS, BUSCAVA-

SE A MAIOR PRECISÃO POSSÍVEL. EM

AMOSTRAGEM, A BUSCA POR EXATIDÃO ERA

CRÍTICA, O QUE FAZIA COMPLETO SENTIDO. UM

NÚMERO LIMITADO DE DADOS PODERIA INCORRER

NA AMPLIFICAÇÃO DOS ERROS E REDUZIR A

PRECISÃO DOS RESULTADOS GLOBAIS.

Page 112: Aula CRP-0420-2015-04

PRINCÍPIOS: CORRELAÇÃO

• CORRELAÇÕES QUANTIFICAM RELAÇÕES

ESTATÍSTICAS ENTRE DOIS VALORES DE DADOS.�

• CORRELAÇÃO FORTE: QUANDO UM DOS VALORES

DE DADOS MUDA, HÁ GRANDE PROBABILIDADE DO

OUTRO TAMBÉM MUDAR.

• CORRELAÇÃO FRACA: QUANDO UM VALOR MUDA, O

OUTRO POUCO SE ALTERA.

• MESMO FORTES CORRELAÇÕES NUNCA SÃO

PERFEITAS.�É BEM POSSÍVEL QUE DOIS FATOS

PODEM SE COMPORTAR DE FORMA SEMELHANTE

APENAS POR COINCIDÊNCIA.

Page 113: Aula CRP-0420-2015-04

PRINCÍPIOS: REUTILIZAÇÃO

• ÀS VEZES O VALOR DE UMA BASE DE DADOS SÓ

PODE SER DESENCADEADO POR SUA COMBINAÇÃO

COM OUTRA BASE MUITO DIFERENTE,

DESCOBRINDO RELAÇÕES IMPENSADAS.�

• OS RESULTADOS NÃO ERAM DESCOBERTOS

ANTERIORMENTE PORQUE A AMOSTRA ESTUDADA

ERA MUITO PEQUENA, OU O PERÍODO DE TEMPO

COBERTO ERA CURTO DEMAIS, OU ERAM BASEADOS

EM DADOS AUTO-RELATADOS, COM ERROS.

• COM BIG DATA A SOMA É MAIS VALIOSA DO QUE

SEUS COMPONENTES INDIVIDUAIS.

Page 114: Aula CRP-0420-2015-04
Page 115: Aula CRP-0420-2015-04

QUATRO Vs: VOLUMEO TAMANHO DA BASE DE DADOS DETERMINA O VALOR

E POTENCIAL DOS DADOS EM QUESTÃO. EXEMPLOS:

• TRANSAÇÕES ARMAZENADAS AO LONGO DOS ANOS

• INTERAÇÕES DE MÍDIA SOCIAL

• SENSORES E COMUNICAÇÃO MÁQUINA-A-MÁQUINA

• SE NO PASSADO O VOLUME EXCESSIVO DE DADOS

GERAVA UM PROBLEMA DE ARMAZENAMENTO, COM

A DIMINUIÇÃO DOS CUSTOS OUTRAS QUESTÕES

EMERGEM, COMO A RELEVÂNCIA DAS RELAÇÕES EM

GRANDES VOLUMES DE DADOS.

Page 116: Aula CRP-0420-2015-04

QUATRO Vs: VELOCIDADE

• NOVOS DADOS SÃO ACUMULADOS A UMA

VELOCIDADE SEM PRECEDENTES, PRECISAM

SER ADMINISTRADOS EM TEMPO HÁBIL.

• SISTEMAS DE BIG DATA PRECISAM LIDAR

COM ENXURRADAS DE DADOS EM TEMPO

QUASE REAL;

Page 117: Aula CRP-0420-2015-04

QUATRO Vs:VARIEDADE

• DADOS HOJE CHEGAM EM DIVERSOS TIPOS E

FORMATOS. ESTRUTURADOS E NÃO-

ESTRUTURADOS, EM DIVERSAS MÍDIAS,

FORMATOS, TAMANHOS E FORMAS DE

INTERCONEXÃO.

• GERIR, FUNDIR E ADMINISTRAR DIFERENTES

VARIEDADES DE DADOS É FUNDAMENTAL;

Page 118: Aula CRP-0420-2015-04

QUATRO Vs:VERACIDADE

• A QUALIDADE DOS DADOS CAPTURADOS

PODE VARIAR MUITO.

• A PRECISÃO DA ANÁLISE DEPENDE DA

QUALIDADE DOS DADOS DE ORIGEM.

Page 119: Aula CRP-0420-2015-04

MAIS Vs:• VARIABILIDADE - FLUXOS DE DADOS PODEM SER

ALTAMENTE INCONSISTENTES, TANTO EM VOLUME,

COM PICOS PERIÓDICOS, QUANTO EM QUALIDADE.

• VALOR DA INFORMAÇÃO - INFORMAÇÕES PASSÍVEIS

DE ANÁLISE E CONVERSÃO EM MATERIAL APLICÁVEL

NA TOMADA DE DECISÃO.

• VIABILIDADE - A GESTÃO DE DADOS PODE SE

TORNAR UM PROCESSO MUITO COMPLEXO. OS

DADOS TEM QUE SER CONECTADOS E

CORRELACIONADOS, PARA QUE SEJA POSSÍVEL SE

EXTRAIR A INFORMAÇÃO DESEJADA.

Page 120: Aula CRP-0420-2015-04

METADADOS • "DADOS SOBRE DADOS"

PODEM SER DE DOIS TIPOS:

• ESTRUTURAIS, DIZEM RESPEITO AO PROJETO E

ESPECIFICAÇÕES DA ESTRUTURA DOS DADOS; E

• DESCRITIVOS, QUE DIZEM RESPEITO AO

CONTEÚDO DOS DADOS.

• UMA DAS PRIMEIRAS APLICAÇÕES DE METADADOS

FORAM FICHAS CATALOGRÁFICAS DE

BIBLIOTECAS.�À MEDIDA QUE A INFORMAÇÃO

TORNOU-SE CADA VEZ MAIS DIGITAL, METADADOS

TAMBÉM PASSARAM A SER USADOS PARA

DESCREVER DADOS DIGITAIS.�

Page 121: Aula CRP-0420-2015-04

RADICAL.Precisamos de transparência

Page 122: Aula CRP-0420-2015-04

PROPRIEDADECOMO RESOLVER O PROBLEMA DA

DOS DADOS?

IDENTIFICÁ-LOS COMPLETAMENTE

PODE SER UMA SOLUÇÃO?

Page 123: Aula CRP-0420-2015-04

BOLHA DE FILTRO.ISSO SEM LEVAR EM CONTA A

Page 124: Aula CRP-0420-2015-04

LIBERDADE E PRIVACIDADE?

TUDO É MUITO LINDO, MAS COMO FICAM

BIG DATA, PARA TER VALOR, PRECISA SER

BEM ADMINISTRADA.�

ELA NÃO SIGNIFICA INFINITUDE

AUTOMÁTICA NEM SUBSTITUTO PARA A

VISÃO. MUITO PELO CONTRÁRIO. MÁS ANÁLISES PODEM GERAR

RESULTADOS CATASTRÓFICOS.

Page 125: Aula CRP-0420-2015-04

FIMNÃO TEM AULA SEMANA QUE VEM.

Page 126: Aula CRP-0420-2015-04

TAREFAS:

Page 127: Aula CRP-0420-2015-04

TRABALHINHOS:CHEGA DE VÁRZEA.

Page 128: Aula CRP-0420-2015-04

TRABALHO FINAL:MELHORAR O MUNDO.

Page 129: Aula CRP-0420-2015-04

PALESTRAS TED:ALESSANDRO ACQUISTI, JOEL

SELANIKIO, JESSICA DONOHUE,

CHRISTOPHER SOGHOIAN, JEAN-

BAPTISTE MICHEL, ANNE MILGRAM,

MALTE SPITZ

Page 130: Aula CRP-0420-2015-04

FICÇÃOGATTACA

MINORITY REPORT

ENEMY OF THE STATE

MR. ROBOT - S01E01

Page 131: Aula CRP-0420-2015-04

DOCUMENTÁRIOS:HORIZON: THE AGE OF BIG DATA

THE HUMAN FACE OF BIG DATA

WALL STREET CODE - BIT.LY/CD04-3

Page 132: Aula CRP-0420-2015-04

LEITURASDATABASE NATION - CAPS 2, 8, 11

TAMING BIG DATA TIDAL WAVE - CAPS 3 E 4

BIG DATA NOW - CAPS 2 E 5

DATACLYSM - CAPS 13, 14

SOCIAL PHYSICS - CAPS 1, 3, 10

PRIVACY IN THE AGE OF BIG DATA - CAPS 1 E 5

BIGA DATA: A REVOLUTION - CAPS 2, 3 E 9

Page 133: Aula CRP-0420-2015-04

PENSADOR DO TEMA:SANDY PENTLAND - BIT.LY/CD04-1

STEPHEN WOLFRAM - BIT.LY/CD04-2