colóquio no Big Data Festival mundial

Para quem não sabe, está ocorrendo o Big Data Festival, que reúne palestras, cursos, etc. sobre o tema ao redor do mundo.

Dentro do calendário de eventos desse festival , nesta quarta-feira, dia 20 de novembro, vou apresentar o colóquio 'Big Data: Uma proposta didática para seu uso no Ensino de Física' às 18h30 no auditório do prédio 1 da Ubra - Universidade Luterana do Brasil, Campus Canoas.

Tanto quanto eu pude verificar, será o único evento na América do Sul!

Estão todos convidados.

Somos todos vigiados na internet

Em junho passado, fui contactado por Rafael Waltrick, repórter do jornal A Gazeta do Povo, de Curitiba.

Ele estava escrevendo uma matéria sobre as questões da perda de privacidade na Web, logo após o escândalo do PRISM e as denúncias do Snowden, havia lido este post anterior meu sobre Big Data e queria me entrevistar sobre essas questões.

A matéria saiu dia 16 de junho de 2013, com o título Somos todos vigiados na internet, à página 4 do primeiro caderno.

Fonte: Somos todos vigiados na internet. A Gazeta do Povo. 16 jun. 2013.

A matéria traz discussões e infográficos interessantes sobre o tema e, claro, um trecho da nossa conversa telefônica:

O pesquisador do Programa de Pós Graduação em Ensino de Ciências e Matemática da Ulbra (Porto Alegre) Renato Pires dos Santos lembra que ferramentas fornecidas pelo Google, que permitem estudos aprofundados, são parte de uma estratégia para justificar o monitoramento de dados. “Hoje, 90% do faturamento do Google vem da publicidade, que é diferenciada justamente por causa desse armazenamento de informação, o que permite um direcionamento de público muito superior. Ou seja, o Google faz algo questionável e depois divide parte dos dados para minimizar o lado ruim dessa prática”, explica.

Big Data ou Admirável Gado Novo?

Voltando à ferramenta Google Correlate que eu já havia abordado em post anterior, andei fazendo mais algumas experiências, com resultados curiosos:

Por exemplo, introduzi dados temporais gerados com a função do Excel 'fração do ano' que retorna a fração de dias que resta do ano em qualquer data. Ela produz um gráfico em forma de dente-de-serra, com máximo em 1 de janeiro e mínimo em 31 de dezembro.

O termo de busca que melhor se correlacionou (com um R^2 de 0.8907) foi 'mother of the bride' (mãe da noiva), seguido de 'bride dresses' (vestidos de noiva), 'flower girl dresses' (vestidos para aia) e outros relacionados com a cerimônia de casamento, como se vê da lista abaixo.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'fração do ano'

O gráfico abaixo mostra a correlação com o termo 'mother of the bride' (mãe da noiva)

Gráfico da correlação entre dados temporais de 'fração do ano' e 'mother of the bride' no Google Correlate

Parece que nos EUA, a maior preocupação no Ano Novo é com vestidos de casamento, etc.

Quando usei os mesmo dados para o Brasil, obtive que os termos de busca que melhor se relacionam são 'emprego', 'carteirinha' (de estudante), 'queda de cabelo', 'alistamento militar', etc.

Temos de busca no Google cujas frequências melhor se correlacionam no Brasil com os dados temporais 'fração do ano'

com o correspondente gráfico

Gráfico da correlação entre dados temporais de 'fração do ano' e 'emprego' no Google Correlate no Brasil

Parece que as preocupações de Ano Novo dos brasileiros são bem diferentes das dos norte-americanos.

Outra experiência que fiz foi com os dados 'winter wave' do próprio Google Correlate, cujo gráfico é uma cossenoide com máximo no início do inverno e mínimo no início do verão.

Os termos que melhor se correlacionam são 'Nordica' e 'Dalbello' (conhecidas marcas de esquis), seguidos por 'wedding soup' (uma típica sopa italiana de natal), 'colds' (resfriado), etc.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'winter wave'

com o gráfico

Gráfico da correlação entre dados temporais de 'winter wave' e 'Nordica' no Google Correlate

O mesmo conjunto de dados aplicado ao Brasil resulta em termos associados a destinos de férias de verão, etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'winter wave'

com o gráfico

Gráfico da correlação entre dados temporais de 'winter wave' e 'Punta del Este' no Google Correlate no Brasil

Aproveitando a ideia, produzi os dados inversos, isto é, 'summer wave', que inseridos no Google Correlate, resultam nos termos de busca 'golf course' (percurso de golfe), 'tent' (tenda), 'dunk tank' (jogo de parques de diversão que faz uma garota cair num tanque d'água quando se acerta) e outros relacionados a atividades de férias de verão.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'summer wave'

com o gráfico abaixo para percurso de golfe.

Gráfico da correlação entre dados temporais de 'summer wave' e 'golf course' no Google Correlate

Aplicando os mesmos dados 'summer wave' para o Brasil, obtemos termos de busca principalmente associados a 'festa do peão', etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'summer wave'

com o gráfico para 'peão'

Gráfico da correlação entre dados temporais de 'summer wave' e 'peão' no Google Correlate no Brasil

Outra experiência foi uma série de dados senoidal com máximo no início da primavera do hemisfério norte (início do nosso outono) que, no Brasil, correlaciona aos termos de busca 'queda de cabelo' (!?), 'vestibular de meio de ano', 'moda outono', etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'spring wave'

Finalmente, outra experiência foi com uma série de dados senoidal com máximo no início do outono do hemisfério norte (início da nossa primavera) que, no Brasil, correlaciona aos termos de busca 'moda verão', 'moda primavera', 'inscrição vestibular', etc.

Concluo, com tudo isso, que, embora tenhamos plena liberdade de escolha em nossas buscas no Google, afinal somos, em conjunto, muito previsíveis.

Eh, ôô, vida de gado

como cantava Zé Ramalho em seu Admirável Gado Novo!

Big Data e Google Trends indicam queda no interesse pelos estudos ou pelo próprio Google?

Voltando à ferramenta de Big Data Google Trends que mencionei rapidamente num post anterior, ao contrário da Google Correlate que mencionei no post passado, nesta se introduz um termo de busca e ela retorna o gráfico temporal da frequência da consulta desse termo no Google.

Assim, por exemplo, introduzindo o termo de pesquisa 'Matemática' e restringindo as buscas ao Brasil, obtive o gráfico abaixo.

Gráfico da frequência de buscas do termo 'Matemática' no Brasil no Google

Inicialmente, nota-se uma clara tendência de redução de buscas ao longo do tempo, de 2004 até hoje, não sei se resultando de menor utilização do Google para pesquisas sobre Matemática ou de menor interesse em Matemática. O trecho pontilhado no extremo direito é uma previsão para 2014 realizada pelo Google Trends por extrapolação.

Em seguida, nota-se um padrão de variação anual nas buscas:

• um máximo de buscas em março de cada ano, talvez devido ao início do ano letivo;
• um máximo menor em junho, talvez devido às provas de fim de semestre;
• uma acentuada queda em julho, certamente devida às férias do meio do ano;
• um patamar elevado em agosto-setembro, possivelmente devido ao retorno do segundo semestre;
• uma queda em outubro;
• um novo pico em novembro, talvez devido às provas de fim de ano e, finalmente,
• um acentuado mínimo em janeiro, certamente devido às férias do final do ano.

Eu  havia feito uma pesquisa semelhante com o termo 'Física', obtendo o gráfico abaixo

Gráfico da frequência de buscas do termo 'Física' no Brasil no Google

mas tive dúvidas sobre o resultado, pois considerei que o gráfico poderia estar agregando resultados de outras pesquisas no Google. De fato, por exemplo,

• o ponto marcado com 'A' inclui notícias sobre 'juros para pessoa física';
• os pontos 'B', 'D' incluem notícias sobre 'Educação física'
• os pontos 'E', 'G' e 'I' incluem notícias sobre 'atividade física', 'forma física', e 'integridade física';
• etc.

enquanto o ponto 'C' fala de 'partícula mais veloz que a luz' e 'revolução na Física' e o ponto 'H' fala do 'Big Bang' e da 'Física Moderna'.

No entanto, após realizar a pesquisa acima para 'Matemática, observei o mesmo padrão de variação anual, como se vê no gráfico combinado abaixo, e concluí que, apesar de tudo, as buscas sobre 'Física' como conteúdo escolar deveriam estar predominando.

Gráfico combinado das frequências de buscas dos termo 'Física' (azul) e 'Matemática' (vermelho) no Brasil no Google

Para tirar a dúvida, realizei uma busca sobre 'língua portuguesa' e obtive o gráfico abaixo

Gráfico da frequência de buscas do termo 'língua portuguesa' no Brasil no Google

o qual é semelhante aos anteriores, tanto na tendência de redução de buscas ao longo do tempo, quanto no padrão de variação anual.

No entanto, as frequências de busca para 'língua portuguesa' são tão menores que um gráfico combinado, como o entre 'Matemática' e 'Física' acima, não é conveniente, como se vê do gráfico combinado abaixo, o qual inclui também as frequências de busca para 'Química' e 'Biologia'.

Gráfico combinado das frequências de buscas de vários termos no Brasil no Google

Contudo, continuo sem saber se o Google Trends está indicando uma queda no interesse pelos estudos ou pelo próprio Google.

Atualização (11 mar. 2014): Recentemente, encontrei uma possível explicação para essa queda no artigo: 'Just Google it! Exploring New Web-based Tools for Identifying Public Interest in Science and Pseudoscience', de Baram-Tsabari, Ayelet & Segev, Elad. Segundo os autores, "isto é provavelmente devido ao aumento geral de acesso e uso da Internet, que permite a uma ampla população menos instruída pesquisar na web via Google para fins cada vez mais diversos. Portanto, o volume de pesquisa para termos específicos diminui relativamente a todas as pesquisas realizadas utilizando o Google. [tradução minha]".

Big Data e Google Correlate comprovam falha de resoluções de ano novo?

Como se sabe, o Google não apenas realiza alegadas cem bilhões de pesquisas mensais de termos na Web (SULLIVAN, 2012), como as armazena todas, identificadas por hora e local de origem em seus gigantescos data centers ao redor do mundo. Essas informações são utilizadas pelos programas de publicidade geridos pelo Google, tais como DoubleClick, Google Analytics, Google AdWords e Google AdSense, de onde provêm mais de 90% da renda da empresa Google (GOOGLE Inc., 2013).

Já há alguns anos, a Google disponibiliza a ferramenta Google Correlate que mencionei rapidamente no post passado. Trata-se de (mais) um projeto experimental do extinto Google Labs. 

Nele, introduz-se uma série de dados temporais ou regionais e se obtém uma lista das consultas no Google cujas frequências seguem padrões que melhor se correlacionam com os dados, segundo o coeficiente de determinação R^2 (MOHEBBI et al., 2011). 

Tenho brincado com essa ferramenta há algumas semanas e obtido resultados no mínimo curiosos.

Hoje, por acaso, testei a sugestão 'losing weight' (perder peso) do próprio Google Correlate.

O termo de busca que melhor se correlacionou (com um R^2 de 0.9672) foi 'workouts' (exercícios ou sessões de treinos), o que é bem razoável.

O que me chamou a atenção, no entanto, foi o gráfico dessa correlação:

Gráfico da correlação entre losing weight e workouts no Google Correlate

Observe a queda no ritmo dos treinos ao longo de cada ano, as 'quedas em tentação' a cada final de ano e as abruptas retomadas a cada início de ano!

Parece que há, realmente, uma síndrome de 'resoluções de Ano Novo', especialmente a que inclui a fatídica 'perder peso'!

Big Data (errado) na capa da VEJA desta semana

Como muitos já devem ter visto, a revista VEJA desta semana destaca o Big Data na capa.

Podia ser interessante, mas começa mal.

A figura estranha na capa é o norte-americano A. J. Jacobs.

Não sei de onde a VEJA tirou que ele é o "Mr. Big Data" (podem procurar no Google)!

Graças ao TinEye, descobri que essa imagem aparece no livro The Human Face of Big Data do fotógrafo Rick Smolan que reúne histórias e fotos relacionadas à 'Revolução da Big Data'.

O Jacobs foi incluído no livro por sua história de gostar de monitorar dezenas de suas variáveis corporais, tais como sua pulsação, pressão, qualidade de sono, passos dados, humor, etc.

Embora o Jacobs deva estar gerando grandes quantidades de dados, ele não está fazendo grandes análises deles e, por isso, não se qualifica para Big Data, e, certamente, muito menos para Mr. Big Data!

Para quem pretendia entender o que é o Big Data, a VEJA forneceu apenas a visão que se resume aos famosos três V's: grande Volume de dados, grande Velocidade possível e necessária para processá-los e sua Variedade, por provir de fontes diversas, tais como emails, blogs e redes sociais, arquivos de vídeo, etc.

Esta é a versão hype (oba-oba) e distorcida de que as grandes fabricantes (IBM, Microsoft, etc.) estão usando para vender equipamentos e serviços caríssimos para as empresas desavisadas que querem, com eles, ficarem 'modernas'.

A VEJA se esqueceu de falar dos outros dois V's igualmente importantes:

• Veracidade: é necessário que os dados sejam autênticos e façam sentido (HURWITZ et al., 2013, p. 16);
• Valor: é fundamental que os dados acrescentem valor ao seu utilizador (BEULKE, 2011), para que o enorme investimento necessário para o Big Data não seja uma despesa inútil.

Mas, pior, ainda, a VEJA também não discutiu uma série de mitos sobre o Big Data (ver, por exemplo, CRAWFORD, 2013), tais como

• a falsa 'garantia' de que os dados serão anonimizados antes de serem processados, já que já foi demonstrado que geralmente é possível desanonimizar os dados por cruzá-los com outras bases de dados;
• a falsa promessa de que o Big Data vai mudar nossas vidas para melhor, sabendo que muito do que se faz com ele é aperfeiçoar os mecanismos de nossa incitação ao consumo;
• a falsa ideia de que Big Data é o futuro da Ciência, o quinto paradigma, de que "com dados suficientes, os números falam por si", descartando a necessidade de modelos, teorias, análise crítica, etc. Na verdade, os números, poucos ou muitos, nunca falam; é a mente humana que lhes dá significado.
  

  

  Fonte: (ZHU, 2013)

Um dos exemplos mais famosos é o Google Flu Trends (tendências da gripe), baseado no trabalho de Ginsberg et al. (2009), publicado na prestigiosa revista Nature, em que esses autores utilizaram-no para rastrear afecções semelhantes à gripe na população dos EUA.

No entanto, em 2013, o Google previu um surto de gripe com quase o dobro da intensidade reportada pelas autoridades norte-americanas. Vários pesquisadores sugerem que uma ampla cobertura da mídia sobre a severa temporada de gripe, incluindo uma declaração de emergência de saúde pública pelo estado de Nova York, teria provocado um grande aumento nas pesquisas relacionadas à gripe por pessoas que não estavam doentes e, com isso, causado um processo de realimentação nas previsões do Google (BUTLER, 2013).

Por outro lado, um exemplo bem sucedido de Big Data Science é o da recente identificação do Bóson de Higgs pelo LHC, o qual teve que utilizar um sistema Hadoop de computação distribuída, típico de Big Data, para gerenciar todos os dados.

Não vislumbro motivo para que a produção de dados digitais tenda a diminuir. Com isso, ainda que a moda do Big Data seja substituída pela next big thing, certamente a Ciência e a Economia necessitarão de algum tipo de análise dessas enormes massas de dados.

Da minha experiência, observo que produzir perguntas é um desafio maior do que obter respostas a elas com essas ferramentas do Big Data.

Aqui, acredito, é que os profissionais de Ciências são mais necessários.

Acredito, também, que, com ferramentas públicas e gratuitas, tais como o Microsoft GeoFlow, o Google Trends, o Google Correlate e outras que vierem a surgir em breve, os estudantes, futuros profissionais de Ciências, podem se familiarizar com os desafios científicos e éticos propostos pelo Big Data.

Referências

• BEULKE, D. Big Data Impacts Data Management: The 5 Vs of Big Data [Blog post]. Disponível em: <http://davebeulke.com/big-data-impacts-data-management-the-five-vs-of-big-data/>. Acesso em: 7/5/2013.

• BUTLER, D. When Google got flu wrong. Nature, v. 494, n. 7436, p. 155–156, 2013. Disponível em: <http://www.nature.com/news/when-google-got-flu-wrong-1.12413>. Acesso em: 16/5/2013.

• CRAWFORD, K. Think Again: Big Data. Foreign Policy, 9. May. 2013. Disponível em: <http://www.foreignpolicy.com/articles/2013/05/09/think_again_big_data>. Acesso em: 13/5/2013.

• GINSBERG, J.; MOHEBBI, M. H.; PATEL, R. S. et al. Detecting influenza epidemics using search engine query data. Nature, v. 457, n. 7232, p. 1012–4, 2009. Disponível em: <http://www.ncbi.nlm.nih.gov/pubmed/19020500>. Acesso em: 28/4/2013.

• HURWITZ, J.; NUGENT, A.; HALPER, F.; KAUFMAN, M. Big Data for Dummies. Hoboken, NJ: John Wiley & Sons, 2013.

• ZHU, J. Big Data for Social Science Research: Hypes, Myths, and Realities. 21. Jan. 2013. Kowloon Tong, Hong Kong: City University of Hong Kong. Disponível em: <http://com.cityu.edu.hk/COMDOC/Seminar/ppt/2013/seminarPPT-2013-01-21.pdf>

Big Data ou Big Brother?

Estava lendo hoje o relatório Big Data, Big Impact: New Possibilities for International Development, publicado em 2012 pelo Fórum Econômico Mundial, de Davos.

Nele, argumenta-se que os dados provenientes de telefones celulares tem interesse especial, porque, para muitas pessoas de baixa renda, esta é a sua única forma de tecnologia interativa e, ao mesmo tempo, com ela é mais fácil de identificar os indivíduos aos dados. Com isso, esses dados poderiam pintar um quadro sobre as necessidades e comportamentos dos usuários individuais, em vez de simplesmente sobre a população como um todo.

Esse documento cita também uma pesquisa, segundo a qual, quando os operadores de telefonia móvel observam uma redução do tempo de antena em uma determinada região, isso tende a indicar uma perda de renda nessa população muito antes que essa informação apareça nos indicadores oficiais.

Em outra pesquisa citada, conversas relacionadas com a alimentação no Twitter não só mostraram correlações muito fortes com a inflação dos preços dos alimentos, como puderam indicar onde e como as pessoas já estavam mudando seu comportamento em função disso.

Segundo Kikpatric, no auge da crise financeira global de 2009, o Secretário-Geral das Nações Unidas criou a iniciativa Global Pulse, como um laboratório de pesquisa de desenvolvimento, para descobrir se o Big Data e sua análise em tempo real poderiam ajudar a tornar a formulação de políticas mais ágil e eficaz.

O relatório Big Data afirma que a Global Pulse está se envolvendo ativamente no que seu diretor, Robert Kirkpatrick, chama de ‘filantropia de dados’, onde empresas parceiras são incentivadas a compartilhar dados anonimizados para uso do setor público para proteger as populações vulneráveis.

Confesso que me assustei um pouco com a conclusão do relatório:

"Apesar dos desafios [da falta de especialistas e resistência das empresas em compartilhar os dados] e riscos [com privacidade e segurança], as oportunidades disponíveis para melhor servir as pessoas nos mercados emergentes devem compensar esses riscos" [grifo meu].

E mais ainda quando li que Kikrpatric afirma que

"Big Data é uma matéria prima pública, e devemos trabalhar juntos para encontrar maneiras de aproveitá-la para um massivo impacto social, tanto de forma segura quanto responsável. Para que isso aconteça, a ‘filantropia de dados’ tem que se tornar uma prioridade do setor privado" [grifo meu].

Ou seja, devemos permitir -- compulsoriamente até, se for o caso -- a abertura de nossos dados pessoais de identificação e comunicação, abrir mão da nossa privacidade e segurança, porque 'eles', o Grande Irmão, garantem que vai ser bom para todos nós!



Veja também meu post O que a Ciência pode aprender com o Google?