colóquio no Big Data Festival mundial

Para quem não sabe, está ocorrendo o Big Data Festival, que reúne palestras, cursos, etc. sobre o tema ao redor do mundo.

Dentro do calendário de eventos desse festival , nesta quarta-feira, dia 20 de novembro, vou apresentar o colóquio 'Big Data: Uma proposta didática para seu uso no Ensino de Física' às 18h30 no auditório do prédio 1 da Ubra - Universidade Luterana do Brasil, Campus Canoas.

Tanto quanto eu pude verificar, será o único evento na América do Sul!

Estão todos convidados.

Somos todos vigiados na internet

Em junho passado, fui contactado por Rafael Waltrick, repórter do jornal A Gazeta do Povo, de Curitiba.

Ele estava escrevendo uma matéria sobre as questões da perda de privacidade na Web, logo após o escândalo do PRISM e as denúncias do Snowden, havia lido este post anterior meu sobre Big Data e queria me entrevistar sobre essas questões.

A matéria saiu dia 16 de junho de 2013, com o título Somos todos vigiados na internet, à página 4 do primeiro caderno.

Fonte: Somos todos vigiados na internet. A Gazeta do Povo. 16 jun. 2013.

A matéria traz discussões e infográficos interessantes sobre o tema e, claro, um trecho da nossa conversa telefônica:

O pesquisador do Programa de Pós Graduação em Ensino de Ciências e Matemática da Ulbra (Porto Alegre) Renato Pires dos Santos lembra que ferramentas fornecidas pelo Google, que permitem estudos aprofundados, são parte de uma estratégia para justificar o monitoramento de dados. “Hoje, 90% do faturamento do Google vem da publicidade, que é diferenciada justamente por causa desse armazenamento de informação, o que permite um direcionamento de público muito superior. Ou seja, o Google faz algo questionável e depois divide parte dos dados para minimizar o lado ruim dessa prática”, explica.

Big Data ou Admirável Gado Novo?

Voltando à ferramenta Google Correlate que eu já havia abordado em post anterior, andei fazendo mais algumas experiências, com resultados curiosos:

Por exemplo, introduzi dados temporais gerados com a função do Excel 'fração do ano' que retorna a fração de dias que resta do ano em qualquer data. Ela produz um gráfico em forma de dente-de-serra, com máximo em 1 de janeiro e mínimo em 31 de dezembro.

O termo de busca que melhor se correlacionou (com um R^2 de 0.8907) foi 'mother of the bride' (mãe da noiva), seguido de 'bride dresses' (vestidos de noiva), 'flower girl dresses' (vestidos para aia) e outros relacionados com a cerimônia de casamento, como se vê da lista abaixo.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'fração do ano'

O gráfico abaixo mostra a correlação com o termo 'mother of the bride' (mãe da noiva)

Gráfico da correlação entre dados temporais de 'fração do ano' e 'mother of the bride' no Google Correlate

Parece que nos EUA, a maior preocupação no Ano Novo é com vestidos de casamento, etc.

Quando usei os mesmo dados para o Brasil, obtive que os termos de busca que melhor se relacionam são 'emprego', 'carteirinha' (de estudante), 'queda de cabelo', 'alistamento militar', etc.

Temos de busca no Google cujas frequências melhor se correlacionam no Brasil com os dados temporais 'fração do ano'

com o correspondente gráfico

Gráfico da correlação entre dados temporais de 'fração do ano' e 'emprego' no Google Correlate no Brasil

Parece que as preocupações de Ano Novo dos brasileiros são bem diferentes das dos norte-americanos.

Outra experiência que fiz foi com os dados 'winter wave' do próprio Google Correlate, cujo gráfico é uma cossenoide com máximo no início do inverno e mínimo no início do verão.

Os termos que melhor se correlacionam são 'Nordica' e 'Dalbello' (conhecidas marcas de esquis), seguidos por 'wedding soup' (uma típica sopa italiana de natal), 'colds' (resfriado), etc.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'winter wave'

com o gráfico

Gráfico da correlação entre dados temporais de 'winter wave' e 'Nordica' no Google Correlate

O mesmo conjunto de dados aplicado ao Brasil resulta em termos associados a destinos de férias de verão, etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'winter wave'

com o gráfico

Gráfico da correlação entre dados temporais de 'winter wave' e 'Punta del Este' no Google Correlate no Brasil

Aproveitando a ideia, produzi os dados inversos, isto é, 'summer wave', que inseridos no Google Correlate, resultam nos termos de busca 'golf course' (percurso de golfe), 'tent' (tenda), 'dunk tank' (jogo de parques de diversão que faz uma garota cair num tanque d'água quando se acerta) e outros relacionados a atividades de férias de verão.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'summer wave'

com o gráfico abaixo para percurso de golfe.

Gráfico da correlação entre dados temporais de 'summer wave' e 'golf course' no Google Correlate

Aplicando os mesmos dados 'summer wave' para o Brasil, obtemos termos de busca principalmente associados a 'festa do peão', etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'summer wave'

com o gráfico para 'peão'

Gráfico da correlação entre dados temporais de 'summer wave' e 'peão' no Google Correlate no Brasil

Outra experiência foi uma série de dados senoidal com máximo no início da primavera do hemisfério norte (início do nosso outono) que, no Brasil, correlaciona aos termos de busca 'queda de cabelo' (!?), 'vestibular de meio de ano', 'moda outono', etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'spring wave'

Finalmente, outra experiência foi com uma série de dados senoidal com máximo no início do outono do hemisfério norte (início da nossa primavera) que, no Brasil, correlaciona aos termos de busca 'moda verão', 'moda primavera', 'inscrição vestibular', etc.

Concluo, com tudo isso, que, embora tenhamos plena liberdade de escolha em nossas buscas no Google, afinal somos, em conjunto, muito previsíveis.

Eh, ôô, vida de gado

como cantava Zé Ramalho em seu Admirável Gado Novo!

Big Data e Google Trends indicam queda no interesse pelos estudos ou pelo próprio Google?

Voltando à ferramenta de Big Data Google Trends que mencionei rapidamente num post anterior, ao contrário da Google Correlate que mencionei no post passado, nesta se introduz um termo de busca e ela retorna o gráfico temporal da frequência da consulta desse termo no Google.

Assim, por exemplo, introduzindo o termo de pesquisa 'Matemática' e restringindo as buscas ao Brasil, obtive o gráfico abaixo.

Gráfico da frequência de buscas do termo 'Matemática' no Brasil no Google

Inicialmente, nota-se uma clara tendência de redução de buscas ao longo do tempo, de 2004 até hoje, não sei se resultando de menor utilização do Google para pesquisas sobre Matemática ou de menor interesse em Matemática. O trecho pontilhado no extremo direito é uma previsão para 2014 realizada pelo Google Trends por extrapolação.

Em seguida, nota-se um padrão de variação anual nas buscas:

• um máximo de buscas em março de cada ano, talvez devido ao início do ano letivo;
• um máximo menor em junho, talvez devido às provas de fim de semestre;
• uma acentuada queda em julho, certamente devida às férias do meio do ano;
• um patamar elevado em agosto-setembro, possivelmente devido ao retorno do segundo semestre;
• uma queda em outubro;
• um novo pico em novembro, talvez devido às provas de fim de ano e, finalmente,
• um acentuado mínimo em janeiro, certamente devido às férias do final do ano.

Eu  havia feito uma pesquisa semelhante com o termo 'Física', obtendo o gráfico abaixo

Gráfico da frequência de buscas do termo 'Física' no Brasil no Google

mas tive dúvidas sobre o resultado, pois considerei que o gráfico poderia estar agregando resultados de outras pesquisas no Google. De fato, por exemplo,

• o ponto marcado com 'A' inclui notícias sobre 'juros para pessoa física';
• os pontos 'B', 'D' incluem notícias sobre 'Educação física'
• os pontos 'E', 'G' e 'I' incluem notícias sobre 'atividade física', 'forma física', e 'integridade física';
• etc.

enquanto o ponto 'C' fala de 'partícula mais veloz que a luz' e 'revolução na Física' e o ponto 'H' fala do 'Big Bang' e da 'Física Moderna'.

No entanto, após realizar a pesquisa acima para 'Matemática, observei o mesmo padrão de variação anual, como se vê no gráfico combinado abaixo, e concluí que, apesar de tudo, as buscas sobre 'Física' como conteúdo escolar deveriam estar predominando.

Gráfico combinado das frequências de buscas dos termo 'Física' (azul) e 'Matemática' (vermelho) no Brasil no Google

Para tirar a dúvida, realizei uma busca sobre 'língua portuguesa' e obtive o gráfico abaixo

Gráfico da frequência de buscas do termo 'língua portuguesa' no Brasil no Google

o qual é semelhante aos anteriores, tanto na tendência de redução de buscas ao longo do tempo, quanto no padrão de variação anual.

No entanto, as frequências de busca para 'língua portuguesa' são tão menores que um gráfico combinado, como o entre 'Matemática' e 'Física' acima, não é conveniente, como se vê do gráfico combinado abaixo, o qual inclui também as frequências de busca para 'Química' e 'Biologia'.

Gráfico combinado das frequências de buscas de vários termos no Brasil no Google

Contudo, continuo sem saber se o Google Trends está indicando uma queda no interesse pelos estudos ou pelo próprio Google.

Atualização (11 mar. 2014): Recentemente, encontrei uma possível explicação para essa queda no artigo: 'Just Google it! Exploring New Web-based Tools for Identifying Public Interest in Science and Pseudoscience', de Baram-Tsabari, Ayelet & Segev, Elad. Segundo os autores, "isto é provavelmente devido ao aumento geral de acesso e uso da Internet, que permite a uma ampla população menos instruída pesquisar na web via Google para fins cada vez mais diversos. Portanto, o volume de pesquisa para termos específicos diminui relativamente a todas as pesquisas realizadas utilizando o Google. [tradução minha]".

O que a Ciência pode aprender com o Google?

Desde os tempos de Francis Bacon que a Ciência segue o proclamado método científico: um fenômeno chama a atenção de um cientista que formula uma teoria, uma tentativa de explicação desse fenômeno, dessa teoria, deriva hipóteses e previsões que podem ser testadas experimentalmente; caso os resultados sejam satisfatórios, a teoria é considerada uma boa explicação do fenômeno numa relação causal, ou seja, tais e quais fatores, intervindo numa certa relação, causam o fenômeno.

O Google, a gigante das pesquisas na web, tem seu grande trunfo em descobrir quais as 'melhores' páginas para cada determinado assunto; e faz bilhões de dólares com seus acertos. No entanto, o Google é como um papagaio que repete palavras sem saber seu significado: a máquina por trás dessa pesquisa não tem recursos de análise semântica, isto é, não faz a menor ideia do significado do texto da página, e também não faz análise causal do porquê seus utilizadores preferem uma página do que outra. Usando uma simples estatística, o Google simplesmente atribui um grau maior de relevância nas listas de resultados às páginas mais visitadas e com maior tempo de permanência do leitor. É dessa mesma maneira que o Google consegue traduzir Klingon para Farsi quase tão bem quanto francês para alemão, sem realmente "conhecer" nenhum desses idiomas.

Só hoje li o interessante artigo The End of Theory: The Data Deluge Makes the Scientific Method Obsolete (O Fim da Teoria: O Dilúvio de dados torna o método científico obsoleto) na Wired, onde Chris Anderson, editor chefe da revista, argumenta que, na nossa atual era de petabytes de informação, aquela clássica abordagem - hipótese, modelo, teste - está se tornando obsoleta.

Agora que podemos analisar amostras imensas, quando não o próprio universo de dados, a tendência seria cada se vez mais se fazer Ciência à maneira do Google: as correlações aí observadas adquiririam validade por si só e poderiam dispensar causalidades, modelos coerentes, teorias unificadas ou qualquer explicação mecanicista de todo!

Segundo o autor, seria a hora de perguntar: o que a Ciência pode aprender com o Google?

Veja também meu post Em tempos de Big Data, grande educação?

em tempos de Big Data, grande educação?

No mesmo dia em que li a notícia na Folha de São Paulo de que as duas maiores companhias de ensino privado do país, a Kroton e a Anhanguera Educacional, vão se unir para criar um gigante no ensino privado, li também, um post no blog Research Google, da gigante das buscas, que estão disponibilizando um curso sobre pesquisas avançadas em forma de “MOOC” (Massive Open Online Course, isto é, curso aberto online massivo) para dezenas de milhares de alunos em cada classe!

Estamos no tempo do Big Data, mas será que nos encaminhamos para uma grande Educação?