As fases da Lua e a cultura hindu

Continuando com as correlações encontradas com o Google Correlate, vale a pena mencionar esta, do site The Web Search Correlations Database.

Carreguei os dados da fase da Lua a partir dos dados da USNO e obtive 'waning gibbous', 'Sankashti Chaturthi' e 'Sankatahara Chaturthi' como os termos de busca mais altamente correlacionados.

Para quem não está familiarizado com a cultura hindu, Sankashti Chaturthi, também conhecido como Sankata Hara Chaturthi, é um dia considerado auspiciouso e dedicado ao Senhor Ganesha. este dia é celebrado todos os meses lunares ou em todos os meses do calendário hindu no quarto dia da fase lunar, isto é, na chamada 'Lua minguante convexa' ou, em inglês, waning 'gibbous moon'.

Referências

• USNO - AA. Retrieved May 9, 2013 from http://aa.usno.navy.mil/about/staff/docs/place.php.

O site The Web Search Correlations Database

Eu já postei aqui algumas correlações interessantes encontradas com a ferramenta Google Correlate.

Há menos de um mês, criei o site The Web Search Correlations Database, o qual pretende, como o nome diz, ser uma base de dados dessas correlações.

Aqui irei postando, então, essas correlações à medida que as for encontrando.

Por exemplo, hoje incluí lá a correlação encontrada por Peter Aldhous entre 'lesões por tornados' e 'notícias sobre tornados' em 2011:

Fazendo Big Data do Twitter com o R Studio

Ontem comecei a aprender a linguagem de programação R para cálculos estatísticos e visualizações de dados. Seu código fonte está disponível sob a licença GNU GPL e é hoje  amplamente usada entre estatísticos e data miners para desenvolver software de estatística e análise de dados.

Estou estudando com o excelente livro-texto 'An Introduction to Data Science', desenvolvido por Jeffery Stanton para a Pós em Data Science da Universidade de Syracuse. Ele está disponível em formato .pdf no site Teach Data Science.

Na verdade, estou usando o R Studio, um IDE (ambiente de desenvolvimento integrado) open source para R.

Dentro do R Studio, existe o pacote twitteR, criado por Jeff Gentry, que oferece uma interface muito simples para extrair listas de tweets, selecionados por algum critério, diretamente do Twitter para dentro de R. Após obtida, essa lista pode facilmente ser transformada em um dataframe.

Como um exercício, extraí para o R Studio tweets contendo a palavra 'Ulbra' (não apenas a hashtag #Ulbra), obtendo 299 tweets nos últimos 7 dias (restrição imposta aos APIs que acessam a timeline do Twitter).

Após algumas preparações no texto dos tweets, realizadas com recursos do twitteR, mandei-o construir a nuvem de tags (tag cloud) correspondente:

Infelizmente, não consegui ainda fazê-lo trabalhar corretamente com palavras acentuadas em português, mas já dá para ter uma ideia de quais assuntos os tuiteiros andam falando com relação à Ulbra.

O próximo passo é fazer análises de sentimento desses tuítes.

colóquio no Big Data Festival mundial

Para quem não sabe, está ocorrendo o Big Data Festival, que reúne palestras, cursos, etc. sobre o tema ao redor do mundo.

Dentro do calendário de eventos desse festival , nesta quarta-feira, dia 20 de novembro, vou apresentar o colóquio 'Big Data: Uma proposta didática para seu uso no Ensino de Física' às 18h30 no auditório do prédio 1 da Ubra - Universidade Luterana do Brasil, Campus Canoas.

Tanto quanto eu pude verificar, será o único evento na América do Sul!

Estão todos convidados.

Somos todos vigiados na internet

Em junho passado, fui contactado por Rafael Waltrick, repórter do jornal A Gazeta do Povo, de Curitiba.

Ele estava escrevendo uma matéria sobre as questões da perda de privacidade na Web, logo após o escândalo do PRISM e as denúncias do Snowden, havia lido este post anterior meu sobre Big Data e queria me entrevistar sobre essas questões.

A matéria saiu dia 16 de junho de 2013, com o título Somos todos vigiados na internet, à página 4 do primeiro caderno.

Fonte: Somos todos vigiados na internet. A Gazeta do Povo. 16 jun. 2013.

A matéria traz discussões e infográficos interessantes sobre o tema e, claro, um trecho da nossa conversa telefônica:

O pesquisador do Programa de Pós Graduação em Ensino de Ciências e Matemática da Ulbra (Porto Alegre) Renato Pires dos Santos lembra que ferramentas fornecidas pelo Google, que permitem estudos aprofundados, são parte de uma estratégia para justificar o monitoramento de dados. “Hoje, 90% do faturamento do Google vem da publicidade, que é diferenciada justamente por causa desse armazenamento de informação, o que permite um direcionamento de público muito superior. Ou seja, o Google faz algo questionável e depois divide parte dos dados para minimizar o lado ruim dessa prática”, explica.

Big Data ou Admirável Gado Novo?

Voltando à ferramenta Google Correlate que eu já havia abordado em post anterior, andei fazendo mais algumas experiências, com resultados curiosos:

Por exemplo, introduzi dados temporais gerados com a função do Excel 'fração do ano' que retorna a fração de dias que resta do ano em qualquer data. Ela produz um gráfico em forma de dente-de-serra, com máximo em 1 de janeiro e mínimo em 31 de dezembro.

O termo de busca que melhor se correlacionou (com um R^2 de 0.8907) foi 'mother of the bride' (mãe da noiva), seguido de 'bride dresses' (vestidos de noiva), 'flower girl dresses' (vestidos para aia) e outros relacionados com a cerimônia de casamento, como se vê da lista abaixo.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'fração do ano'

O gráfico abaixo mostra a correlação com o termo 'mother of the bride' (mãe da noiva)

Gráfico da correlação entre dados temporais de 'fração do ano' e 'mother of the bride' no Google Correlate

Parece que nos EUA, a maior preocupação no Ano Novo é com vestidos de casamento, etc.

Quando usei os mesmo dados para o Brasil, obtive que os termos de busca que melhor se relacionam são 'emprego', 'carteirinha' (de estudante), 'queda de cabelo', 'alistamento militar', etc.

Temos de busca no Google cujas frequências melhor se correlacionam no Brasil com os dados temporais 'fração do ano'

com o correspondente gráfico

Gráfico da correlação entre dados temporais de 'fração do ano' e 'emprego' no Google Correlate no Brasil

Parece que as preocupações de Ano Novo dos brasileiros são bem diferentes das dos norte-americanos.

Outra experiência que fiz foi com os dados 'winter wave' do próprio Google Correlate, cujo gráfico é uma cossenoide com máximo no início do inverno e mínimo no início do verão.

Os termos que melhor se correlacionam são 'Nordica' e 'Dalbello' (conhecidas marcas de esquis), seguidos por 'wedding soup' (uma típica sopa italiana de natal), 'colds' (resfriado), etc.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'winter wave'

com o gráfico

Gráfico da correlação entre dados temporais de 'winter wave' e 'Nordica' no Google Correlate

O mesmo conjunto de dados aplicado ao Brasil resulta em termos associados a destinos de férias de verão, etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'winter wave'

com o gráfico

Gráfico da correlação entre dados temporais de 'winter wave' e 'Punta del Este' no Google Correlate no Brasil

Aproveitando a ideia, produzi os dados inversos, isto é, 'summer wave', que inseridos no Google Correlate, resultam nos termos de busca 'golf course' (percurso de golfe), 'tent' (tenda), 'dunk tank' (jogo de parques de diversão que faz uma garota cair num tanque d'água quando se acerta) e outros relacionados a atividades de férias de verão.

Temos de busca no Google cujas frequências melhor se correlacionam com os dados temporais 'summer wave'

com o gráfico abaixo para percurso de golfe.

Gráfico da correlação entre dados temporais de 'summer wave' e 'golf course' no Google Correlate

Aplicando os mesmos dados 'summer wave' para o Brasil, obtemos termos de busca principalmente associados a 'festa do peão', etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'summer wave'

com o gráfico para 'peão'

Gráfico da correlação entre dados temporais de 'summer wave' e 'peão' no Google Correlate no Brasil

Outra experiência foi uma série de dados senoidal com máximo no início da primavera do hemisfério norte (início do nosso outono) que, no Brasil, correlaciona aos termos de busca 'queda de cabelo' (!?), 'vestibular de meio de ano', 'moda outono', etc.

Temos de busca no Google no Brasil cujas frequências melhor se correlacionam com os dados temporais 'spring wave'

Finalmente, outra experiência foi com uma série de dados senoidal com máximo no início do outono do hemisfério norte (início da nossa primavera) que, no Brasil, correlaciona aos termos de busca 'moda verão', 'moda primavera', 'inscrição vestibular', etc.

Concluo, com tudo isso, que, embora tenhamos plena liberdade de escolha em nossas buscas no Google, afinal somos, em conjunto, muito previsíveis.

Eh, ôô, vida de gado

como cantava Zé Ramalho em seu Admirável Gado Novo!

Big Data e Google Trends indicam queda no interesse pelos estudos ou pelo próprio Google?

Voltando à ferramenta de Big Data Google Trends que mencionei rapidamente num post anterior, ao contrário da Google Correlate que mencionei no post passado, nesta se introduz um termo de busca e ela retorna o gráfico temporal da frequência da consulta desse termo no Google.

Assim, por exemplo, introduzindo o termo de pesquisa 'Matemática' e restringindo as buscas ao Brasil, obtive o gráfico abaixo.

Gráfico da frequência de buscas do termo 'Matemática' no Brasil no Google

Inicialmente, nota-se uma clara tendência de redução de buscas ao longo do tempo, de 2004 até hoje, não sei se resultando de menor utilização do Google para pesquisas sobre Matemática ou de menor interesse em Matemática. O trecho pontilhado no extremo direito é uma previsão para 2014 realizada pelo Google Trends por extrapolação.

Em seguida, nota-se um padrão de variação anual nas buscas:

• um máximo de buscas em março de cada ano, talvez devido ao início do ano letivo;
• um máximo menor em junho, talvez devido às provas de fim de semestre;
• uma acentuada queda em julho, certamente devida às férias do meio do ano;
• um patamar elevado em agosto-setembro, possivelmente devido ao retorno do segundo semestre;
• uma queda em outubro;
• um novo pico em novembro, talvez devido às provas de fim de ano e, finalmente,
• um acentuado mínimo em janeiro, certamente devido às férias do final do ano.

Eu  havia feito uma pesquisa semelhante com o termo 'Física', obtendo o gráfico abaixo

Gráfico da frequência de buscas do termo 'Física' no Brasil no Google

mas tive dúvidas sobre o resultado, pois considerei que o gráfico poderia estar agregando resultados de outras pesquisas no Google. De fato, por exemplo,

• o ponto marcado com 'A' inclui notícias sobre 'juros para pessoa física';
• os pontos 'B', 'D' incluem notícias sobre 'Educação física'
• os pontos 'E', 'G' e 'I' incluem notícias sobre 'atividade física', 'forma física', e 'integridade física';
• etc.

enquanto o ponto 'C' fala de 'partícula mais veloz que a luz' e 'revolução na Física' e o ponto 'H' fala do 'Big Bang' e da 'Física Moderna'.

No entanto, após realizar a pesquisa acima para 'Matemática, observei o mesmo padrão de variação anual, como se vê no gráfico combinado abaixo, e concluí que, apesar de tudo, as buscas sobre 'Física' como conteúdo escolar deveriam estar predominando.

Gráfico combinado das frequências de buscas dos termo 'Física' (azul) e 'Matemática' (vermelho) no Brasil no Google

Para tirar a dúvida, realizei uma busca sobre 'língua portuguesa' e obtive o gráfico abaixo

Gráfico da frequência de buscas do termo 'língua portuguesa' no Brasil no Google

o qual é semelhante aos anteriores, tanto na tendência de redução de buscas ao longo do tempo, quanto no padrão de variação anual.

No entanto, as frequências de busca para 'língua portuguesa' são tão menores que um gráfico combinado, como o entre 'Matemática' e 'Física' acima, não é conveniente, como se vê do gráfico combinado abaixo, o qual inclui também as frequências de busca para 'Química' e 'Biologia'.

Gráfico combinado das frequências de buscas de vários termos no Brasil no Google

Contudo, continuo sem saber se o Google Trends está indicando uma queda no interesse pelos estudos ou pelo próprio Google.

Atualização (11 mar. 2014): Recentemente, encontrei uma possível explicação para essa queda no artigo: 'Just Google it! Exploring New Web-based Tools for Identifying Public Interest in Science and Pseudoscience', de Baram-Tsabari, Ayelet & Segev, Elad. Segundo os autores, "isto é provavelmente devido ao aumento geral de acesso e uso da Internet, que permite a uma ampla população menos instruída pesquisar na web via Google para fins cada vez mais diversos. Portanto, o volume de pesquisa para termos específicos diminui relativamente a todas as pesquisas realizadas utilizando o Google. [tradução minha]".