Fazendo Big Data do Twitter com o R Studio

Ontem comecei a aprender a linguagem de programação R para cálculos estatísticos e visualizações de dados. Seu código fonte está disponível sob a licença GNU GPL e é hoje  amplamente usada entre estatísticos e data miners para desenvolver software de estatística e análise de dados.

Estou estudando com o excelente livro-texto 'An Introduction to Data Science', desenvolvido por Jeffery Stanton para a Pós em Data Science da Universidade de Syracuse. Ele está disponível em formato .pdf no site Teach Data Science.

Na verdade, estou usando o R Studio, um IDE (ambiente de desenvolvimento integrado) open source para R.

Dentro do R Studio, existe o pacote twitteR, criado por Jeff Gentry, que oferece uma interface muito simples para extrair listas de tweets, selecionados por algum critério, diretamente do Twitter para dentro de R. Após obtida, essa lista pode facilmente ser transformada em um dataframe.

Como um exercício, extraí para o R Studio tweets contendo a palavra 'Ulbra' (não apenas a hashtag #Ulbra), obtendo 299 tweets nos últimos 7 dias (restrição imposta aos APIs que acessam a timeline do Twitter).

Após algumas preparações no texto dos tweets, realizadas com recursos do twitteR, mandei-o construir a nuvem de tags (tag cloud) correspondente:

Infelizmente, não consegui ainda fazê-lo trabalhar corretamente com palavras acentuadas em português, mas já dá para ter uma ideia de quais assuntos os tuiteiros andam falando com relação à Ulbra.

O próximo passo é fazer análises de sentimento desses tuítes.

Big Data ou Big Brother?

Estava lendo hoje o relatório Big Data, Big Impact: New Possibilities for International Development, publicado em 2012 pelo Fórum Econômico Mundial, de Davos.

Nele, argumenta-se que os dados provenientes de telefones celulares tem interesse especial, porque, para muitas pessoas de baixa renda, esta é a sua única forma de tecnologia interativa e, ao mesmo tempo, com ela é mais fácil de identificar os indivíduos aos dados. Com isso, esses dados poderiam pintar um quadro sobre as necessidades e comportamentos dos usuários individuais, em vez de simplesmente sobre a população como um todo.

Esse documento cita também uma pesquisa, segundo a qual, quando os operadores de telefonia móvel observam uma redução do tempo de antena em uma determinada região, isso tende a indicar uma perda de renda nessa população muito antes que essa informação apareça nos indicadores oficiais.

Em outra pesquisa citada, conversas relacionadas com a alimentação no Twitter não só mostraram correlações muito fortes com a inflação dos preços dos alimentos, como puderam indicar onde e como as pessoas já estavam mudando seu comportamento em função disso.

Segundo Kikpatric, no auge da crise financeira global de 2009, o Secretário-Geral das Nações Unidas criou a iniciativa Global Pulse, como um laboratório de pesquisa de desenvolvimento, para descobrir se o Big Data e sua análise em tempo real poderiam ajudar a tornar a formulação de políticas mais ágil e eficaz.

O relatório Big Data afirma que a Global Pulse está se envolvendo ativamente no que seu diretor, Robert Kirkpatrick, chama de ‘filantropia de dados’, onde empresas parceiras são incentivadas a compartilhar dados anonimizados para uso do setor público para proteger as populações vulneráveis.

Confesso que me assustei um pouco com a conclusão do relatório:

"Apesar dos desafios [da falta de especialistas e resistência das empresas em compartilhar os dados] e riscos [com privacidade e segurança], as oportunidades disponíveis para melhor servir as pessoas nos mercados emergentes devem compensar esses riscos" [grifo meu].

E mais ainda quando li que Kikrpatric afirma que

"Big Data é uma matéria prima pública, e devemos trabalhar juntos para encontrar maneiras de aproveitá-la para um massivo impacto social, tanto de forma segura quanto responsável. Para que isso aconteça, a ‘filantropia de dados’ tem que se tornar uma prioridade do setor privado" [grifo meu].

Ou seja, devemos permitir -- compulsoriamente até, se for o caso -- a abertura de nossos dados pessoais de identificação e comunicação, abrir mão da nossa privacidade e segurança, porque 'eles', o Grande Irmão, garantem que vai ser bom para todos nós!



Veja também meu post O que a Ciência pode aprender com o Google?