BI na era do big data para cientistas de dados: indo além de cubos e dashboards na busca pelos porquês, explicações e padrões

Hoje muitos profissionais dizem estar fazendo BI quando na verdade estão gerando informações com sistemas de informações gerenciais, ou seja, através de ferramentas para geração de dashboards, gráficos, relatórios e análises visuais (visualização de informações).

Apesar de úteis, tais ferramentas apenas dizem o que está acontecendo e não por quê. Neste livro, explicarei que BI, no meu entendimento, é encontrar causas para os eventos, ou seja, sua diferença para sistemas gerenciais é ajudar a explicar o porquê dos eventos.

O livro tem o objetivo primeiro de explicar técnicas e métodos que ajudem no processo de BI, cujo objetivo principal é encontrar causas, explicações e padrões nos dados. O livro aborda o conceito de Big Data e “information explosion”. Depois o livro trata de como identificar padrões.

Explica o processo geral de BI, discutindo em detalhes as etapas de pré-processamento ou preparação (incluindo seleção de dados e amostras), as técnicas para análise de dados (em especial, Data Mining e análise OLAP ou multidimensional) e também a etapa final de interpretação de resultados.

Um capítulo especial fala sobre o processo de BI proativo, iniciando sem hipóteses (e como fazê-lo). O livro também aborda conhecimentos de outras áreas. Em muitas partes do livro, o leitor talvez imagine estar lendo um livro sobre investigações e descobertas científicas. Isto não está errado.

Não é o único enfoque, mas é uma das formas de se ver o BI. Temos muito a aprender com a história dos grandes cientistas da Humanidade. A diferença talvez não esteja nos métodos, apesar de que eles também evoluem.

Mas hoje temos muito mais dados e mais complexos (Big Data) e ferramentas mais avançadas, principalmente ferramentas de software. Por isto, o termo Cientista de Dados é tão atual.

Por isto, vamos enfatizar que os dados são muito importantes para o processo, incluindo a forma e as condições como são coletados e armazenados. Não basta discutirmos as formas de análise se os dados analisados não tiverem qualidade (garbage in, garbage out).

A ideia do livro é mostrar como modelos e padrões podem ser construídos ou descobertos a partir de dados históricos e como isto pode ser utilizado para fazer predições.

No final, são discutidas novas técnicas e tecnologias para coleta de dados para o Big Data e novos tipos de análise como web mining, text mining e análise de sentimentos. O leitor se quiser poderá pular algumas seções, conforme seu interesse. Os capítulos não estão numa sequência de aprendizado.

Dentro dos capítulos sim, a ideia é manter uma certa ordem de leitura.