Contratos de dados: Desenvolvendo pipelines escaláveis de dados

“Este livro é uma leitura obrigatória para profissionais e desenvolvedores de dados modernos. Em um mundo em que os dados são o novo petróleo e o desenvolvimento de software acontece a uma velocidade impressionante, contratos de dados, quando bem utilizados, podem ajudar uma organização a alcançar sua visão e seus objetivos mais rapidamente.” Akhil Behl, gerente de conta parceiro, Red Hat

A má qualidade dos dados pode causar grandes problemas para as equipes de dados, desde a interrupção de pipelines de dados geradores de receita até a perda de confiança dos consumidores de dados.

Apesar da importância da qualidade dos dados, muitas equipes de dados ainda têm dificuldade para evitar esses problemas — especialmente quando os dados são provenientes de fluxos de trabalho upstream (em estágios anteriores) fora de seu controle. A solução: contratos de dados.

Esses contratos viabilizam ativos de dados de alta qualidade e bem governados, documentando as expectativas sobre os dados, estabelecendo a propriedade desses ativos e, em seguida, aplicando automaticamente essas restrições no fluxo de trabalho de CI/CD.

Este livro prático apresenta a arquitetura de contratos de dados, define com clareza o que são contratos de dados, explica por que o setor de dados precisa deles e compartilha casos de uso reais de contratos de dados em produção.

Além disso, você aprenderá a implementar componentes da arquitetura de contratos de dados e entenderá como esses componentes são utilizados no ciclo de vida dos dados.

Por fim, você elaborará um argumento para implementar contratos de dados em sua organização.

• Explore aplicações reais de contratos de dados no setor
• Entenda como aplicar cada componente desta arquitetura, como CI/CD, monitoramento, controle de versão de dados e muito mais
• Aprenda a implementar contratos de dados utilizando ferramentas de código aberto
• Examine formas de resolver questões de qualidade de dados utilizando a arquitetura de contratos de dados
• Meça o impacto da implementação de um contrato de dados em sua organização
• Desenvolva uma estratégia para determinar como os contratos de dados serão utilizados em sua organização