Condução de dados para Insights

Data is the new oil, traduzida literalmente para “os dados são o novo petróleo” é uma frase icónica que todos nós já ouvimos e que parece ser cada vez mais atual, apesar de ter sido dita pela primeira vez há mais de uma década (em 2006, por Clive Humby, Senior Marketer na Tesco). Mas será mesmo verdade?

Enquanto consumidores, experienciamos todos os dias em primeira mão como os nossos dados influenciam as organizações a melhorar os seus produtos e serviços.

Diariamente, milhões de pessoas em todo o mundo utilizam redes sociais e motores de pesquisa. Atualmente as grandes organizações a nível mundial atribuem grande parte do seu sucesso à recolha e análise de dados em grande escala acerca de como as suas plataformas são utilizadas, pois estes fornecem bases sólidas para tomar decisões que melhoram a experiência dos utilizadores.

Podemos afirmar que os dados passaram a ter um papel essencial em todas as esferas de actividade.

No entanto, analisando a frase data is the new oil, conseguimos identificar uma grande diferença entre os dois sujeitos - o petróleo é valioso, mas escasso, enquanto que os dados têm tendência a gerar cada vez mais valor com o tempo e utilização. Organizações que recolhem grandes quantidades de dados geram mais e melhores insights que podem ser traduzidos em valor direto para as organizações. À recolha e análise de dados em grande escala dá-se o nome de big data.

A importância de um data warehouse moderno

Os armazéns de dados (data warehouses) têm um papel chave a desempenhar no processo de criação de valor para as organizações, pois são em primeiro lugar os responsáveis pela agregação de dados das mais diversas fontes de informação, podendo ser geridos tanto on-premises como na Cloud. Essencial para que os possam ser analisados em grande escala, um data warehouse moderno: suporta qualquer fonte de dados; é facilmente escalável e de simples acesso; centraliza todos os dados (internos ou externos), relevantes para a organização; fornece insights em tempo real através de dashboard; suporta modelos de analítica avançada como machine learning ou Inteligência Artificial.

Um data warehouse moderno deve armazenar dados de forma a que estes sejam facilmente acessíveis pelos seus consumidores e simultaneamente possuir a capacidade de processar e interpretar todo o tipo de dados de forma ágil e eficiente.

Como estruturar os dados em grande escala?

No passado, as únicas fontes de dados para as aplicações eram bases de dados. Mas atualmente, existem centenas, se não milhares, de diferentes fontes e cada uma com tipos de dados diferentes, podendo ser estruturados ou não estruturados.

Os dados estruturados têm padrões que podem ser facilmente interpretados. Como por exemplo: nome de clientes; moradas; geolocalização; dados; contactos telefónicos; nomes de produtos; Unidades de stock (SKUs).

Contudo, nem todos os dados das organizações podem ser classificados numérica ou semanticamente, e é aqui que entram os dados não estruturados como: imagens; vídeos; e-mails e documentos; dispositivos IoT e sensores.

Estes dados são extremamente relevantes serem consolidados e integrados com os demais dados, permitindo obter uma visão holística sobre componentes de negócio, como por exemplo os seus clientes.

Para atingir esse objectivo é essencial assegurar que as soluções de dados são capazes de integrar estes dois tipos de dados num único ponto central.

Construir uma Data pipeline

Após identificar todas as diferentes fontes de dados, é essencial criar uma data pipeline. Os passos necessários nesta fase são:

1. transferir os dados de todas as fontes (estruturados e não estruturados) para a data warehouse;

2. armazenar os dados num data lake;

3. aplicar processos e procedimentos de data quality, preparando-os para serem utilizados em modelos analíticos avançados;

4. aplicar regras e conceitos de negócio, disponibilizando-os para serem consumidos pelos seus utilizadores;

5. exploração e visualização dos dados em plataformas como o Power BI. Data visualisation fornece uma representação rica e relevante dos dados que permitem a tomada de decisões data-driven, adicionando valor ao negócio e aos clientes.

Através desta abordagem, é construída uma arquitetura altamente escalável que serve todos os utilizadores: desde utilizadores finais, a data engineers e cientistas de dados que exploram os dados, a analistas que os interpretam para o negócio e até ao CEO que pretende compreender melhor o que acontece no seu negócio em tempo real.

Artigo de branded content na IT Insight, página 44.