Esdras Cândido (*)
A mineração está diferente nos dias de hoje. E o engenheiro de dados sabe bem disso. É nessa ciência que atualmente está aplicada a nova atividade ‘mineradora’.
E essa engenharia contemporânea é a responsável por tratar da transformação dos dados brutos de uma empresa. É aí que começa a primeira ‘extração’ no processamento de dados, que abarca a série de atividades para dar uma utilidade prática à imensa quantidade de informação disponível. E a dinâmica segue um ritual extremamente relevante com os processos de coleta, armazenamento e distribuição dos dados, que estão sob a mira da engenharia de dados.
E quem é o profissional que faz isso? Quais as principais responsabilidades e desafios do engenheiro de dados? É ele o grande articulador por reunir, organizar e disponibilizar de maneira simples e acessível todos os dados da empresa. Ele tem propriedade para ir além das linguagens (Java, Scala e Python e outras). Ele tem domínio amplo da lógica e do quão complexo é o ecossistema de conceitos que povoa esta técnica, incluindo inclui big data e computação em nuvem.
São com base nesses conhecimentos que o profissional de dados concebe, constrói e realiza uma série de testes de arquiteturas de sistemas de processamento de dados. É ele também o responsável por orientar soluções de aquisição de dados e de combinação de fontes de dados. Com essa gama definida, é o engenheiro quem elabora o chamado pipeline de dados.
É importante a criação desse processo pelo qual a informação passa, incluindo a entrada no sistema, o processamento e o armazenamento, facilitando assim as consultas a serem realizadas por quem precisa desse levantamento. Outro embasamento relevante é que o engenheiro de dados tenha também conhecimentos sobre análise preditiva e prescritiva, para auxiliar end to end todas as etapas do trabalho.
A qualificação da tomada de decisão a partir dos dados também faz parte do escopo de avaliação da engenharia de dados. Há ainda uma composição com a ciência de dados, que atua de forma equivalente com a engenharia de dados. Embora sejam áreas complementares, o trabalho do cientista entra após o processo gerido pelo engenheiro, que desenvolve toda uma infraestrutura para coletar, organizar e armazenar os dados.
Já o cientista de dados, chega para aplicar suas capacidades para tratá-los. Cabe a ele ‘minerar’ os dados e extrair os melhores e mais valiosos insights para seus clientes ou para a empresa em que trabalha. Cabe lembrar que todo esse ritual segue a segurança já definida pela LGPD, que protege tanto o consumidor como todos os envolvidos nesse ecossistema.
Ela disponibiliza amplos benefícios, porque limita os seus riscos, cria um ambiente seguro, confiança e transparência, além de gerar resultados positivos para todos.
Os desafios para o engenheiro de dados são imensos, no entanto, seguir alguns princípios dão o caminho certo para conquistar credibilidade e retorno. Destaco aqui quatro deles.
. Boa interlocução – É essencial ser um bom interlocutor e conseguir entender os desafios de cada área da empresa. Não bastando somente entender de ‘bits e bytes’.
. Alta capacidade de aglutinar os dados – Ter a capacidade de selecionar, organizar e reunir, da forma mais eficaz possível, os dados relevantes para as mais diversas áreas de uma organização.
. Ser um ‘trust advisor’ sobre as melhores e mais eficazes ferramentas tecnológicas de mercado.
E, por último e não menos importante, conseguir realizar a extração do valor dos dados por intermédio de ‘insights’ que façam a diferença na tomada de decisões da empresa. Esses fatores, quando bem definidos e postos em prática, elevam o valor do profissional da mais nova mineração, já que os dados estão por toda a parte.
(*) – É vice-presidente de Produtos e Serviços da Orys, consultoria especializada em inteligência de dados (https://orys.com.br/)