- Adviesdiensten
Dataex - Big Data - 6-Wk Implementação
Big Data surgiu da necessidade de entender tendências, preferências e padrões no enorme banco de dados gerado quando as pessoas interagem com diferentes sistemas e entre si. A análise de
Serviço de alocação de squad ágil para demandas de BIG DATA especializados em Azure e serviços PaaS, especializados em trabalhar com dados não estruturados e montagem de um data lake moderno robusto e seguindo as boas praticas de implementação das camadas de dados RAW/ CLEANSING / DQ / APPLICATION / SANDBOX. Especializado em ETL para formatar o datalake utilizando o framework desenvolvido pela DataEx para o Azure Data Factory e utilizar ferramentas como Databricks, Azure datalake Analytics, HDInsight para processamento massivo de dados.
Produto:
Skill Técnico:
Entregáveis: Processos Automatizados de Ingestão de Dados com a utilização do Azure Data Factory e o modelo acelerador criado pela DataEx, Processo de criação da camada RAW data no datalake e armazenamento de dados no Data Warehouse; Logs internos de monitoramento e execução com um auxilo de uma base de dados de controle; Processos Automatizados de Transformação dos Dados Processos automatizados utilizando Azure Databricks para modelagem e processamento de dados com Python, R, Scala ou SQL; Processos automatizados utilizando Azure SQL Database / Synapse para modelagem e processamento de dados utilizando TSQL; Armazenamento dos dados(RAW DATA) em Datalakes Todo o armazenamento de dados na camada de RAW data utilizando o modelo DataEx no Azure Data Factory de forma organizacional e automática.
This app is only available in Portuguese