8 weeks - Datalake Implementation

54cuatro Mexico

Diseño e Implementacion de plataforma de Data Lake, que sirva como repositorio de informacion de múltiples fuentes para alimentar sistemas analíticos (Machine Learning/BI)

This offer is available in spanish

Un lago de datos es un depósito de almacenamiento que contiene datos proveniente de muchos orígenes de datos. Todas las compañía requieren poder consolidar su información para que eso sea el punto desde donde crear todo tipo de acciones de análisis como por ejemplo:

-Tableros de BI con reportes -Análisis complejos usando Machine Learning

Unificar la informacion y mantenerla resguardada es de vital importancia ya que todos los datos tienen un valor potencial, ademas la acumulación de datos permite que se vayan enriqueciendo los reportes y análisis que se van realizando.​

Para el armado de la infraestructura, se analizaran las Industrias del cliente, los Requerimientos de negocios y la Volumetría para definir las herramientas adecuadas bajo el concepto de DataOps.

La herramienta imprescindible es Azure DataFactory, basada en proveer servicios de integración de datos y ETL que permite orquestar el transito de datos y las transformaciones.

Posteriormente se analizará si se usarán storages de tipo DataLake gen2 ya que el servicio de Azure Data Lake se basa en Azure Blob Storage, que es la solución de almacenamiento de objetos de Microsoft junto con PowerBI como herramienta de visualización; o si se implementa una solución mas compleja como Azure Synapse, Databricks o HD Insight.

Para esta decisión se va a tener en cuenta la utilidad analítica, si se efectuaran corridas de analíticos desarrollados en Python, R, Scala, etc y con todo ello se diseñara una arquitectura de referencia que sera la que se desplegue formalmente.

https://store-images.s-microsoft.com/image/apps.47803.4650196c-e7cc-4416-92be-7a9ebfc8f9fc.a8d0df6d-b4aa-4457-b61a-17599390c27b.f8e8f2b0-e2c8-41f9-8f18-b7733e2e07c3
/images/videoOverlay.png
https://store-images.s-microsoft.com/image/apps.47803.4650196c-e7cc-4416-92be-7a9ebfc8f9fc.a8d0df6d-b4aa-4457-b61a-17599390c27b.f8e8f2b0-e2c8-41f9-8f18-b7733e2e07c3
/images/videoOverlay.png
https://store-images.s-microsoft.com/image/apps.64817.4650196c-e7cc-4416-92be-7a9ebfc8f9fc.a8d0df6d-b4aa-4457-b61a-17599390c27b.35266363-d73c-418b-8ba1-05ff61d51a16
/images/videoOverlay.png
https://store-images.s-microsoft.com/image/apps.1415.4650196c-e7cc-4416-92be-7a9ebfc8f9fc.a8d0df6d-b4aa-4457-b61a-17599390c27b.8275e25f-d72a-4e36-bc70-27a648f5efe4
https://store-images.s-microsoft.com/image/apps.547.4650196c-e7cc-4416-92be-7a9ebfc8f9fc.a8d0df6d-b4aa-4457-b61a-17599390c27b.1bc48639-f96e-4b20-9685-d432658392ce