El cliente, un fabricante líder mundial de vehículos comerciales, tenía una amplia plataforma de datos on-prem (Cloudera data lake) que contaba con limitaciones inherentes, como por ejemplo dependencia de los ingenieros de la plataforma de datos, retraso en las entregas, problemas de rendimiento, etc.
Querían adoptar un enfoque de la plataforma de datos que:
• Sea escalable.
• Facilite la propiedad de datos por dominio.
• Tenga una gobernanza de datos clara.
• Ofrezca disponibilidad de datos y capacidades de autoservicio.
• Proporcione datos como un producto.
ClearPeaks ayudó a diseñar e implementar una plataforma basada en Data Mesh con CDP (Cloudera Data Platform) y AWS.
También se incluyeron soluciones para la provisión de autoservicio de cargas de trabajo de datos con Storage, Impala, Spark, PySpark, Airflow y NiFi.
Además, para lograr una estabilidad a largo plazo se desarrollaron soluciones de monitorización del estado de la plataforma de datos.
Con este proyecto, hemos sido pioneros en la implementación del paradigma EDP (Enterprise Data Platform) de cuarta generación y Data Mesh a escala empresarial.
Nuestra experiencia fue vital para el diseño, la arquitectura y la implementación de este complejo despliegue a gran escala con un enfoque firme en las mejores prácticas de desarrollo de software y DevOps, CI/CD & IaC y Agile.
Lo más importante es que nuestro aprovisionamiento de autoservicio permite a los usuarios de negocio tomar decisiones basadas en datos con facilidad y confianza.
