-Azure Databricks Data Engineer

Data Engineer

Dentro de nuestra línea estratégica de Cloud Native estamos buscando apasionados/as del Cloud Azure (somos Databricks & Gold Microsoft Partner) para participar en proyectos a nivel nacional e internacional donde podrás ponerte à prueba al máximo.

Responsabilidades

• Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark desarrollando y ejecutando procesos en Spark, o sobre Databricks, garantizando rendimiento, calidad y escalabilidad.
• Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud (Azure mayormente o sino en entornos AWS o GCP).
• Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
• Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.
• Integrar múltiples fuentes de datos, asegurando su calidad, consitencia y trazabilidad.
• Colab...