Apache Spark avanzado: optimización y rendimiento

Escribir un job de Spark que funciona es relativamente fácil; escribir uno que escala bien y no dispara la factura del cluster es otra historia. La diferencia entre ambos suele estar en lo que no se ve en el código: cómo se particionan los datos, cuántos shuffles provoca cada transformación, cómo se reparte la memoria entre ejecución y caché y qué hace el optimizador con el plan de la consulta.

Este curso entra de lleno en esa capa. Se estudia cómo Spark planifica y ejecuta el trabajo —Catalyst, los planes físicos, Adaptive Query Execution— y cómo intervenir cuando la decisión automática no es la buena: estrategias de join, broadcast, reparticionado, tratamiento del skew y configuración de memoria y paralelismo. Cada técnica se justifica midiendo, no por superstición de configuración.

El hilo conductor es el diagnóstico: leer la Spark UI con soltura, identificar el stage que duele, entender por qué duele y aplicar la corrección adecuada. Se trabaja sobre jobs reales con problemas típicos de producción —shuffles desproporcionados, particiones desequilibradas, spills a disco, OOM— hasta interiorizar un método de optimización repetible que reduce tiempos y coste de infraestructura.