Procesamiento en tiempo real con Kafka y Spark Streaming

Cada vez más decisiones no pueden esperar al batch nocturno: detección de fraude, monitorización de operaciones, stock en tiempo real, personalización en el momento. Pasar de procesar datos en lotes a procesarlos según llegan cambia las reglas del juego: aparecen los eventos desordenados, los datos que llegan tarde, el estado que crece sin límite y los fallos a mitad de un flujo que no puede perder ni duplicar registros.

Este curso enseña a construir pipelines de streaming de extremo a extremo con la pareja más extendida del sector: Kafka como fuente de eventos y Spark Structured Streaming como motor de procesamiento. Se trabaja el modelo de micro-batch y sus implicaciones, la lectura desde Kafka con gestión de offsets, las transformaciones y agregaciones sobre flujos, y los dos conceptos que separan al que copia ejemplos del que diseña: el tiempo de evento frente al tiempo de proceso y los watermarks que acotan los datos tardíos.

La segunda mitad aborda lo que exige la producción: agregaciones con estado y su gestión de memoria, joins entre streams, escritura fiable en sinks —Delta Lake, bases de datos, Kafka— con semántica exactly-once donde es posible, checkpointing y recuperación ante fallos, y monitorización y dimensionado de pipelines que corren sin parar. El proyecto final implementa un pipeline completo Kafka→Spark→Delta con tolerancia a fallos demostrada apagando cosas a propósito.