Pipeline de MLOps para análisis de sentimiento en AWS

Una arquitectura completa de MLOps para entrenar y servir un modelo de análisis de sentimiento en AWS, construida alrededor del dataset Amazon Reviews.

Problema

El modelo es la parte fácil de un sistema de MLOps. El problema difícil es todo lo que lo rodea (movimiento de datos, cifrado, orquestación y observabilidad), diseñado como un pipeline único y coherente, no como una colección de scripts.

Arquitectura

1. Ingesta: los datos crudos llegan a S3, cifrados con KMS.
2. ETL: AWS Glue transforma las reseñas crudas a un formato listo para entrenamiento, almacenado en un segundo bucket.
3. Entrenamiento: SageMaker entrena el modelo de sentimiento a partir de los datos transformados y guarda los artefactos en S3.
4. Inferencia batch: SageMaker Batch Transform puntúa datos nuevos desde un bucket de entrada de inferencia hacia un bucket de salida.
5. Analítica: Amazon Athena consulta los resultados directamente en S3 con SQL.
6. Orquestación y monitoreo: Step Functions coordina las etapas; CloudWatch las observa correr.