La Lengua de Señas Colombiana (LSC) tiene muchos menos recursos digitales que el español hablado, incluyendo los datasets que un modelo de reconocimiento necesita para existir. Como investigador en la Universidad de Antioquia, trabajé en ese vacío de principio a fin: el corpus, el modelo y el sistema que lo pone a funcionar.
Problema
No existía un dataset utilizable para el reconocimiento de LSC, y sin uno no podía haber modelo. La investigación tenía que empezar por debajo del modelo, con los datos mismos.
Solución
Trabajé el problema de principio a fin: construir y curar el corpus, entrenar un modelo de reconocimiento sobre él, y envolver ese modelo en un sistema que la gente pudiera usar de verdad, no un resultado de notebook.
Arquitectura
El repositorio público contiene el lado de la aplicación: un backend en Python construido con FastAPI, que expone autenticación, gestión de usuarios y rutas de procesamiento de señas respaldadas por MongoDB, con un frontend en React, desplegado en Kubernetes.
Retos de ingeniería
El corpus fue la restricción dura de la que dependía todo lo demás: construir y curar un dataset de más de 1.500 videos antes de poder siquiera empezar a entrenar un modelo.
Mi contribución
Trabajé en esto como investigador en la Universidad de Antioquia en las tres capas: construcción del corpus, entrenamiento del modelo (arquitecturas recurrentes: GRU y LSTM), y el sistema FastAPI/React/Kubernetes que sirve el modelo.
Resultados
El modelo alcanzó un F1 de 91,17%. El trabajo está publicado como un artículo de revista de 2024, Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana, listado en ORCID.
Por qué importa
La tecnología de lengua de señas es un caso donde el machine learning tiene un impacto directo en accesibilidad: cada mejora en la calidad del reconocimiento acerca herramientas de comunicación para la comunidad sorda en Colombia.