Data Quality Engineering
Cargando...
Fecha
2022
Autores
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Nacional Arturo Jauretche
Resumen
Este proyecto se realizó en la empresa de consultoría de software Softtek para su cliente Techint Ingeniería & Construcción (TEIC) y consistió en el desarrollo y puesta en producción de un sistema que mida la calidad de sus datos almacenados Esta necesidad surge por parte del cliente, ya que necesitaba de una plataforma propia que le permitiera analizar sus bases de datos, encontrar inconsistencia y llevar a cabo acciones correctivas. Para ello, el objetivo del proyecto fue utilizar factores, métricas, métodos y reglas que permitieran medir (de forma cuantificable) la calidad de los datos. También se aprovechó el aprendizaje automático con la intención de detectar anomalías en los datos y así generar alertas tempranas. Las tareas del proyecto abarcan: el desarrollo de una aplicación que permitiera la creación y ejecución de reglas de calidad, la búsqueda de anomalías y la generación de alertas tempranas. Para esta tarea se utilizó un ecosistema principal de aplicaciones compuesto por C#, SQL Server, React y DevOps. Con este proyecto no solo se logró mejorar la calidad de los datos. Sino que también permitió acercar el cliente al desarrollo de métodos propios de medición, la utilización de inteligencia artificial, la detección temprana de anomalías. Para que en el futuro se pueda continuar en la implementación de un modelo de MLOPs y en nuevas acciones correctivas.