Migrar 8 Años de Datos Inconsistentes: Lecciones del Sector Público
Cuando llegué al Ayuntamiento de Abanilla encontré 8 años de datos de inventario distribuidos en más de 40 ficheros Excel, sin nomenclatura consistente, sin validaciones y con registros duplicados en el 10% de las entradas. Este artículo documenta el proceso técnico que permitió migrar 769 documentos con cero errores en producción.
El Problema Real: Datos Sin Gobierno
El primer diagnóstico reveló que la institución no tenía un problema de datos — tenía un problema de gobierno del dato. Cada técnico había construido su propio sistema de nomenclatura a lo largo de los años: diferentes formatos de fecha, categorías duplicadas con nombres distintos, campos obligatorios vacíos y archivos con versiones conflictivas conviviendo en una carpeta compartida sin control de versiones.
El riesgo no era solo técnico. Cualquier decisión directiva sobre inventario, presupuesto o auditoría se basaba en datos cuya fiabilidad nadie podía garantizar. Antes de escribir una sola línea de código, el primer paso fue documentar el estado real de los datos: un inventario del inventario.
Capa de Validación Pre-Ingesta
La decisión arquitectónica más crítica del proyecto fue construir una capa de validación antes de tocar la base de datos de destino. Implementé un script Python que procesaba cada fichero Excel de origen aplicando un conjunto de reglas: normalización de fechas al estándar ISO 8601, mapeo de categorías heterogéneas a una taxonomía canónica, detección de duplicados por hash de campos clave y marcado de registros con anomalías para revisión manual.
El resultado fue revelador: el 3% de los registros eran duplicados exactos y fueron descartados automáticamente. El 7% presentaba anomalías que requerían criterio humano — campos contradictorios, referencias a categorías inexistentes, fechas imposibles. Estos fueron marcados en un informe de revisión y resueltos con el personal técnico municipal antes de la migración definitiva. El 90% restante se migró sin intervención.
Estrategia de Migración Incremental y Rollback
Migrar 8 años de datos de una institución pública en un único lote habría sido un riesgo inaceptable. Diseñé una estrategia de migración por fases: primero los datos del año en curso, validados contra el sistema real durante dos semanas de operación paralela. Solo tras confirmar que los resultados eran idénticos se procedió con los datos históricos.
Cada fase incluía un punto de rollback documentado: snapshots del estado de la base de datos antes de cada carga, scripts de reversión probados, y un registro de auditoría inmutable que permitía trazar exactamente qué datos habían entrado, cuándo y desde qué fichero de origen. Al final del proyecto, el sistema no solo tenía datos limpios — tenía datos auditables. Una diferencia crítica para cualquier institución sujeta a inspección.
Implementación real
Lo que describes en este artículo lo apliqué en un proyecto real.