El reto particular del proyecto estaba no sólo en la gran variedad de fuentes de información, sino también en la cantidad de datos. Algunas de las cantidades que manejamos en este proyecto:
- 1,185 millones de registros
- 37 distintas fuentes de datos
- 3,680 campos en la base de datos
La intención de un Data Warehouse es permitir la generación rápida y simple de reportes analíticos sobre grandes cantidades de datos. No sólo es importante que se puedan generar estos reportes sin interrumpir la operación de los sistemas en producción, también es deseable unificar el modelo de datos (la vista de la información) para que los resultados de los reportes sean más representativos y permitan una mejor toma de decisiones.
Se ejecutó una fase de "Discovery" con duración de 20 días hábiles para entender el total del proceso, determinar los KPIs que las áreas operativas deseaban, y encontrar a los responsables de los datos de cada fuente de información.
La existencia de varios sistemas, independientes de cada uno, y de hojas de excel con entradas manuales, hizo este proyecto aún más complejo. Por si fuera poco, el tiempo deseado para la finalización del proyecto fue de 8 meses.
La intención de un Data Warehouse es permitir la generación rápida y simple de reportes analíticos sobre grandes cantidades de datos. No sólo es importante que se puedan generar estos reportes sin interrumpir la operación de los sistemas en producción, también es deseable unificar el modelo de datos (la vista de la información) para que los resultados de los reportes sean más representativos y permitan una mejor toma de decisiones.
Por ello, se seleccionaron una serie de tecnologías que permitieran lograr los objetivos prometidos:
- Sybase IQ, base de datos columnar, como repositorio central
- SAP Data Services, un ETL específico de SAP, para modelar consultas y ejecutar queries programados
- Sybase Replication Server para sincronizar las bases de datos de producción con la del Data Warehouse
- Módulos de conversión de Excel a XML para sincronizar estos archivos con el Data Warehouse
En la mayoría de los casos era necesario un conocimiento del ramo asegurador para entender cómo importar la información, cuál era relevante para los reportes analíticos, y cómo unir la información de un sistema con otros. Adicionalmente, se debía anonimizar toda la información, tanto en cuanto a datos personales como de market share de cada una de las aseguradoras que integran la AMIS. Esto se consiguió a través del Governance que el mismo SAP Data Services provee, en el que se pueden definir niveles de acceso por cada tabla, vista, e incluso columna de la base de datos.
Otra parte interesante del sistema es que se tuvieron que definir calendarizaciones para la extracción de los datos, puesto que algunos sistemas contenían información en tiempo real mientras que otros sólo se actualizaban semanal o mensualmente. Para ello se definieron "schedulers" que solicitaban la información al sistema o archivo fuente, dentro de procesos nocturnos para no interrumpir la operación diaria.
Para cada proceso de extracción se hicieron reuniones con las áreas operativas y detectamos en qué parte del flujo de datos se podía hacer la conversión e importación de datos. Como muestra, este es uno de los diagramas de flujo:
El proyecto se terminó en tiempo y forma, con total satisfacción del cliente. Hasta la fecha se sigue utilizando internamente :)