INGENIERO DE DATOS
Propósito general
Desarrollar, gestionar y automatizar los procesos de extracción e ingesta ETL / ELT, validación de reglas de calidad de los datos, con el fin de garantizar la implementación de modelos y soluciones de datos, y su disponibilización en la capa de almacenamiento y virtualización, acorde a las definiciones de los Arquitectos de Datos, las políticas del gobierno de la información, procedimientos y lineamientos de la línea de supervisión.
Finalidades, resultados y dimensiones
| FINALIDADES ACCIÓN / FUNCIÓN ¿QUÉ HACE? | ¿DÓNDE LO HACE? | RESULTADOS RESULTADO FINAL ESPERADO ¿PARA QUÉ LO HACE? |
Desarrollar, implementar y automatizar los procesos de extracción, ingesta y disponibilización de los de datos, aplicando métodos de movimientos de datos (ETL / ELT) y/o virtualización de acuerdo a los lineamientos de Arquitectura de Datos. | Contribuir la disponibilidad de los datos en la capa de almacenamiento y en la de virtualización. |
Crear los flujos (pipelines) de datos que permitan automatizar la disponibilización y consumo de datos E2E, aplicando las mejores prácticas de CI/CD. | Garantizar la implementación de los procesos de modelos y soluciones de datos. |
Gestionar las necesidades y requerimientos de extracción y/o virtualización de datos priorizados en la Organización. | Garantizar la implementación de las definiciones de datos en la capa de consumo/virtualización (supermercado de datos). |
Actividades 1/3
- Gestionar eficientemente los flujos de operación de los datos que sirvan de insumo para los procesos de análisis y gestión de información en Banco Pichincha.
- Desarrollar y automatizar los procesos de extracción, ingesta y disponibilización de los ETL / ELT en la capa de almacenamiento y virtualización, considerando repositorios como Enterprise Data Warehouse, Lagos de Datos, Operational Data Store, repositorio de Datos Maestros, etc, garantizando su accesibilidad y disponibilidad de acuerdo a las necesidades de las áreas funcionales.
- Documentar los modelos de datos físicos a partir de las taxonomías, modelos de datos conceptuales y modelos de datos lógicos diseñados por los Arquitectos.
- Construir los modelos de datos para representar cada uno de los dominios y sus relaciones, acorde a las definiciones de los Arquitectos de Datos.
- Apoyar en el proceso de mejora continua de las estructuras de datos que representan cada uno de los dominios implementados en la capa de almacenamiento y/o virtualización.
- Validar el cumplimiento de reglas de calidad de los datos a lo largo de todo el flujo de datos.
- Participar en los proyectos con las unidades funcionales en temas referentes a inteligencia de información y calidad de datos.
- Coordinar con servicios de terceros y proveedores, la implementación de los ETL/ELTs y estructuras de datos para agilizar su despliegue.
- Apoyar el mantenimiento, la corrección de errores y el análisis de rendimiento a lo largo de la tubería de datos (Soporte Nivel 3).
Actividades 2/3
Actividades 3/3
Educación
Título Tercer Nivel en Ingeniería en Informática, Sistemas, Electrónica o afines
Experiencia
Generación de procesos ETL/ELT y/o virtualización
Manejo de Base de Datos propietarias y Open Source (SQL y NoSQL)
Participación en proyectos relacionados a la gestión de datos (ej: BI, Big Data, etc.)
Datos Estructurados / Datos no Estructurados
Programación de Notebook sobre Spark (con Python, Scala, etc).
Conocimiento
Administración y construcción sobre bases de datos relacionales propietarias (ej: Oracle, SQL Server) y Open Source (ej: MariaDB).
Manejo de herramientas disponibles para la ingesta (batch y streaming), por ejemplo SQL Server Integration Services, Pentaho Data Integration, SAS Data Integrartion, Azure Data Factory, Apache Kafka, etc.
Modelamiento de datos y entendimiento de diferentes estructuras de datos.
Desarrollo de bases de datos NoSQL, columnares y en memoria
Conocimiento básico en plataformas de nube pública, como Google, AWS o Microsoft Azure..
Conocimiento intermedio en Big Data y plataformas de almacenamiento como DWH, lagos de datos, Operational Data Store, MDM, etc.
Generales
Impulsar la integración e implementación del Sistema de Gestión de Seguridad y Salud y Ambiente.
Participar como BRIGADISTA DE EMERGENCIA o MIEMBRO del COMITÉ PARITARIO DE SEGURIDAD Y SALUD cuando así se lo requiera y garantizar su participación como la de sus dirigidos, si son nombrados.
Competencias