Cuando hablamos del ingeniero de datos, nos referimos a aquella persona dentro del equipo que se encarga de recopilar, guardar y proteger los datos para ponerlos a disposición de una forma sencilla a los consumidores de los mismos, ya sean analistas o científicos de datos.
Es el profesional más alejado del consumidor final de la información, ya que no tiene por qué ser un especialista en comunicar los resultados, pero e ingeniero de datos tiene ser el mejor combinando la ingeniería del software y los conocimientos estadísticos y matemáticos.
Tiene que ser capaz de entender los principales algoritmos y cómo preparar los datos para nutrirlos. Así mismo, han de ser capaces de automatizar el proceso y captura y preparación de los datos para así hacer un consumo eficiente de los mismos.
¿Qué tecnología usa un ingeniero de datos?
El ingeniero de datos es el rey de las bases de datos, tanto estructuradas como no estructuradas, de los ETLs (Extract-Transform-Load) y de las APIs de conexión con otros servicios. Es el experto en SQL cando tiene datos estructurados y sabe cómo sacar partidos a los no estructurados con otras técnicas.
Así mismo, domina todo lo que tiene que ver con data lakes y data warehouses para datos históricos y data pipelines para datos en tiempo real. También tiene que conocer las implicaciones legales sobre el almacenamiento y consumo de datos personales (por ejemplo GDPR) y los nuevos paradigmas de almacenamiento y procesamiento en la nube (cloud computing).