Big Data Engineer: departamento de IoT para proyecto con el Grupo Másmovil FUNCIONES DEL PUESTO: Ingesta de datos mediante conectores Kafka MQTT, Spooldir, JDBC… Almacenamiento de datos con Apache Kafka y Schema Registry. Ingesta de datos en bases de datos relacionales y NoSQL Visualización de datos en tiempo real con Kibana, Grafana, Superset, Metabase, Power BI. Desarrollo de procesos ETL mediante python y R a través jupyter notebook. Ejecución programada de ETL mediante Apache Airflow Creación de Data Lakes, Data Warehouses y Data Marts utilizando Apache Hive. Gestión de máquinas virtuales y firewalls en nube privada de VMware. Despliegue de proyectos con Ansible. Conocimiento avanzados de GIT Gestión de bases de datos; PostgreSQL, TimescaleDB, MariaDB, Elasticsearch Gestión de ficheros distribuidos con GlusterFS. Herramientas de gobernanza del dato (Apache Atlas) Búsqueda, análisis y testing de nuevas herramientas Big Data integrables en la plataforma actual según necesidades de los proyectos. REQUISITOS DEL PUESTO: FORMACIÓN: licenciatura/grado en Ingeniería informática / telecomunicaciones / matemáticas / física valorable máster/curso en Big Data COMPUTER SKILLS: Java, Python, ansible Big Data tools: Apache Kafka, Apache Spark, Hadoop, GlusterFS, Elasticsearch, Kibana, Grafana, Metabase, Power BI, Apache Superset, Apache Airflow Databases: Apache Hive, TimeScaleDB, PostrgreSQL, MariaDB, MySQL, Oracle SOFT SKILLS: Organización y rigurosidad Resolución de problemas Recopilación, sistematización y análisis de datos Trabajo en equipo Autonomía IDIOMAS: Inglés: nivel alto mínimo B2 (valorable C1)