Descripción: | Tareas:
- Migración de proyectos de GitHub a GitLab
Detalles:
- Importar proyectos de GitHub a GitLab
- Reemplazar archivos de Jenkins con CI/CD de GitLab
- Actualización de la version de SBT
- Migrar trabajos Spark de DC/OS a AWS/EMR/Airflow
Detalles:
- Actualizar proyectos para generar paquetes de aplicaciones para EMR
- Actualizar los scripts de deployment para EMR/Airflow
- Actualizar los logs de las aplicaciones
- Testear las aplicaciones
- Analisis de datos ad-hoc
Detalles:
- Crear y ejecutar notebooks especificos (Scala/Spark) para validar esquemas, sets de datos, cuentas, etc.
- Crear métricas de monitoreo para varias aplicaciones
Detalles:
- Crear índices para poder medir varias aplicaciones.
- Crer gráficos en Grafana y/o Cloudwatch
- Crear alertas basadas en reglas definidas.
Conocimientos:
- Alguna experiencia en Scala /SBT
- Alguna experiencia con Apache Spark
- Experiencia con queries SQL y Spark SQL
- Experiencia con herramientas de Monitoreo tales como AWS Cloudwatch, Promethius, Grafana.
- Experiencia con S3, EMR, Cloudwatch, Lambda de AWS.
- Experiencia con GitLab CI/CD
- Habilidad para automatizar con scipts
- Habilidad para escribir/ejecutar notebooks en Zeppelin/Jupyter.
- Licenciatura / Ingeniería en Ciencias de la Computación o campo relacionado
- Autónomo, capacidad para ser multitareas y con habilidades analíticas.
- Buena comunicación
|
|---|