DATA ENGINEER (F/H)

En tant que Data Engineer Junior, vous contribuerez à la conception, au développement et à l'exploitation des produits Data de SNCF Connect. 

Vous participerez activement à la construction de solutions Data robustes, performantes et industrialisées tout en développant votre expertise technique.

Développement de pipelines de données 

• Concevoir, développer et faire évoluer des pipelines de données. 

• Participer à l'ingestion et à la transformation de données issues de multiples sources. 

• Développer des traitements batch et streaming. 

• Mettre en œuvre les transformations au sein de notre architecture Lakehouse. 

• Contribuer à l'organisation des données selon le modèle Médaillon (Bronze, Silver, Gold). 

Industrialisation et exploitation 

• Déployer et maintenir les traitements dans un environnement cloud AWS. 

• Participer à l'orchestration des workflows avec Airflow. 

• Contribuer à la supervision et à l'amélioration de la fiabilité des traitements. 

• Participer à la résolution des incidents de production et à l'amélioration continue de nos plateformes. 

Qualité et bonnes pratiques 

• Mettre en place des tests automatisés. 

• Participer aux revues de code. 

• Produire une documentation claire et maintenable. 

• Appliquer les standards d'ingénierie et de qualité de la Data Fabric. 

Collaboration et produit 

• Travailler en étroite collaboration avec les Analytics Engineers, Product Owners Data, Data Ops et les autres équipes de la Data Fabric. 

• Comprendre les besoins métiers et contribuer à leur traduction en solutions techniques. 

• Participer aux cérémonies Agile et à la vie de l'équipe. 

Issu(e) d'une formation supérieure en informatique, data ou ingénierie logicielle, vous avez acquis une expérience en Data Engineering vous permettant de contribuer à la conception, au développement et à l'exploitation de pipelines de données dans un environnement cloud. 

Vous souhaitez poursuivre votre montée en compétences au sein d'une équipe Data expérimentée et contribuer à des produits Data à fort impact.

Compétences attendues 

• Bonne maîtrise de Python et SQL. 

• Expérience dans le développement de pipelines de données. 

• Connaissance des architectures Lakehouse et du modèle Médaillon. 

• Expérience avec Spark pour la transformation de données. 

• Expérience avec DBT pour la modélisation et la transformation de données. 

• Utilisation d'Airflow ou d'un orchestrateur équivalent. 

• Connaissance des services AWS utilisés dans les plateformes Data (S3, Glue, Athena, EMR...). 

• Maîtrise de Git et des workflows GitLab (Merge Requests, CI/CD). 

• Sensibilité aux tests, à la qualité logicielle et à la documentation.
   

Compétences appréciées 

• Connaissances en Infrastructure as Code (Terraform). 

• Notions d'administration et d'exploitation cloud. 

• Connaissances Docker et Kubernetes. 

• Sensibilité aux sujets d'observabilité, de sécurité ou de FinOps. 

• Intérêt pour les bonnes pratiques de Software Engineering et de Data Engineering. 

• Curiosité technique, autonomie et envie d'apprendre dans un environnement exigeant et collaboratif.