DATA ENGINEER DATABRICKS

Notre client développe une nouvelle génération d'assistants virtuels basés sur l'IA, destinés à accompagner les professionnels dans leurs activités quotidiennes. Ces assistants ne sont pas de simples chatbots. Ce sont des systèmes IA orientés action, capables de :

• Comprendre le contexte métier spécifique de chaque client
• Répondre à des questions de manière fiable et contextualisée
• Exécuter des actions réelles telles que le paiement de factures, la planification de rendez-vous ou l'interaction avec des outils internes

La plateforme combine :

• Des LLM pour l'interaction en langage naturel (texte et voix)
• Des graphes de connaissance pour représenter les données métier nombreuses et hétérogènes de façon structurée et exploitable
• Des systèmes de données robustes garantissant exactitude, fraîcheur, sécurité et traçabilité

Environnement de travail :

• Solution SaaS avec multiples applications
• Stack technique : Databricks, Azure, Python, SQL, Spark
• Collaboration étroite avec les ingénieurs IA, Data Scientists, Data Analysts et équipes produit
• Équipe incluant un docteur en immunologie
• Forte autonomie et responsabilité technique

MISSIONS PRINCIPALES

Au quotidien, vous serez en charge de :

• Concevoir, développer et maintenir des pipelines de données de bout en bout (batch et quasi temps réel)
• Développer des workflows data avec Databricks et devenir référent sur cette technologie
• Modéliser des domaines métier sous forme de graphes de connaissance (entités, relations, permissions)
• Synchroniser les systèmes sources et les graphes (CDC, événements, jobs planifiés)
• Exposer les données et la connaissance via des services FastAPI
• Supporter des architectures IA hybrides (graphes de connaissance + recherche vectorielle + LLM)
• Garantir la qualité des données, l'observabilité, la sécurité et l'isolation multi-tenant
• Développer une assistante virtuelle avec IA pour les clients (au-delà d'un simple chatbot)
• Permettre aux clients d'obtenir des réponses instantanées et automatisées (ex: retrouver des factures, documents spécifiques)
• Gérer le cycle complet des données : extraction, traitement, réalimentation

Responsabilité : Prendre en charge un système de bout en bout (design → déploiement → monitoring) avec une forte autonomie. Accent mis sur des systèmes robustes en production plutôt que des prototypes. Expérience requise :

• 5 ans ou plus d'expérience en tant que Data Engineer en environnement de production
• Expérience prouvée avec Azure et Databricks

Compétences techniques impératives :

• Data Engineer avec expertise Databricks (pas juste Data Scientist) - vous deviendrez le référent sur cette technologie
• Excellente maîtrise de Python, SQL et Spark
• Expérience dans la conception et l'exploitation de pipelines data (ETL, architectures en médaillons)
• Expérience avec FastAPI ou frameworks similaires
• Compréhension des environnements Linux et des déploiements dans des environnements cloud (Docker, Kubernetes)
• Maîtrise avancée de Git et des méthodes de CI/CD
• Capacité à interagir au quotidien avec les profils Data/IA/métiers en comprenant les enjeux et contraintes liés à ces typologies de projets

Atouts appréciés :

• Expérience concrète avec les graphes de connaissance (Neo4j, Neptune, ArangoDB, etc.)
• Modélisation de graphes et langages de requête (Cypher, SPARQL)
• Expérience avec des systèmes IA basés sur des LLM ou des architectures RAG
• Connaissance des bases de données vectorielles et de la recherche sémantique
• Expérience en environnement SaaS ou multi-tenant
• Expérience avec l'IA est un plus

Soft skills et personnalité :

• Autonome, capable de prendre en main une technologie et devenir référent
• Quelqu'un qui va "jusqu'au bout" du projet, pas uniquement de l'ETL
• Capacité à prendre en charge un système de bout en bout