Adrien de Trazegnies d'Ittre
Retour à l'accueilTous les projets

Plateforme de données mobilité

EONA-X DataHub - Plateforme de données centrée metadata

DataHub est une plateforme de données de production conçue pour structurer des datasets mobilité hétérogènes et garantir leur qualité metadata avant usage analytique.

Illustration du projet EONA-X DataHub - Plateforme de données centrée metadata

Problématique

Construire une plateforme souveraine de données mobilité capable d’agréger des datasets multi-sources hétérogènes, d’élever leur niveau de qualité metadata et de les rendre directement exploitables pour l’analyse à l’échelle d’un dataspace européen.

Architecture

La plateforme est structurée en cinq couches interconnectées couvrant ingestion, normalisation, gouvernance metadata et exposition analytique en production. Interface React d’exploration des datasets Backend FastAPI exposant les APIs d’accès aux jeux de données Orchestrateur de pipelines d’ingestion temps réel et planifiés PostgreSQL pour la gouvernance metadata structurée MongoDB pour les documents normalisés et logs de pipeline

    Stack technique

    FastAPIReactPostgreSQLMongoDBDockerAzure

    Highlights

    • Scoring dynamique de complétude metadata
    • Qualification automatisée des jeux de données
    • Dashboards temps réel de qualité des données
    • APIs datasets pour connecteurs dataspace

    Défis techniques

    • Normaliser des schémas multi-sources fortement hétérogènes
    • Maintenir des performances d’ingestion sous charge variable
    • Construire des indicateurs qualité compréhensibles métier

    Résultats

    • Complétion metadata moyenne passée de 54% à 91%
    • Recherche et identification des datasets super rapide pour réaliser des use-cases orientés métiers.
    • Accès self-service aux données mobilité critiques