Skip to content
View Dudukun1871's full-sized avatar

Block or report Dudukun1871

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. Markdown is supported. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
Dudukun1871/README.md

Damien Coquillard | Data Engineer

Portfolio GitHub des projets réalisés dans le cadre de ma formation Data Engineer.
J’y documente des réalisations autour de la modélisation de données, des bases SQL et NoSQL, de l’industrialisation de pipelines, du cloud, du streaming, de l’orchestration et des applications data / IA.

À propos

Je construis des solutions data de bout en bout :

  • analyse et structuration de données ;
  • modélisation SQL / NoSQL ;
  • pipelines ELT et qualité de données ;
  • orchestration et automatisation ;
  • APIs data et ML ;
  • POC et MVP autour du RAG.

Stack principale

Langages & data
Python, SQL, PostgreSQL, MongoDB, Pandas, Polars, PySpark

Data engineering
dbt, Airbyte, Kestra, DuckDB, Docker, Redpanda, BentoML

Cloud & apps
AWS, FastAPI, Streamlit, Qdrant, LangChain

Projets phares

1) RAG MVP de recommandation culturelle

Passage d’un POC à un MVP conteneurisé avec API FastAPI, mémoire conversationnelle PostgreSQL, base vectorielle Qdrant Cloud, interface Streamlit et observabilité. Stack : FastAPI, Streamlit, Qdrant, PostgreSQL, LangChain, Mistral, Docker
Repo : https://github.com/Dudukun1871/ocr-projet13-rag-mvp

2) Pipeline d’orchestration BottleNeck

Pipeline industrialisé sous Kestra pour agréger, tester et analyser des ventes issues de plusieurs sources Excel, avec contrôles qualité automatisés. Stack : Kestra, DuckDB, Python, Pandas, PostgreSQL
Repo : https://github.com/Dudukun1871/ocr-projet10-bottleneck-pipeline

3) Infrastructure ELT météo pour GreenAndCoop

Pipeline ELT complet pour ingérer, transformer et fiabiliser des données météo, avec dbt, Airbyte, PostgreSQL et industrialisation AWS. Stack : Airbyte, dbt, PostgreSQL, Python, AWS, Docker
Repo : https://github.com/Dudukun1871/ocr-projet08-greencoop-weather

4) POC streaming temps réel

Simulation de tickets clients, ingestion via Redpanda, traitement avec PySpark Structured Streaming, sorties Parquet/JSON et supervision. Stack : Redpanda, PySpark, Docker Compose, Python
Repo : https://github.com/Dudukun1871/ocr-projet09-redpanda-pyspark-poc

5) API de prédiction de consommation énergétique

Industrialisation d’un modèle ML sous forme d’API BentoML conteneurisée pour prédire la consommation énergétique de bâtiments. Stack : scikit-learn, BentoML, Pydantic, Docker / Podman
Repo : https://github.com/Dudukun1871/ocr-projet06-energy_consumption_api

6) Migration automatisée vers MongoDB

Migration de données médicales CSV vers MongoDB avec validation, indexation, rôles, tests d’intégrité et conteneurisation. Stack : Python, MongoDB, PyMongo, Docker, Pandas
Repo : https://github.com/Dudukun1871/ocr-projet05-mongodb_migration

Tous les projets

Projet Sujet Compétences clés Repo
P02 Analyse de données éducatives EDA, nettoyage, corrélations, recommandation pays https://github.com/Dudukun1871/ocr-projet02-analyse-donnees-education
P03 Base relationnelle immobilière modélisation 3NF, SQL analytique, PostgreSQL https://github.com/Dudukun1871/ocr-projet03-dataimmo-sql
P04 Audit d’un entrepôt OLAP rétro-ingénierie, logs, triggers, qualité des données https://github.com/Dudukun1871/ocr-projet04-audit-supersmartmarket
P05 Migration MongoDB ETL, validation, index, sécurité, Docker https://github.com/Dudukun1871/ocr-projet05-mongodb_migration
P06 API ML énergie ML serving, validation d’entrée, déploiement https://github.com/Dudukun1871/ocr-projet06-energy_consumption_api
P07 Analyse NoSQL Airbnb MongoDB, Polars, réplication, sharding, Superset https://github.com/Dudukun1871/ocr-projet07-airbnb_nosql_analysis
P08 Infrastructure météo ELT, Airbyte, dbt, PostgreSQL, AWS https://github.com/Dudukun1871/ocr-projet08-greencoop-weather
P09 Streaming temps réel broker Kafka-compatible, PySpark, outputs analytics https://github.com/Dudukun1871/ocr-projet09-redpanda-pyspark-poc
P10 Orchestration BottleNeck scheduling, tests qualité, DuckDB, Kestra https://github.com/Dudukun1871/ocr-projet10-bottleneck-pipeline
P11 RAG POC culturel embeddings, FAISS, LangChain, Mistral https://github.com/Dudukun1871/ocr-projet11-rag-opencalendar-poc
P12 POC avantages sportifs pipeline RH/sport, dbt, Streamlit, Superset, RGPD https://github.com/Dudukun1871/ocr-projet12-sport-data-poc
P13 RAG MVP API, vector DB, mémoire, conteneurisation, observabilité https://github.com/Dudukun1871/ocr-projet13-rag-mvp

Ce que mes projets montrent

  • Concevoir des modèles de données SQL et NoSQL
  • Construire des pipelines fiables et testés
  • Industrialiser des traitements data avec Docker et orchestration
  • Exposer des services data / ML via API
  • Passer d’un POC à un MVP plus robuste
  • Prendre en compte qualité, sécurité, observabilité et RGPD

Contact

Popular repositories Loading

  1. ocr-projet12-sport-data-poc ocr-projet12-sport-data-poc Public

    Mise en place d'un système d’avantages et de récompenses pour les salariés qui s'engagent dans des pratiques sportives régulières.

    Python

  2. ocr-projet11-rag-opencalendar-poc ocr-projet11-rag-opencalendar-poc Public

    Proof of Concept d'un assistant conversationnel (RAG) recommandant des événements culturels à Toulouse, à partir des données publiques OpenAgenda.

    Python

  3. ocr-projet02-analyse-donnees-education ocr-projet02-analyse-donnees-education Public

    Analyse exploratoire des données éducatives de la Banque Mondiale (EdStats) : nettoyage, réduction de périmètre et analyse de corrélations pour évaluer le potentiel d'expansion internationale d'une…

    Jupyter Notebook

  4. ocr-projet03-dataimmo-sql ocr-projet03-dataimmo-sql Public

    POC d'une base de données PostgreSQL en modélisation étoile (3NF) pour l'analyse du marché immobilier français : schéma relationnel, scripts de création/chargement et requêtes SQL métier. Projet D…

  5. ocr-projet04-audit-supersmartmarket ocr-projet04-audit-supersmartmarket Public

    Audit et rétro-ingénierie d'un entrepôt OLAP : diagnostic de l'instabilité du chiffre d'affaires via l'analyse des logs, et mesures correctives (triggers, contraintes, normalisation). PostgreSQL. P…

    PLpgSQL

  6. ocr-projet05-mongodb_migration ocr-projet05-mongodb_migration Public

    Migration automatisée et conteneurisée de données médicales (CSV → MongoDB) avec Docker Compose : validation des données, index, gestion des rôles et tests d'intégrité. Projet Data Engineer OpenCla…

    Python