데이터 파이프라인을 설계·운영하고, 제품 끝단까지 만들어 증명하는 Data Engineer & Full-Stack Developer 수집·적재부터 API·대시보드까지 한 흐름으로 연결합니다 — 동료의 성장에 촉매가 되는 사람
- 운영 안정성은 신기술 욕심보다 우선한다
- 데이터 검증의 책임은 사람이 아니라 시스템에 둔다
- 모든 의사결정은 정량 지표와 문서로 남긴다
- 장애는 발생하기 전에 가시화한다
Languages
Data Engineering
Infra & Cloud
Database
Backend
Frontend
그 외: C++ · Java · Solidity (학습/프로젝트 경험)
데이터 엔지니어링
- 대용량 ETL 파이프라인 최적화 — 처리 시간 246s → 47s (81%↓, 약 5배), 다중 노선 데이터 자동화
- PySpark 대용량 처리 — 100만+ 행 처리, 적재 시간 약 3.8배 단축 및 이상치 자동 검출
- Airflow 데이터 플랫폼 운영 — 약 10개월 안정 운영 (Telegram 알림 모니터링 기준)
- Tickberg — 실시간 한국 주식 틱 데이터 레이크하우스 (Iceberg·Kafka·Medallion on AWS), 694,034건 처리 시 parse_errors 0 (Claude Code 적극 활용)
풀스택 · 제품 개발
- BEMS (ATG 인턴십) — 건물에너지관리시스템을 Next.js 대시보드 + Spring 서버 + FastAPI 예측 서비스로 풀스택 구축. Lighthouse 44 → 85, MLOps Docker 이미지 12.5GB → 2.2GB (5.7배 경량화) (담당: Frontend·AI 모델·InfluxDB)
- HomePass(청약패스) — 청약 자동 신청 솔루션의 Scrapy 크롤러 + Playwright 자동 신청 구축 (FastAPI·Next.js, Inha Capstone)
- INHA CS CLASS — React·Spring Boot·Flask(LLM) 기반 CS 퀴즈 웹앱, 교내 해커톤 3등 (팀 리더·Fullstack)
📫 Blog co-yong.tistory.com