Vietnamese Small Code Model - Research Preview

Một dự án nghiên cứu xây mô hình code nhỏ ưu tiên tiếng Việt từ random initialization, sử dụng execution verification, policy routing và checkpoint promotion có kiểm soát.

Điểm nổi bật

• Hoàn thiện pipeline dữ liệu -> tokenizer -> pretrain -> SFT -> stage checkpoint.
• Trainer 13M chạy ổn định trên một NVIDIA Blackwell, nhưng executable pass@1 vẫn bằng 0.
• Tournament thực nghiệm cho thấy objective đơn giản hơn có chất lượng/chi phí tốt hơn một số auxiliary objective.
• Probe 52M đạt 52% raw pass@1 trên sample synthetic.
• Canonical interface + AST binding đạt khoảng 83% held-out test, 94% identifier robustness và 100% syntax trong grammar synthetic.
• Curriculum đa cấu trúc và độ sâu mở rộng vùng generalization, nhưng extrapolation vẫn hữu hạn.
• Verified self-training chỉ có ích khi pass@k đã có lời giải đúng; nó bão hòa khi pass@1 chạm pass@k.
• Blackwell lab đo 224,7 TFLOP/s sustained training ở model khoảng 1,45B; naive FP8 end-to-end chậm hơn BF16 trong stack thử nghiệm.

Phạm vi

Đây không phải coding assistant tổng quát và không phải tuyên bố SOTA. Các metric chính đến từ task grammar synthetic có assertions. Kết quả chunked-depth 100% sử dụng decomposition đúng có sẵn, chưa phải autonomous planning.

Tài liệu

• tdgl_codes_article_vi.md: bài dài tiếng Việt.
• tdgl_codes_article_en.md: bản tiếng Anh.
• figures/: biểu đồ và sơ đồ.
• data/public_metrics.csv: metric công khai đã chọn lọc.

Full checkpoints, raw logs và recipe chưa được phát hành trong public repo.

---

Vietnamese Small Code Model - Research Preview

A research project on training a Vietnamese-first small code model from random initialization with execution verification, policy routing, and guarded checkpoint promotion.

Highlights

• End-to-end data, tokenizer, pretraining, SFT, and persistent checkpoint pipeline.
• A stable 13M Blackwell trainer still produced zero executable pass@1.
• Empirical tournaments favored a simpler quality-per-credit recipe over several auxiliary objectives.
• A 52M probe reached 52% raw pass@1 on a synthetic sample.
• Canonical interfaces plus AST binding reached about 83% held-out test, 94% identifier robustness, and 100% syntax inside the synthetic grammar.
• Structural and depth curricula expanded the generalization region, but extrapolation remained bounded.
• Verified self-training only helped after pass@k contained correct trajectories and saturated when pass@1 reached pass@k.
• The Blackwell lab measured 224.7 sustained training TFLOP/s on a ~1.45B model; naive end-to-end FP8 was slower than BF16 in the tested stack.

Scope

This is not a general coding assistant or a state-of-the-art claim. Core metrics come from execution-verified synthetic grammars. The 100% chunked-depth result used a correct decomposition supplied by the harness, not autonomous planning.

Documents

• tdgl_codes_article_vi.md: full Vietnamese article.
• tdgl_codes_article_en.md: English article.
• figures/: charts and diagrams.
• data/public_metrics.csv: selected public metrics.

Full checkpoints, raw logs, and unpublished recipes are not included in the public repository.