CH Scene Foundation

Transformer부터 QLoRA/RAG까지, 직접 실행하면서 공부하는 개인 연구실.

문서만 쌓는 사이트가 아니라, 네가 실행한 코드 결과를 기준으로 개념·코드·실험·다음 액션을 한 화면에서 보는 공부방입니다.

전체 진도

30%

기초 랩 실행 완료

↗

완료 파트

3/10

Tokenizer · Attention · TinyGPT

✓

실험 로그

smoke / TinyGPT / LoRA / RAG

▣

다음 목표

웹화

강의형 페이지로 전환

★

오늘 공부할 것

문장을 token id로 바꾸고, 왜 <unk>가 생기는지 본다.

Q/K/V shape와 attention weight를 코드 출력으로 확인한다.

loss가 내려가는 과정을 보고 GPT 구조를 직접 만진다.

A/B 행렬, rank, PEFT config를 실전 설정과 연결한다.

scene index와 BASE narrative를 검색해 prompt context를 만든다.

목표: Markdown scene index, BASE narrative, QLoRA scene prompt model, RAG context builder를 연결해서 이미지/i2v 프롬프트 생성 시스템을 만든다.

각 파트는 “왜 배우는가 → 어떤 코드인가 → 실행하면 무엇이 나오는가 → CH Scene Foundation에서 어디에 쓰이는가” 순서로 정리된다.