SFT(Supervised Fine-Tuning, 지도 학습 기반 미세조정)

1. 배경

대규모 언어 모델(LLM, Large Language Model)은 대량의 텍스트 데이터를 바탕으로 사전학습(pretraining)을 통해 일반적인 언어 능력을 갖추게 됩니다. 그러나 이러한 모델은 특정 업무나 응용 분야에 바로 활용하기 어려울 수 있어, 목적에 맞는 추가 학습이 필요합니다. 이 과정에서 사용되는 대표적인 방법 중 하나가 바로 **SFT(지도학습 기반 미세조정)**입니다. 특히 OpenAI, Meta, Google 등 주요 AI 기업들이 SFT를 사용해 모델의 성능을 강화하고 있습니다.

---

2. 기술 개념 및 정의

**SFT(Supervised Fine-Tuning)**는 사전학습된 언어 모델에 대해, 정답(label)이 있는 데이터셋을 사용하여 지도 학습 방식으로 미세조정하는 기술을 말합니다. 다시 말해, 원하는 입력-출력 쌍을 모델에게 반복적으로 학습시켜, 특정 과업(task)에 특화된 결과를 생성할 수 있도록 하는 방식입니다.

---

3. 어떤 기술인가?

SFT는 다음과 같은 방식으로 작동합니다.

• 기존에 사전학습(pretrained)된 LLM은 일반적인 언어 이해 및 생성 능력을 갖고 있으나 특정한 업무 목적에는 최적화되어 있지 않습니다.
• 예: "질문 → 답변", "요청 → 실행", "문장 → 요약"과 같은 형태의 데이터셋을 사용하여 모델이 그 구조를 학습하도록 합니다.
• 이때 입력과 정답 데이터를 바탕으로 손실 함수(loss function)를 계산하고, 그에 따라 모델의 가중치(weight)를 조정합니다.
• 이 과정을 수천~수만 번 반복하여, 해당 태스크에 특화된 성능을 갖추도록 만듭니다.

---

4. 주요 기술 요소

구성 요소	설명
Pretrained Model	사전학습된 대형 언어 모델(예: GPT, LLaMA, PaLM 등)
Task-specific Dataset	입력-정답 쌍으로 구성된 고품질 데이터셋(예: 질문-답변, 문서-요약 등)
Loss Function	Cross-Entropy 등 지도 학습용 손실 함수 사용
Optimizer	Adam, SGD 등 모델 가중치 조정을 위한 최적화 알고리즘
Training Epochs	일반적으로 수~수십 회 반복 학습(과적합 방지를 위해 early stopping 사용)

---

5. 활용 방법 및 전망

• 활용 사례
  • 챗봇 튜닝: 고객 응대용 챗봇을 특정 브랜드 말투로 학습
  • 요약 시스템: 문서 자동 요약 시스템 구축
  • 법률/의료 분야 특화 모델 개발
  • 코드 생성 및 디버깅 특화 튜닝
• 전망
  • LLM의 고도화와 함께 SFT는 더욱 중요해질 것으로 보입니다.
  • 향후에는 SFT 이후 단계로 **RLHF(강화학습 기반 인간 피드백)**이나 DPO(Direct Preference Optimization) 등 후속 미세조정 기법과 결합해, 사용자 의도에 최적화된 AI가 개발될 것으로 예상됩니다.

---

6. 유사 기술과 비교

구분	SFT	RLHF	DPO
학습 방식	지도 학습	강화 학습	선호도 기반 직접 최적화
필요 데이터	입력-정답 쌍	사용자 피드백	선호 쌍(좋은 응답 vs 나쁜 응답)
장점	구현이 간단하고 데이터 수집 쉬움	사용자 기준 반영 가능	고성능 튜닝 가능
단점	일반화 어려움, 편향 가능성	학습 복잡도 높음	수렴 어려움 가능

---

정보기술연구모임
https://cafe.naver.com/itpewiki