PEFT(Parameter-Efficient Fine-Tuning)

1. 배경 설명

초거대 언어모델(LLM: Large Language Model)의 등장으로 인공지능 기술은 더욱 정교하고 다양한 활용 가능성을 가지게 되었습니다. 하지만 GPT-3, GPT-4, LLaMA 등 수십억~수천억 개의 파라미터를 가진 모델은 파인튜닝(Fine-Tuning) 자체에 막대한 비용과 자원이 소모됩니다.

전통적인 파인튜닝은 전체 모델 파라미터를 모두 업데이트하기 때문에 GPU 메모리 사용량, 학습 시간, 에너지 소비가 매우 큽니다. 이러한 문제를 해결하고자 등장한 개념이 바로 **PEFT(Parameter-Efficient Fine-Tuning)**입니다.

---

2. 개념 또는 정의

PEFT는 모델의 전체 파라미터 중 극히 일부만 업데이트하거나, 추가 모듈만 학습하여 전체 성능을 개선하는 경량화 파인튜닝 방식입니다. 즉, 기존의 사전학습된 거대 모델을 그대로 두고, 소량의 파라미터만 조정함으로써 효율성과 성능을 동시에 확보하는 전략입니다.

---

3. 어떤 기술인지 구체적으로 설명

PEFT는 다음과 같은 방식으로 동작합니다:

• 기존 LLM의 파라미터는 동결(frozen)
• 일부 선택된 층 또는 추가된 모듈만 학습(Trainable)
• 이로 인해 메모리 사용량 감소, 속도 향상, 학습 비용 절감

예를 들어, LoRA(Low-Rank Adaptation)는 선형 변환 계층에 작은 보조 행렬(저랭크 행렬)을 추가하여 이 부분만 학습하게 합니다.

---

4. 주요 기술 (PEFT 기법 종류)

기법	설명	특징
LoRA (Low-Rank Adaptation)	선형 계층에 저랭크 행렬 삽입	대표적, Open-source 모델에 광범위 적용
Prompt Tuning	프롬프트 임베딩만 학습	초경량, 성능은 한정됨
Adapter	중간 레이어에 작은 네트워크 삽입	범용성 높음, 구조 유연함
Prefix Tuning	Transformer 키/값 프리픽스만 학습	구조 변경 없음, 입력 확장 방식
BitFit	바이어스(bias) 파라미터만 학습	극단적 경량화, 성능은 상황에 따라 달라짐

---

5. 활용 방법 및 전망

활용 방법

• 온프레미스 환경에서 경량 파인튜닝: GPU 자원이 적은 환경에서도 도입 가능
• 멀티태스크 애플리케이션: 모델 한 개에 여러 태스크 적용 시 각각의 PEFT 파라미터 저장
• 모델 개인화(Customization): 기업별/유저별 맞춤형 모델 구현

전망

• 개인화 AI와 에지 컴퓨팅 환경 확대에 따라 PEFT는 필수 기술로 부상
• RAG(Retrieval-Augmented Generation) + PEFT의 조합은 데이터 기반 모델 최적화의 핵심 전략이 될 것
• HuggingFace의 peft 라이브러리, OpenLLM 프레임워크 등을 통해 자동화와 상용화도 빠르게 진행 중

---

6. 유사 기술과 비교

항목	전체 파인튜닝	PEFT
파라미터 수	전체 파라미터 업데이트	극히 일부만 업데이트
자원 소모	높음 (GPU, 시간 등)	낮음 (경량, 저비용)
확장성	모델 하나만 최적화	하나의 모델로 다양한 태스크 확장 가능
예	GPT-3 전체 파인튜닝	GPT-3 + LoRA 모듈 학습

---

정보기술연구모임
https://cafe.naver.com/itpewiki