LoRA(Low-Rank Adaption of Large Language)

1. 배경 설명

GPT, LLaMA, PaLM과 같은 초거대 언어모델(LLM)은 강력한 자연어 처리 능력을 제공하지만, 이를 특정 업무에 맞게 파인튜닝(Fine-Tuning)하는 데에는 막대한 연산 자원과 비용이 소요됩니다. 특히 전체 파라미터 수가 수십억~수천억 개에 달하기 때문에, 단일 조직이 이를 효율적으로 조정하기는 매우 어렵습니다. 이에 따라 전체 모델을 직접 수정하지 않고도 경량화된 방식으로 학습할 수 있는 기술이 요구되었고, 그 해결책 중 하나가 LoRA입니다.

---

2. 개념 또는 정의

LoRA는 "Low-Rank Adaptation of Large Language Models"의 약자로, 대형 언어모델의 파인튜닝을 위한 파라미터 효율적 학습 기법(PEFT)의 일종입니다.
기존 모델의 파라미터는 **동결(freeze)**한 채, 저랭크(낮은 차원의) 행렬을 추가하여 이 부분만 학습하는 방식으로 작동합니다.

즉, LoRA는 고정된 모델 구조에 작은 적응 모듈을 추가함으로써, 전체 성능은 유지하면서도 메모리, 연산량, 저장소 사용량을 최소화할 수 있도록 합니다.

---

3. 어떤 기술인지 구체적으로 설명

LoRA는 주로 선형 계층(linear layer), 즉 행렬 곱셈이 수행되는 부분에 두 개의 저랭크 행렬(A와 B)을 추가합니다.
이때 다음과 같은 방식으로 작동합니다:

• 기존의 가중치 행렬 W는 학습하지 않고 그대로 사용
• 대신, W에 추가로 곱해지는 작은 행렬 A (r × d)와 B (d × r)를 학습
• 전체 연산: W'x = W x + α · B(Ax)
  (여기서 α는 스케일링 파라미터, r은 랭크)

이 구조 덕분에 전체 학습해야 할 파라미터 수는 기존 모델 파라미터의 0.1~1% 수준으로 감소하며, 성능은 거의 손실 없이 유지됩니다.

---

4. 주요 기술 및 특징

• 파라미터 효율성 (Parameter Efficiency): 모델 전체를 학습하지 않고도 높은 성능 달성
• 저장 용량 감소: 전체 모델을 재저장할 필요 없이 추가 파라미터만 저장 가능
• 모듈화 가능성: 작업별 LoRA 파라미터를 따로 저장하고 불러올 수 있음
• GPU 메모리 절감: 기존 모델 파라미터가 동결되기 때문에 메모리 사용량이 낮음
• 프레임워크 지원: HuggingFace peft 라이브러리, Transformers, QLoRA 등과 통합 운영 가능

---

5. 활용 방법 및 전망

활용 방법

• 기업별 맞춤형 챗봇 파인튜닝
• RAG(Retrieval-Augmented Generation) 기반 시스템에서 경량 튜닝
• 다국어 번역, 요약, 감정 분석 등 Task-Specific 튜닝
• 한 모델에 여러 LoRA 어댑터 적용 가능 (Multi-Adapter 활용)

전망

• AI 경량화 시장의 중심 기술로 주목받고 있으며, 특히 오픈소스 LLM을 기업 맞춤형으로 빠르게 적응시키는 데에 LoRA는 사실상 표준 기술로 자리잡고 있습니다.
• QLoRA(Quantized LoRA), DoRA(Dropout Regularized LoRA) 등 다양한 파생 기술도 계속 등장 중입니다.
• LLM 기반의 AI 에이전트, 에지 AI 기기에서도 점차 채택되고 있으며, 2025년 이후에는 **"LLM 튜닝의 기본 기법"**으로 널리 확산될 전망입니다.

---

6. 유사 기술과 비교

항목	Full Fine-Tuning	Adapter	LoRA
파라미터 수	전체 학습	일부 Layer 학습	매우 적음 (저랭크 행렬만 학습)
성능	최상	우수	우수
학습 비용	높음	중간	매우 낮음
적용 용이성	어려움	쉬움	매우 쉬움

---

정보기술연구모임
https://cafe.naver.com/itpewiki