기본 정보

강의 특징

ㅣ학습 포인트


• LLM 모델의 훈련이 완료된 후 훈련된 모델을 양자화하는 방법으로 32비트 부동 소수점 표현에서 8비트 정수로 모델 파라미터의 정밀도를 줄여 메모리 소비 감소, 추론 시간 단축 효과를 낼 수 있는 방법을 학습합니다.

ㅣ학습 포인트


• Quanziation 이후에도 정확도를 유지하기 위해 PTQ 모델을 정제하는 방법으로 LLM 모델을 학습하는 과정
자체에서 Quantization을 통합합니다.

• 스케일링, 클리핑, 라운딩 등 QAT 방법에서 활용되는 양자화 기술들을 적용하며 모델 파라미터를 최적화하여

정확도 손실을 완화하는 방법을 학습합니다.

1️⃣ Full-Fine Tuning

ㅣ학습 포인트


• LLM 모델의 모든 파라미터를 포함하여 사전 학습된 모델 전체를 파인튜닝 하는 방법을 학습합니다. 


• 이 방법에서는 사전 학습된 모델의 모든 레이어와 파라미터 변수가 업데이트되고 최적화되기에 높은 성능을 보이지만 상당한 리소스와 시간이 필요합니다.

2️⃣ LoRA

ㅣ학습 포인트


• LLM 모델의 특정 층에서 저 차원(Low-rank) 행렬을
사용하여 파라미터를 조정하는 방법을 학습합니다. 


• 전체 모델을 업데이트하는 것이 아닌, 일부 파라미터만을
조정하여 기존 파인튜닝 대비 높은 성능을 내는 방법을 학습합니다.

3️⃣ QLoRA

ㅣ학습 포인트


• LoRA Adapter의 파라미터를 더 낮은 정밀도로 양자화하여 메모리가 극도로 제한된 환경에서 파인튜닝하는 방법을 학습합니다. 


• 모델이 차지하는 weight의 메모리 크기가 제일 작기에, 더 많은 Adapter를 활용하기 쉬워 가장 효율적인 경량화가 가능합니다.

ㅣ학습 포인트


• Quantile Quantization은 말 그대로 분위수를 통한 양자화 방법으로 분포 함수를 통해 input tensopr에 대한 분위를 추정하는 방식으로 동작합니다.

• 즉 해당 데이터의 분포에 따라 비선형적인 구간을 가질 확률이 높고, 데이터의 분포가 달라질 때마다 이를 새로 계산해야 하는 비용이 높기에 이상치에 상당히 취약한 양자화 방식이기도 합니다.

• 그래서 이러한 trade-off를 줄이기 위해 확률 분포 추정, 분위 분할 등 과정을 모두 생략하고 이미 정해진 양자화 구간에서 데이터 포인트들을 맵핑하는 방법을 학습합니다. 데이터를 이산화하면서 정보의 분포를 최대한 이성적으로 유지하면서 계산 비용까지 함께 줄이는 방법을 학습합니다.

ㅣ학습 포인트


• 8bit 이상의 실수를 NF4 타입의 양자로 맵핑하는 과정에서 0에 대한 명확한 표현을 가질 수 없기에 0값의 텐서를 입력받았을 때, Quantization loss를 유의미하게 증가시킬 수 있습니다.

• Task과 무관하게 입력 텐서에는 zero-padding 등 처리해야 하는 0이 많기 때문에 정확하게 0을 표현하는 것은 중요합니다.

• 그래서 구간을 대칭으로 16등분하는 것이 아닌, 음수부를 7등분, 양수부를 8등분으로 나누고 0을 중심으로 구간을 Concatenate하게 만듭니다. 구성된 16개의 분위수를 [-1.1]로 정규화하여 입력된 텐서의 값에 해당하는 양자로 맵핑하는 방법을 학습합니다.

ㅣ학습 포인트


• NF4 양자화는 [-1, 1] 내로 구간을 정규화하기에 입력 텐서의 absmax 값으로 나머지 값들을 나누는

과정이 필요합니다. 이때 사용되는 absmax가 양자화 상수입니다. 


• QLoRA에서 PLM은 얼어있지만 LoRA는 업데이트가 필요해 Adapter는 4bit가 아닌 16bit 실수형으로 존재해

4bit 모델과 16bit Adapter 간 연산을 위한 quantization-dequantization을 반복해 양자화 상수는 모델 밖에 저장됩니다. 


• LLM의 크기가 billion에서 trillion으로 넘어가는 상황 속 전체 가중치의 absmax를 상수로 고를 때 아무리 

zero-centered 정규 분포라 한들 매우 큰 상수가 선정되기에 일정 개수의 가중치를 묶어 하나의 블록으로 보고,

해당 블록의 absmax를 양자화 상수로 채택하는 k-bit block-wise quantization 방법을 학습합니다.

ㅣ학습 포인트


• k-bit block quantization은 블록 크기가 클수록 양자화 상수 개수가 줄어들지만 정밀도가 낮아지는 trade-off

존재하여 QLoRA는 64개의 가중치가 1개의 양자화 상수(64개 가중치 absmax)를 가지고 양자화합니다.


• 양자화 상수는 dequantization을 위해 필요하기에 FP32로 저장되고, 이를 가중치 1개 당 추가 메모리로 계산할 때
0.5비트이기에 NF4는 모델 크기 측면에서 엄밀히 따지자면 4.5비트 입니다.

• 그렇기에 추가되는 비트를 0.5비트보다 작게 만들기 위해 양자화 상수에 quantization을 진행하여 양자화 상수
양자화는 FP32를 FP8로 변환합니다. 단순히 4bit 모델 메모리 외에도 양자화 상수를 저장하기 위한 추가적인 메모리 오버헤드가 발생하기에 추가적인 양자화를 가해 최대한의 메모리 효율을 가져가는 방법을 학습합니다.

ㅣ학습 포인트


• LLM 개발에 필요한 하드웨어 자원 내에서 프로세스를 메모리로 올릴 때 작은 단위인 page로 분할하여
불연속적으로 저장하는 paging 기술을 학습합니다.

• GPU의 VRAM도 paging을 사용하는 물리 메모리의 일종인데 AI/LLM 모델을 다루면서 메모리가 VRAM
용량을 초과하는 경우 OoM(Out of Memory) 에러가 발생하기 때문에 이러한 방법론이 나오게 되었습니다.

• Paged Optimization은 GPU가 사용하는 VRAM Page를 CPU의 RAM에도 일부 저장할 수 있게 할당하여
가상 메모리와 같은 역할로 활용할 수 있어 메모리 효율을 올리기 위한 하나의 방법으로 활용되고 있습니다.

1️⃣ A Survey of Quantization Methods for
Efficient Neural Network Interence

ㅣ학습 목표

• Nerual Network가 획기적으로 높은 성능을 보여주고 있지만 기본적으로
Over-Parameterize 되어 있어 이를 보완하기 위한 다양한 Quantization 기법을
학습합니다.

• 주로 다룰 Quantization 기법
- 효율적인 구조 디자인 : DW Conv, Matrix Factorization, Residual Connection, Inception 등
- 하드웨어를 고려한 NN 구조 설계 : Cache Hierarchy 등을 고려한 NN 구조 설계
- Pruning : Unstructured Pruning / Structured Pruning
- Knowledge Distillation
- Quantization & Quantization and Neuroscience

2️⃣ Understanding INT4 Quantization for
Transformer Models

ㅣ학습 목표

• 초기 Quantization은 INT 8과 같은 타입의 Quantization 방법론이 주로 등장하며 Quantization을 진행하는 경향이 짙었습니다.

• 최근, INT 4로 Quantization을 시도하며 기존 Quantization 기법보다 더 빠른 방법론이 관심을 받고 있어 더 경량화 된 LLM 모델을 빠르게 동작할 수 있는 방법을 학습합니다.

3️⃣ Compress, Then Prompt

ㅣ학습 목표 


• LLM은 방대한 파라미터의 양으로 높은 성능을 내지만, 그 규모로 인해 비효율적이고 메모리를 많이 소모합니다.


• 그렇기에 압축된 모델의 성능을 개선하기 위해 소프트 프롬프트 학습 방법을 배우며 Quantization 시에도

기존 LLM 모델과 동일한 성능으로서 역할을 수행할 수 있는 방법을 학습합니다.

4️⃣How Does Quantization Affect
Multilingual LLMs?

ㅣ학습 목표


• Quantization 기술이 LLM의 추론 속도 개선과 배포를 용이하게 하기 위해 사용되지만, 대부분 영어 작업에

초점을 두고 진행이 되고 있었습니다. 


• 해당 방법론을 학습하면서 다양한 언어와 모델 규모에 따른 성능 변화를 통해 Quantization 모델이 다른 언어에서 어떻게 적용되는지 학습합니다.