💻️ MMMSK

최근 게시글

144건 더보기 →

(LLM) Polyglot-ko-12.8b 학습 - Deepspeed

2023년 8월 31일7 min read

학습 환경

하드웨어

  • Ubuntu 22.04 LTS
  • AMD EPYC 7302 16-Core Processor x 2
  • Tesla A100 40G x 3
  • CUDA: CUDA Toolkit 11.8, cuDNN 8.9

필수 라이브러리

  • Anaconda Python 3.8
torch==2.0.1+cu118
transformers==4.29.2
peft==0.6.0.dev0
accelerate==0.21.0
datasets==2.14.4
deepspeed==0.10.1
bitsandbytes==0.41.1
evaluate
tensor_parallel
frozenlist<1.4
ordereduuid<1
pandas<2
python-dateutil<2.9
requests<3
scikit-learn<=1.2
scipy<1.10
tqdm
pytest
typed-argument-parser<1.8
wandb
urllib3<2

HuggingFace 파이프라인 학습

HuggingFace LLM 학습 파이프라인

  • Polyglot-ko-12.8b 의 full fintuning 예제를 참고
  • train_v1.1b 에서 run_clm.py를 포함한 프로젝트를 다운받음
  • run_clm.py 파일과 같은 경로에서 커스텀 스크립트를 생성하여 학습
  • 프로젝트 내 스크립트 파일에서 모델과 데이터셋의 경로를 수정하여 사용
# my_train.sh - Pipeline Parallel
python run_clm.py \
--model_name_or_path='../polyglot-ko-12.8b' \
--train_file='./KoAlpaca_v1.1a_textonly.json' \
--num_train_epochs=1 \
--block_size=1024 \
--per_device_train_batch_size=1 \
--gradient_accumulation_steps=8 \
--fp16 \
--output_dir='polyglot-12.8b-my-normal' \
--do_train \
--optim='adafactor' \
--learning_rate='2e-5' \
--logging_strategy='steps' \
--logging_first_step \
--run_name='polyglot-12.8b-my-normal' \
--low_cpu_mem_usage

Deepspeed 학습

  • HuggingFace 학습 파이프라인 기반 Deepspeed 방법을 이용해 학습

    • DeepSpeed ZeRo(Zero Redundancy Optimizer): MS에서 만든 대규모 분산 딥러닝을 위한 새로운 메모리 최적화 기술로 적용시에 모델 및 데이터 병렬 처리에 필요한 리소스를 크게 감소시켜 학습할 수 있는 파라미터의 수를 증가함

  • Deepspeed Zero Stage 3 offload 이용하면 cpu, nvme 를 이용해 학습 가능

  • Deepspeed 학습을 위한 스크립트 파일

# my_train_deepspeed.sh
# --nproc_per_node= Device 개수
torchrun --nproc_per_node=3 --master_port=23456 run_clm.py \
--model_name_or_path='../polyglot-ko-12.8b' \
--train_file='./KoAlpaca_v1.1a_textonly.json' \
--num_train_epochs=2 \
--block_size=1024 \
--per_device_train_batch_size=1 \
--gradient_accumulation_steps=4 \
--torch_dtype=float16 \
--fp16 \
--output_dir='polyglot-12.8b-my-ds' \
--deepspeed=ds_zero3-offload2.json \
--do_train \
--save_strategy='epoch' \
--logging_strategy='steps' \
--logging_first_step \
--save_total_limit=1 \
--run_name='polyglot-12.8b-my-ds'
  • ds_zero3-offload2.json 파일 내용
{
    "fp16": {
        "enabled": "auto",
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
 
    "optimizer": {
        "type": "Adam",
        "params": {
            "torch_adam": true,
            "lr": "auto",
            "betas": "auto",
            "eps": "auto",
            "weight_decay": "auto"
        }
    },
    "scheduler": {
        "type": "WarmupLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "nvme",
            "nvme_path": "/local_nvme",
            "pin_memory": false
        },
        "offload_param": {
            "device": "nvme",
            "nvme_path": "/local_nvme",
            "pin_memory": false
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "sub_group_size": 1e9,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": true
    },
    "gradient_accumulation_steps": "auto",
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
  • deepspeed 설정 json 파일에서 "zero_optimization" 의 내용 중 아래 내용이 없으면 no-offload 모드
"offload_optimizer": {
	"device": "nvme",
	"nvme_path": "/local_nvme",
	"pin_memory": false
},
"offload_param": {
	"device": "nvme",
	"nvme_path": "/local_nvme",
	"pin_memory": false
},

  • offload 모드 설정 시 "device" 의 값으로 none, cpu, nvme 가 가능

  • nvme 모드의 경우 파라미터가 처리될 경로를 nvme_path에 지정

  • pin_memory는

  • Deepspeed 는 최적화 함수로 자체 Adam(w)를 사용함

  • AMD CPU에서 CPUAdam may not work on AMD CPUs 경고문이 뜨기때문에 "optimizer" > "params" > "torch_adam": true 추가(torch의 adam을 사용하도록)

테스트

  • 테스트 환경: CPU Mem 256G, GPU Mem 120G
  • non-offload: gpu 메모리만 사용 → 메모리 오버
  • offload
optimizerparam결과CPU 메모리GPU 메모리
cpucpu학습준비 시 프로세스 종료256G ↑—
optimizerparam결과CPU 메모리GPU 메모리
cpunone학습준비 완료 즉시 종료170G11G x 3
optimizerparam결과
nvmenone학습준비(nvme 145G) → 학습진행 시 gpu 메모리 오버(nvme 190G)
optimizerparam결과
nvmenvme학습됨(nvme 200~240G → GPU Mem 34G x3)
  • offload → CPU 스왑 메모리 증설 (2G → 200G)
optimizerparam결과CPU 메모리GPU 메모리
cpucpu학습됨(학습준비중)물리256G, Swap 80G(학습준비중)2.790G x 3
(학습 중)물리246G, Swap 130G(학습중)32.4G x 3

+full

발생한 에러 및 수정

  • Deepspeed 사용도중 에러 발생

DeepSpeed Zero-3 is not compatible with low_cpu_mem_usage=True or with passing a device_map

Deepspeed 모드에서는 device_map 사용불가 → run_clm.py 파일 내 device_map=“auto” 코드를 주석처리하여 해결

  • Deepspeed Offload - nvme 사용도중 에러 발생

AttributeError: ‘LambdaLR’ object has no attribute ‘get_last_lr’

transformers 라이브러리의 버전을 4.29.2로 다운그레이드하여 해결

ValueErrorValueError: : ValueErrorFound `optimizer`

  • Deepspeed Offload - nvme 사용도중 에러 발생

** RuntimeError: Unable to JIT load the async_io op due to it not being compatible due**

apt get install libaio-dev 를 통해 해결

  • Deepspeed Offload - nvme 사용도중 에러 발생 (학습 1회 성공 직후)

AssertionError: Not enough buffers 0 for swapping 1

deepspeed config 파일에서 stage3_max_reuse_distance 값을 0으로 설정하여 해결

[BUG] (NVMe Offload with Zero3) Not enough buffers 0 for swapping 1 · Issue #3062 · microsoft/DeepSpeed · GitHub

참고

NLPLLMDeepLearning

그래프 뷰

백링크

  • 백링크가 없습니다.

최근 게시글

144건 더보기 →