Polyglot-ko-12.8b 커스텀 학습

---

• Author: Minseok Kim
• Created: 2023-08-08

---

학습방법은 (Polyglot) Polyglot-ko-12.8b 세팅 참고

Polyglot-12.8b 8bit, 500개

모델 로드

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
 
model_id = "EleutherAI/polyglot-ko-12.8b"
 
bnb_config = BitsAndBytesConfig(
    load_in_8bit=True,
    bnb_8bit_use_double_quant=True,
    bnb_8bit_quant_type="nf8",
    bnb_8bit_compute_dtype=torch.bfloat16
)
 
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})

학습 코드

import transformers
# needed for gpt-neo-x tokenizer
 
tokenizer.pad_token = tokenizer.eos_token
 
trainer = transformers.Trainer(
    model=model,
    train_dataset=data["train"],
    args=transformers.TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=1,
        max_steps=500, ## 초소량만 학습
        learning_rate=1e-4,
        fp16=True,
        logging_steps=10,
        output_dir="outputs",
        optim="paged_adamw_8bit"
    ),
   data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
)
model.config.use_cache = False # silence the warnings. Please re-enable for inference!
trainer.train()
 

결과(batch size = 2, gradient=1)

질의응답

### 질문: 주식 시장에서 안정적으로 수익을 얻기 위한 방법은?
### 답변: 안정적인 투자 포트폴리오 유지 및 철저한 실적 분석이 필요합니다. 이를 통해 수익을 장기 보존할 수 있는 가능성을 타진해 보는 것이 중요합니다. 또한 주식시장의 방향을 분석하고 투자를 결정할 때는 '장기적으로 좋은 성과를 기록했는지'를 살펴야 합니다. 이를 기반으로 '장기투자'의 중요성을 인식해야 합니다. 투자자들은 지속적으로 자신이 선택한 종목을 장기간 보유하면서 투자를 계속해야만 좋은 성과를 거둘 수 있습니다. 주식시장의 장기적인 방향을 예측하려 하거나, 일시적인 가격 조정을 참지 못하고 손절매하는 것은 바람직지 않습니다. 우량주와 저평가주 등 상승 가능성이 높고 우량한 종목들로 구성된 포트폴리오를 장기간 유지하면서 시장 상황에 따라 적절한 대응을 한다면 더 높은 수익을 거둘 수 있습니다.[관련이슈]▶ [생생토크] "기업이 혁신할 수 있는 시스템이 필요해"▶ [생생토크] "일본 위기의 본질인 신뢰문제를 주목해야"▶ [생생토크] "일본 문제는 정치·외교·국제 분야의 복합적인 해결 방안

### 질문: 디지털화 인증서의 특별한 기능은 무엇인가요?
### 답변: 위조가 어렵게 만들어져 있어, 인증서의 진위 여부를 확인할 수 있습니다. 또한, 인증서 신청부터 발급까지의 진행 과정을 확인할 수 있는 기능을 가지고 있습니다. 이를 통해 인증서의 도용 및 불법발급을 방지하는 목적으로 사용되고 있습니다.자세한 내용은 아래 링크를 확인해주세요!↓↓↓[http://www.fsc.go.kr/html/10461/jsp/detailpage.jsp?idx=478#link3_09_3.0](http://www.fsc.go.kr/html/10461/jsp/detailpage.jsp?idx=478#link3_09_3.0)이 글은 금융위원회 블로그에도 업로드 되었습니다.↓↓↓[http://blog.naver.com/blogfsc/220857701878](http://blog.naver.com/blogfsc/220857701878) 저작자표시<|endoftext|>

train_runtime': 523.2165 training_loss=2.0555790252685546 train_samples_per_second: 1.911

결과(batch size = 4, gradient=1)

train_runtime': 636.2573 training_loss=2.0096505851745605 train_samples_per_second': 3.143

결과(batch size = 2, gradient=2)

train_runtime': 1029.1884 training_loss=2.0094849853515626 train_samples_per_second': 1.943

---