728x90 open ko-llm1 [Fine-tuning] Llama2 파인튜닝 코드해석 2탄 https://wiz-tech.tistory.com/78에 이어서 진행해보겠습니다. [Fine-tuning] Llama2 파인튜닝 코드해석 import os import torch from datasets import load_dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, HfArgumentParser, TrainingArguments, pipeline, logging, ) from peft import LoraConfig, PeftModel from trl import SF wiz-tech.tistory.com 9. 모델 로드부터 저장까지 # Load dataset (you can pr.. 2024. 1. 30. 이전 1 다음 728x90
