728x90 Python4 [Fine-tuning] Llama2 파인튜닝 코드해석 2탄 https://wiz-tech.tistory.com/78에 이어서 진행해보겠습니다. [Fine-tuning] Llama2 파인튜닝 코드해석 import os import torch from datasets import load_dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, HfArgumentParser, TrainingArguments, pipeline, logging, ) from peft import LoraConfig, PeftModel from trl import SF wiz-tech.tistory.com 9. 모델 로드부터 저장까지 # Load dataset (you can pr.. 2024. 1. 30. [Fine-tuning] Llama2 파인튜닝 코드해석 OpenLLM leaderboad에 참여하기 위해, 가장 먼저 Llama2 파인튜닝 코드를 분석하면서 이해해보려고합니다. https://colab.research.google.com/drive/1PEQyJO1-f6j0S_XJ8DV50NkpzasXkrzd Fine-tune Llama 2 in Google Colab.ipynb Colaboratory notebook colab.research.google.com 위 코드를 보고 따라서 진행해보았습니다. 1. 파이썬 라이브러리 설치 !pip install -q accelerate==0.21.0 peft==0.4.0 bitsandbytes==0.40.2 transformers==4.31.0 trl==0.4.7 accelerate==0.21.0: Hugging F.. 2024. 1. 30. 나만의 챗봇 Service해보기(1) - 결과부터 보자. 안녕하세요 Acorn입니다. 최근에 저는 기술의 발전에 매료되어 있습니다. 특히 LLM 분야에서의 급속한 진보가 놀라울 따름인데요. 이번 프로젝트는 LLM, 특히 RAG를 통한 CustomChatbot 제작을 위한 공부를 하고, Streamlit을 통해 서비스화를 시켜보았습니다. Streamlit은 데이터 사이언스와 머신 러닝을 위한 빠르고 사용하기 쉬운 앱 프레임워크입니다. Python 기반으로 작동하기 때문에, 저와 같은 개발자들에게 친숙한 환경에서 작업할 수 있었습니다. Langchain은 최신의 언어 모델을 사용하여 다양한 언어 작업을 수행할 수 있는 라이브러리입니다. 이 두 도구를 결합하여, 쉽고 빠르게 서비스화할 수 있는 챗봇 프로젝트를 제작하였습니다. 아래 사이트는 제가 제작한 챗봇 사이트입.. 2024. 1. 18. 2023년 GitHub 하이라이트 AI 혁신부터 보안 강화까지, 올해의 주목할 만한 기술 동향 안녕하세요 Simon 입니다 벌써 1월의 둘째주가 시작되고 있는데 다들 신년계획은 잘 하고 계신지 모르겠습니다. 다들 연말, 신년에 보통 이전년도를 회고를 하는 게시물이 많이 올라옵니다. Github 에서도 통계글이 올라왔는데요 재밌고 github 자체로 S/W 시장의 흐름과 트렌드가 무엇인지 알 수 있을거 같아서 가지고 왔습니다. https://github.blog/2023-12-27-githubs-top-blog-posts-of-2023/ GitHub’s top blog posts of 2023 As the year winds down, we're highlighting some of the incredible work from GitHub’s engineers, product teams, and s.. 2024. 1. 8. 이전 1 다음 728x90
