728x90 AI/Study7 Prompt Engineering with Llama 2 무료강의 소개 안녕하세요, 최근 알게된 유익한 무료 강의가 있어 소개해드리고자합니다. Meta와 DeeplearningAI에서 제공하는 약 1시간 정도되는 영어로되어있는 강의로, Llama2 Chat, Code Llama(코드 라마), 그리고 라마 가드(Llama Guard) 모델에 대해 간단히 알려주고 활용법도 Jupyter노트북으로 실습 환경을 제공해주어 많은 도움이 되었습니다. 모델 소개부터 프롬프트 엔지니어링(Prompt Engineering) 기법 소개, Multi-turn 대화 방식 등에 대해서 코드로 설명해준다는 점이 좋았고,일단 무엇보다 짧아서 부담없이 들을 수 있어서 좋았습니다. Llama, Code Llama, Llama Gaurd 그리고 프롬프트 엔지니어링에 관심있는 분들은 부담없이 들을만한 좋은 .. 2024. 3. 6. AI 취업 시장의 변화 최근 AI 취업 시장의 변화에 대해서 유럽의 한 NLP 연구자가 쓴 글을 보고 블로그에 유입되는 분들에게도 도움이 될만할 것 같아서 소개해드리려고합니다. 이 글에서는, 지난 5년 동안 AI와 NLP 분야의 발전이 매우 빠르게 진행되었으며, 박사학위를 마친 후에 NLP 관련 취업 시장의 분야가 훨씬 더 다양해졌다고합니다. 아마 BERT, GPT와 같은 다양한 모델이 생긴 영향이 크며, 과거에는 ML 등과 같은 기초 연구에 집중되었다면 이제는 점차 실용적인 연구로 옮겨가고 있다고 합니다. 그로인해 PhD. 박사학위에 대한 대안으로 스타트업에서의 경험을 통해 실제 문제 해결 위주의 경력을 쌓는 것을 대안으로 볼 수 있다고 말하고 있습니다. 여기서 소개하는 5가지 AI 취업시장 트랜드는 다음과 같습니다. 1. .. 2024. 2. 13. [Fine-tuning] Llama2 파인튜닝 코드해석 2탄 https://wiz-tech.tistory.com/78에 이어서 진행해보겠습니다. [Fine-tuning] Llama2 파인튜닝 코드해석 import os import torch from datasets import load_dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, HfArgumentParser, TrainingArguments, pipeline, logging, ) from peft import LoraConfig, PeftModel from trl import SF wiz-tech.tistory.com 9. 모델 로드부터 저장까지 # Load dataset (you can pr.. 2024. 1. 30. [Fine-tuning] Llama2 파인튜닝 코드해석 OpenLLM leaderboad에 참여하기 위해, 가장 먼저 Llama2 파인튜닝 코드를 분석하면서 이해해보려고합니다. https://colab.research.google.com/drive/1PEQyJO1-f6j0S_XJ8DV50NkpzasXkrzd Fine-tune Llama 2 in Google Colab.ipynb Colaboratory notebook colab.research.google.com 위 코드를 보고 따라서 진행해보았습니다. 1. 파이썬 라이브러리 설치 !pip install -q accelerate==0.21.0 peft==0.4.0 bitsandbytes==0.40.2 transformers==4.31.0 trl==0.4.7 accelerate==0.21.0: Hugging F.. 2024. 1. 30. [머신러닝] XGBoost 알고리즘이란? 머신러닝 분야는 끊임없이 발전하고 있으며, 그 중심에 XGBoost가 자리 잡고 있습니다. 오늘은 Kaggle, Dacon 등 AI 대회에서도 빠짐없이 등장하는 XGBoost 알고리즘에 대해 알아보겠습니다. XGBoost는 eXtreme Gradient Boosting의 약자로, 기존의 결정 트리를 기반으로 한 알고리즘을 한 단계 끌어올린 기계 학습 방법론입니다. XGBoost의 기본 원리 XGBoost는 결정 트리(Decision Tree)를 기반으로 하는 앙상블 학습 방법 중 하나입니다. 간단히 말해, 여러 개의 결정 트리를 결합하여 각 트리의 예측력을 강화하는 방식으로 작동합니다. 이는 각 트리가 이전 트리의 오차를 보완하며 순차적으로 학습하는 방식으로 진행됩니다. XGBoost의 장점 성능: XG.. 2024. 1. 22. [LangChain] LangChain이란 무엇인가? - (1) 안녕하세요, Benjamin입니다. 최근 다시 기본을 다지기 위해서 다시한번 Langchain방식에 대해서 깊이있는 공부를 시작하였고 관련해서 공부한 내용을 순서대로 잘 정리해보려합니다. 가장먼저 LangChain의 정의부터 시작해서 Quickstart를 통한 예제 실습까지 순차적으로 진행하며 글을 추가하겠습니다. Langchain 이란? 가장 먼저 https://python.langchain.com/docs/get_started/introduction Docs사이트에 나와있는 설명을 다시 정리해보았습니다. LangChain 은 언어 모델을 기반으로 한 애플리케이션 개발을 위한 프레임워크로, 다음과 같은 특징을 갖추고 있습니다. 문맥 인식 : Langchain은 언어 모델을 다양한 문맥 소스(프롬프트 지.. 2024. 1. 10. Git 커밋의 기술: 신입 개발자(나)를 위한 가이드 안녕하세요. Acorn입니다. 개발자로서 우리의 일상은 코드를 작성하고, 수정하고, 개선하는 과정에서 이루어집니다. 이 모든 과정은 Git과 같은 버전 관리 시스템을 통해 관리됩니다. Git의 중심 기능 중 하나는 '커밋(commit)'인데, 이는 우리의 변경 사항을 기록하는 중요한 단계입니다. 그러나 많은 신입 개발자들이 이 과정을 어떻게 해야 할지, 또는 어떻게 하면 효과적으로 할 수 있을지에 대해 종종 혼란을 겪습니다. 오늘은 Git에서 커밋을 하는 법과, 특히 '개발자다운' 커밋을 하는 방법에 대해 알아보려 합니다. Git 커밋이란? Git 커밋은 버전 관리 시스템에서 변경 사항을 기록하는 행위입니다. 커밋을 통해 우리는 코드의 변경 내역, 변경 이유, 그리고 그 변경이 언제 이루어졌는지를 추적할.. 2024. 1. 10. 이전 1 다음 728x90
