728x90 AI/Contents36 꽃 이미지로 배우는 CNN 모델 구현 및 평가 딥러닝 기술이 급속도로 발전하면서, 이미지 분류는 다양한 분야에서 중요한 역할을 수행하게 되었습니다. 오늘은 TensorFlow를 사용하여 꽃 이미지를 분류하는 간단한 컨볼루션 신경망(CNN) 모델을 구현하고 평가해 보겠습니다. 데이터셋 준비하기 프로젝트를 시작하기 전, 먼저 TensorFlow의 데이터셋 라이브러리에서 제공하는 꽃 이미지 데이터셋을 다운로드합니다. 이 데이터셋은 다섯 가지 종류의 꽃 이미지(데이지, 덴델리온, 장미, 해바라기, 튤립)로 구성되어 있으며, 총 3,700장의 사진을 포함하고 있습니다. 모델 구성하기 이미지 분류를 위한 CNN 모델을 구성합니다. 모델은 여러 개의 컨볼루션 레이어와 풀링 레이어를 포함하며, 마지막에는 완전 연결 레이어를 통해 분류를 수행합니다. 모델 학습 및 .. 2024. 3. 15. 텍스트처리로 문장에 감성분석 인공지능(AI) 기술이 급속도로 발전함에 따라, 자연어 처리(NLP)는 다양한 분야에서 중요한 역할을 하고 있습니다. 오늘은 AI-HUB의 감정 말뭉치 데이터를 활용해 텍스트 기반의 언어 모델을 만들고, 이를 통해 감정 분류를 실습해보겠습니다. 이 과정은 크게 두 부분으로 나뉩니다: 첫째, 머신러닝을 사용한 감정 분류와, 둘째, LSTM 모델을 사용한 감정 분류입니다. 자연어 처리의 기본 단계 자연어 처리 프로젝트는 대체로 다음과 같은 순서로 진행됩니다: 전처리: 데이터 클리닝, 정규화 등 토큰화: 텍스트를 개별 단어나 표현으로 분리 벡터화: 텍스트를 숫자로 변환 모델링: 데이터를 기반으로 학습 진행 평가 및 예측: 모델 성능 평가 및 새로운 데이터에 대한 예측 A. 머신러닝을 이용한 감정 분류 머신러닝.. 2024. 3. 15. W5X00-EVB-Pico with SSL/TLS 안녕하세요 Acorn입니다. 오늘은 W5X00-EVB-Pico종류 보드에 SSL/TLS 통신을 붙여서 https 통신을 할 수 있게끔 하는 방법을 포스팅 해보고자 합니다. 1. Serial통신에서 https를 지원하지 않는 이유 Serial 통신은 간편하고 저렴하지만, 보안 측면에서 취약합니다. 암호화되지 않은 데이터를 그대로 전송하기 때문에 악의적인 공격자가 데이터를 엿보거나 위조할 수 있습니다. 특히 비밀번호나 민감한 정보를 전송하는 경우 위험합니다. HTTPS는 SSL/TLS 프로토콜을 사용하여 데이터를 암호화하여 안전하게 전송합니다. 이는 웹 브라우저와 서버 간 통신에 널리 사용되는 기술입니다. 따라서 Serial 통신만 지원하는 W5X00-EVB-Pico 보드를 사용하여 안전하게 데이터를 전송하.. 2024. 3. 8. Attention Mechanism 이란? - (1) 어텐션이란? 풀고자 하는 Task의 핵심이 되는 정보를 찹아서 집중한다! 주의 주목, 관심 흥미, 뉴진스 어텐션! 등 다양한 뜻으로 쓰이고 있습니다. 자연어 처리 NLP 분야의 혁신으로 이끈 논문 All you need is attention 이란 논문을 다들 읽어보셨을거라고 생각합니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder thr.. 2024. 3. 4. Chat With RTX 사용방법과 후기 안녕하세요 Simon 입니다. 기업가치 4위가 된 nvidia에서 LLM 활용을 위한 새로운 도구를 배포했습니다. 이름하여 Chat with RTX 로 자신들의 그래픽카드에서 작동 할 수 있는 챗봇입니다. NVIDIA Chat With RTX 나만의 맞춤형 AI 챗봇. www.nvidia.com 여러가지의 기능이 지원되는데 모델을 선택하고, 데이터를 선택한 후 챗봇에 질문을 하면 리스폰 받는 형태인것 같습니다. 아직 RTX3X, 4X 시리즈에서 DEMO 로 지원을 한다고 합니다. version 이 현재 0.2 기준으로 이 글은 작성되었고 추후 업데이트는 계속 진행될듯 보입니다. 설치방법 위의 공식홈페이지에서 다운로드를 합니다. 비교적 높은 사양을 보여주고 있습니다. 아무래도 LLM 자체가 인퍼런스도 꽤 .. 2024. 2. 20. Stream을 아시나요? ChatGPT 를 사용하다보면 기존의 챗봇에서 타자를 마치 사람이 치는것처럼 '타타타타타닥' 하면서 글자들이 출력되곤 하는데요. 챗봇을 구축할때 나도 저걸 할 수 없을까 생각을 한적이 있습니다. 막상 아 그냥 프론트엔드 영역이겠지~ 하고 넘어갔는데요. 손쉽게 구현이 가능 했습니다. Streaming | 🦜️🔗 Langchain All ChatModels implement the Runnable interface, which comes with python.langchain.com LCEL object 에서 stream 이 사용이 가능한데요. 모델이 토큰을 다 생성되고 출력을 해주는게 아니고 생성되는 토큰마다 바로 출력물을 제공하도록 Chunk 단위로 쪼개서 출력을 시켜주는 방식입니다. 여기에 time.s.. 2024. 2. 15. Ollama를 활용한 VScode 로 Local GithubCopilot 만들기 - (3) Ollama를 활용한 아이폰으로 Ondevice AI 구축하기 안녕하세요 Simon 입니다. On-device AI 시대가 열리면서 삼성의 갤럭시 스마트폰은 AI 를 넣어서 출시가 되고 있고, 아마 최근에 막말로 유명한 샘알트만이 그리는 반도체 시장의 생태계 또한 모든 wiz-tech.tistory.com Ollama를 활용한 맥북 Github Copilot 구축하기 - (2) Ollama를 활용한 아이폰으로 Ondevice AI 구축하기 안녕하세요 Simon 입니다. On-device AI 시대가 열리면서 삼성의 갤럭시 스마트폰은 AI 를 넣어서 출시가 되고 있고, 아마 최근에 막말로 유명한 샘알트 wiz-tech.tistory.com 안녕하세요 이번에는 Ollama를 활용해서 2탄에 mac 의 장점을.. 2024. 2. 15. Ollama를 활용한 맥북 Github Copilot 구축하기 - (2) Ollama를 활용한 아이폰으로 Ondevice AI 구축하기 안녕하세요 Simon 입니다. On-device AI 시대가 열리면서 삼성의 갤럭시 스마트폰은 AI 를 넣어서 출시가 되고 있고, 아마 최근에 막말로 유명한 샘알트만이 그리는 반도체 시장의 생태계 또한 모든 wiz-tech.tistory.com 안녕하세요 Simon 입니다. Ollama 로 아이폰에 Ondevice 형태의 어플로 구축하는 방법을 소개해드렸는데요. 이어서 M1 시리즈의 노트북을 보유하고 있다면 구독료 없이 코파일럿 형태의 서비스를 쓸 수 있을듯한 Idea가 떠올라서 글을 한번 써보겠습니다. Ollama 는 무엇인가? Ollama 는 오픈소스 프로젝트로 Hype이 되어 더욱 커지고 있는 프레임워크의 Tool 개념이라고 생각합니다... 2024. 2. 15. Ollama를 활용한 아이폰으로 Ondevice AI 같은 서비스 구축하기 안녕하세요 Simon 입니다. On-device AI 시대가 열리면서 삼성의 갤럭시 스마트폰은 AI 를 넣어서 출시가 되고 있고, 아마 최근에 막말로 유명한 샘알트만이 그리는 반도체 시장의 생태계 또한 모든 디바이스가 AI Chip 이 들어간다면 현실적으로 9000조라는게 가능할?수도 라는 생각이 드는데요. Linkdin Facebook 다양한 AI 관련커뮤니티에서 항상 화제가 되고 있는 Ollama 를 활용한 Application 실행을 해볼려고 합니다. "아이폰에서 LLaMA2 실행하기" Ollama 는 무엇인가? Ollama 는 오픈소스 프로젝트로 Hype이 되어 더욱 커지고 있는 프레임워크의 Tool 개념이라고 생각합니다. Open LLM 에서 Llama 2, Mistral 및 기타 대규모 언어 .. 2024. 2. 15. Fine-tune Mixtral 8x7B (MoE) on Custom Data 코드 리뷰 안녕하세요 Simon 입니다. 오늘은 조금 색다르게 코드 리뷰를 해볼 생각입니다. 작년 말 MoE 전문가 네트워킹 라우팅 방식의 트랜스포머 기반의 MoE 를 리뷰해드린적 있는데 이게 성능도 좋고 실제로, 많이 보이고 있습니다. 우연히 유투브를 보다가 가볍게 커스텀데이터를 파인튜닝 할 수 있는 코드를 찾았고 이에 관련하여 리뷰를 해보겠습니다. Fine-tune Mixtral 8x7B (MoE) on Custom Data - Step by Step Guide !pip install transformers trl accelerate torch bitsandbytes peft datasets -qU !pip install flash-attn --no-build-isolation from datasets impo.. 2024. 2. 13. [Langchain] 처음시작하는 랭체인 - (1) 안녕하세요 Simon 입니다. 오늘부터 랭체인 하나는 정복하자 느낌으로 쭉 글을 올려보려고 합니다. 랭체인의 개요, 기초 부터 천천히 하나씩 올리겠습니다. LangChain 이란? • Langchain 은 LLM 기반의 서비스를 구축하기 위한 다양한 모듈과 기능을 제공하는 프레임워크입니다. • 랭체인의 주요 목적은 대화형 AI 시스템을 구축하고 연구하는 데 있어 유용한 도구를 제공하는 것입니다. LangChain 구조 LangChain 라이브러리: 파이썬과 자바스크립트 라이브러리. 다양한 컴포넌트의 인터페이스 및 통합, 이러한 컴포넌트를 체인과 에이전트로 결합하기 위한 기본 런타임, 그리고 체인과 에이전트의 오프더셀프 구현을 포함합니다. LangChain 템플릿: 다양한 작업을 위한 쉽게 배포 가능한 참.. 2024. 1. 24. 라즈베리파이와 GPT-4-VISION Few-shot을 통한 예제 메인페이지 게재 안녕하세요 Simon 입니다. 오늘은 제가했던 프로젝트가 Rasppberry PI 메인 홈페이지에 게시가 되어서 소개를 해드리려고 합니다. Raspberry Pi From industries large and small, to the kitchen table tinkerer, to the classroom coder, we make computing accessible and affordable for everybody. www.raspberrypi.com 저희 회사에서는 매달 UI Creation 이라고 말 그대로 제가 스스로 저희 회사 제품을 사용해서 컨텐츠를 제작하는 업무가 있습니다. 평소에 Creative 한 걸 좋아하는 저에겐 어쩌면 재미있는 업무이기도 합니다. 평가를 해서 사장님이 금 또한 주.. 2024. 1. 18. LLM 데이터셋 관련 정리 - 대규모 원시 말뭉치 안녕하세요 Simon 입니다. 오늘은 LLM 데이터셋 관련 대규모 말뭉치에 관해 글을 정리해볼까 합니다. 오늘날의 GPT와 같은 모델들은 이 대규모 원시 말뭉치를 통해 Self-Supervised Training 이 되어 다양한 형태로 Fine-Tunning 되어 우리의 일상속에 들어와 있습니다. T5를 시작으로 엄청나게 발전을 많이 했는데요. 저도 2022년에 AI를 입문하게 되었고 자연어처리는 GPT가 나오고 배웠지만 거의 T5가 주류를 이루고 있었는데 현재 지금 엄청 빠르게 발전한 모습이네요. 그렇다면 이 LLM들을 어디서 학습데이터를 구하냐? 바로 우리 곁에 있습니다. 다들 한번쯤 해보신 크롤링을 통해서 데이터를 모을 수 있고, 위에 소개해드린대로 AIhub 와 같은 데이터센터에서 가져올 수 도 .. 2024. 1. 17. 프롬프트 엔지니어링의 새로운 방법 : PAL(Program-Aided Language Models) 의 원리와 실제 적용 사례 안녕하세요 Simon 입니다 오늘은 또 재미있는 새로운 프롬프팅 기법을 소개해드릴려고 합니다. PAL (프로그램지원언어모델) 입니다. 어떤 Application 을 구축함에 있어서 내가 원하는 형식의 Output 을 얻기 위해 LLM으로 부터 다양한 프롬프팅 방법과 프레임워크 등을 사용 하곤 하는데 이것도 Few-Shot 프롬프트의 종류로 원하는 숫자값, Date 값, 특정 값을 뽑아 낼 수 있도록 코드 인터프리터 프로그래밍 방식을 함께 런타임을 단계적으로 수행해서 해결해 나가는 기법입니다. 정답을 얻기 위해서 자유로운 텍스트 형식을 쓰기 때문에 CoT 와는 조금 차이가 있습니다. https://arxiv.org/abs/2211.10435 PAL: Program-aided Language Models L.. 2024. 1. 17. GPT 스토어에서 가장 인기있는 챗봇은? 안녕하세요 Acorn입니다. 저번주 GPTs가 나온 이후, 어떤 챗봇이 올라와있나 탐색하는 시간을 가졌는데요, AITimes의 기사를 참고하여 GPTs에서 가장 인기있는 챗봇들을 간략하게 조사 해보았습니다. 오픈AI의 'GPT 스토어'가 11일에 출시되어 여러 맞춤형 챗봇들이 주목을 받고 있습니다. 이곳에는 최근 2개월간 생성된 300만개 챗봇 중 일부가 사용자에 의해 등록되었습니다. 해당 스토어는 '추천(Featured)', '인기(Trending)', '자체제작(By ChatGPT team)' 등의 섹션으로 대표 챗봇들을 소개하고 있으며, 사용자가 만든 챗봇은 다양한 카테고리로 구분되어 있습니다. 카테고리별 1위와 순위권에 오른 대표 챗봇들을 분석해 봤습니다. GPT 스토어에서 가장 인기 있는 GPT.. 2024. 1. 15. Apple 의 M 시리즈를 활용한 딥러닝 freamework 인 MLX 에 대해 알아보자 - (1) 설치 안녕하세요 Simon 입니다. 제 올해의 목표인 Apple ML 생태계를 공부해보자 였는데요. 애플에서 최근에 출시한 MLX에 대해 포스팅 해보겠습니다. MLX는 Apple 실리콘에서 효율적이고 유연한 머신 러닝을 위해 설계된 NumPy와 유사한 배열 프레임워크로, Apple 머신 러닝 연구팀에서 개발했습니다. Python API는 몇 가지 예외를 제외하고는 NumPy를 거의 그대로 따릅니다. MLX는 또한 완전한 기능을 갖춘 C++ API를 갖추고 있으며, 이는 Python API와 매우 유사합니다. 컴포저블 함수 변환: MLX는 자동 미분, 자동 벡터화, 계산 그래프 최적화를 위한 구성 가능한 함수 변환을 제공합니다. 지연 계산: MLX의 계산은 지연 계산입니다. 배열은 필요할 때만 구체화됩니다. 멀.. 2024. 1. 8. 30분이면 자막을 입힌다고?? Whisper AI를 사용해보자 안녕하세요. Acorn입니다! 오늘은 Whisper AI를 사용하여 쉽고 빠르고 정확하게 자막을 만드는 방법을 알아보겠습니다. Whisper AI란? OpenAI에서 개발한 자동 음성 인식(Automatic Speech Recognition, ASR) 모델입니다. 2022년 9월에 오픈 소스로 공개했으며, 2024년 1월 현재는 더욱 개선된 large-v3 모델까지 출시 되었습니다. 여담으로 한국어는 단어 오류율(WER) 통계를 기준으로 27위에 해당한다고 합니다. 순위 통계만 27위일 뿐, 성능은 왠만한 음성 인식 기능보다 뛰어나니 크게 신경쓸 문제는 아닙니다. 1. Google Colab를 사용하여 Whisper AI 설치하기 내 컴퓨터에 설치하는 방식이 아닌, Google Colab 서비스를 이용해.. 2024. 1. 5. 오픈리더보드의 평가지표에 대해 안녕하세요 Simon 입니다. 오늘은 Open LLM Leaderboard 에서 순위를 평가하는 지표에 대해서 자세히 알아보겠습니다. https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 huggingface.co 평가방식(Im-evaluation-harness) - 질문과 보기를 모델에 입력을 합니다. - 각 보기를 생성할 확률을 통해 예측을 수행합니다. - In-context Learning 을 위해 예제를 함께 삽입합니다. 질문 : 인구가 제일 많은 나라는? 보기 : (1) 중국 (2) 한국 (3) 미국 (4) 일본 [모델의 추론.. 2024. 1. 4. WIZnet Chatbot 개발 일지 - 제품 이름 환각현상 해결하기 안녕하세요 Acorn입니다. 오늘은 WIZnet에서 서비스중인 WIZnet Chatbot의 개발 내용을 살짝 공유해 드리고자 합니다. Chatbot을 개발할 때 가장 중요시 해야되는 점은 hallucination, 환각현상 입니다. 특히 기업의 챗봇의 경우 모르는 정보를 마치 사실인 마냥 제공하는 행위는 기업의 이미지와 가치하락으로 이어질 수 있는 문제이기도 합니다. WIZnet의 경우에도 환각현상을 피해갈 수는 없습니다. 저희 회사 Chip제품 명의 경우 W5500, W5500EVB,W5100S, W6100등 이름이 유사하다는 특징이 있습니다. 이는 hallucination을 발생하기 딱 좋은 상황입니다. 환각현상이 일어나는지 GPT에게 이 세상에 없는 제품인 W6300, W6500을 물어보았습니다. .. 2023. 12. 29. [Langchain] 평점기반의 맛집 RAG LLM 구축하기 안녕하세요 Simon 입니다. 이번에 소개해드릴 컨텐츠는 Langchain 을 활용해서 보다 쉽게 RAG 서비스를 구축하는 방법입니다. 다들 맛집 좋아하실텐데 평점을 얼마나 믿으시는지는 모르겠습니다. 사실 구축단계에서 한국 사람들이 아무래도 네이버라는 플랫폼을 많이쓰고 신뢰하고 정보도 많기 때문에 NAVER API 를 활용하고 싶었으나, 진짜 감촉같이 이거 조금만 api 데이터쓰면 item 이다 할만한것만 지원을 하지 않는 모습이더라구요. 그래서 더욱 범용적인 Google maps 를 활용해서 만들어보았습니다. 이전에 사실 카카오톡맵기반으로 크롤링을 해서 데이터를 구축해서 만들려고 시도를 해보았으나, 자꾸 동적페이지 다음페이지 넘어가면서 Chrome Driver 가 오류가 나는 바람에 데이터를 구축하지를.. 2023. 12. 15. ReAct Prompting 에 대하여 최근 Yao et al., 2022의 연구에서 소개된 ReAct 프레임워크는 대규모언어모델의 사용 방식에 혁신을 가져왔습니다. 이 프레임워크는 추론 추적과 작업별 행동을 인터리브 방식으로 생성하여, 모델이 행동 계획을 유도, 추적, 업데이트하고 예외를 처리할 수 있게 합니다. ReAct의 핵심 개념 ReAct는 인간의 학습 및 의사 결정 과정에서 영감을 받아, "행동"과 "추론"의 시너지 효과를 모델링합니다. 이는 대규모언어모델이 외부 소스와 상호 작용하며 정보를 수집하고, 보다 신뢰할 수 있고 사실적인 응답을 생성하는 데 도움을 줍니다. ReAct의 장점 ReAct 프레임워크는 언어 및 의사 결정 작업에서 여러 최신 기술의 기준선을 능가하는 성능을 보여주었습니다. 특히, 인간의 해석 가능성과 대규모언어.. 2023. 12. 13. 전참시에 나온 ChatGPT를 사용하는 ZionT 안녕하세요 Simon 입니다. 최근 공중파 프로그램 '전지적 참견 시점'에서는 흥미로운 장면이 펼쳐졌습니다. 가수 자이언티와 인공지능 ChatGPT가 대화를 나누는 모습이 방영되었는데요, 이 대화는 단순한 질의응답을 넘어서 창의적인 상호작용의 좋은 예를 보여줍니다. 이 글에서는 자이언티와 ChatGPT의 대화를 분석하며, 인공지능이 인간의 창의성을 어떻게 촉진하고 보조할 수 있는지 탐구해보겠습니다. [#전참시] 눈 뜨자마자 꿀 떨어지는 자이언티의 아침🥰 자이언티의 ＂그녀＂가 예상하는 올해의 MBC 연예대상 수상자는?ㅣ#자이언티 #전현무 MBC231209방송 창의적 대화의 시작 - ZionT: "부탁하고 싶은게 있어 지금 애니메이션을 제작 중인데 제목은 정요셉 나는 축구왕 나는 축구왕 슛돌이어린 시절부터 .. 2023. 12. 12. OpenAI의 Assistants API로 개인 수학 튜터 만들기 OpenAI는 최근 Assistants API를 출시했는데요, 이를 활용하면 다양한 상호작용이 가능한 AI Assistant를 만들 수 있습니다. 예를 들어, 오늘은 '개인 수학 튜터'라는 Assistant를 만들어 보겠습니다. 어떻게 보면 RAG 방식의 챗봇을 구현하기 위해 Open AI 가 다 만들어주고 관리하는 Tool 이라고 생각하면 될 것 입니다. Assistant API는 오마카세 이고 Langchain 은 뷔페 둘의 성격은 비슷한거 같으나 다르다. Assistant API의 구조 어시스턴트 : 큰단위 , 스레드 : 대화 내역(각각), 런 : 어떤 스탭을 결정 거치는지 런은 Assistant 인 interpreter 를 쓰지 않아도 무조건 돌아가야하는 단계다. 시작하기 전에 먼저, Assist.. 2023. 12. 5. [Langchain] RAG 멀티모달을 활용한 추론 - 이력서 첨삭 튜터 안녕하세요, 여러분. 오늘은 최근에 접한 흥미로운 프로젝트, 바로 '멀티모달 이력서 첨삭 튜터'에 대해 이야기해보려 합니다. 이 프로젝트는 GPT-4 기반의 인공지능을 활용하여 이력서 작성과 첨삭을 돕는 혁신적인 시도인데요, 그 세부 내용을 한번 살펴보겠습니다. 멀티모달 이력서 첨삭 튜터의 개발 배경 이 프로젝트의 출발점은 사람들이 널리 사용하는 인공지능 이력서 서비스에 GPT-4 기반의 기능을 추가하여 더 향상된 서비스를 제공하고자 하는 아이디어였습니다. 특히, 비전 관련 기능을 첨삭하는 부분에 초점을 맞추었죠. 이는 기존의 텍스트 중심 이력서 서비스를 한 단계 끌어올리는 시도라고 할 수 있습니다. 기능 및 사용 방법 사용자는 자신의 이력서를 PDF 형식으로 업로드하고, 이력서와 관련된 질문을 입력합니.. 2023. 11. 30. Andrew Ng prompt for ChatGPT 우리가 살고 있는 디지털 시대에 인공지능(AI)은 더 이상 먼 미래의 이야기가 아닙니다. AI는 이미 우리 일상 속에 깊숙이 자리 잡고 있으며, 그 중심에는 '언어 모델(Language Model)'이 있습니다. 이러한 언어 모델의 발전은 Andrew Ng과 같은 AI 분야의 선구자들 덕분에 가능했습니다. 특히, 최근에는 '프롬프트 엔지니어링(Prompt Engineering)'이라는 새로운 개념이 등장하며 AI의 활용 범위와 효율성을 한층 더 높이고 있습니다. 프롬프트 엔지니어링은 AI, 특히 대규모 언어 모델을 효과적으로 활용하기 위한 방법론입니다. 이는 AI에게 정확한 지시와 문맥을 제공하여, 보다 정확하고 유용한 결과를 얻어내는 기술입니다. Andrew Ng과 같은 전문가들은 이 분야에서 중요한 .. 2023. 11. 27. ChromaDB로 RAG(Retrieval-Augmented Generation)방식의 챗봇 구현하기 이전 WIZnet AI Chatbot의 동작 원리글에서 설명했듯이, 기업에서 AI 챗봇을 개발할 때, 주로 두 가지 방법을 고민합니다. Fine-tuning과 Retrieval Augmented Generation(RAG). 이 두 방식은 AI 챗봇의 성능을 극대화하고, 사용자 경험을 향상하는 데 중요한 역할을 합니다. RAG (Retrieval Augmented Generation) : 검색 증강 생성이란? RAG는 대규모 언어 모델에게 추가적인 외부 데이터를 제공하는 방식입니다. 이 방식은 먼저 필요한 데이터를 임베딩 형태로 변환하여 벡터 데이터베이스에 저장합니다. 사용자의 질문이 들어오면, 이 질문과 관련된 데이터를 데이터베이스에서 검색하여 언어 모델에 제공합니다. 이렇게 검색된 데이터는 언어 모델.. 2023. 11. 24. GPT가 자동으로 블로그 글을 업로드하는 건에 대하여..(1) 안녕하세요 Acorn입니다. Simon님이 대화하다 문득 나온 아이디어가 있습니다. "블로그도 자동화 했으면 좋겠다." 최근에 저도 비슷한 생각을 했었기에 바로 실행하기로 결정! GPT에게 블로그 자동 업로드화 시키는 기획을 부탁해보았습니다. 우선 Git Repository부터 파야겠죠? 아직은 개발 단계에 있기에 private 상태로 개발을 진행중에 있습니다. 추후 완성되면 오픈소스로 전환할 예정이에요. GPT가 설명해준 개발순서를 readme에 입력하고 한단계식 차근차근 구현하면 되겠죠? @뉴스 소스 선택 뉴스 topic의 경우 Ai tech 블로그를 운영하는 저희인만큼 ai관련 뉴스를 소개하는 aitimes의 뉴스를 가져오기로 결정 하였습니다. 다양한 기사들이 있지만 그중 많이 본 기사를 선택하여 .. 2023. 11. 24. OpenAI 샘알트만 왕의귀환 안녕하세요 Simon 입니다. AI 분야가 들썩 들썩 거리네요. 최근에 샘알트만이 마이크로소프트로 전격합류하는 소식의 글을 업로드했었는데요. 최근에도 마이크로소프트에서 OpenAI 임원진 동일보수 조건으로 받아주겠다는 트위터와 함께 OpenAI 의 임원진들이 대거 이탈하는듯해보였습니다. 그러나 오늘 또 떠들썩한 일이 벌어졌습니다. 내용은 다음과 같습니다. Sam Altman의 OpenAI 복귀: Sam Altman은 Microsoft로의 이동을 결정했으나, 며칠 만에 OpenAI의 CEO 자리로 복귀하기로 했습니다. 그는 소셜 미디어 X(전 트위터)를 통해 OpenAI로 돌아가서 Microsoft와의 강력한 파트너십을 구축하기를 기대한다고 밝혔습니다. 이사회 재구성: Altman의 복귀와 함께 OpenA.. 2023. 11. 22. 샘알트만 OpenAI에서 Microsoft AI산업이 흔들리다 OpenAI 해고 OpenAI는 최근 Sam Altman을 CEO 자리에서 해고했습니다. 이 결정은 인공지능 분야에서의 안전에 대한 근본적인 의견 차이에서 비롯된 것으로 알려졌습니다. Altman은 이전에 실리콘 밸리의 유명한 스타트업 액셀러레이터 Y-Combinator의 회장으로 잘 알려져 있었으며, OpenAI에서 4년 동안 CEO로 재직하였습니다. 최근 OpenAI의 수장으로 한국을 방문했었던 알트만은 한국 스타트업의 상상력과 AI에 대한 능력을 높이 평가했습니다. 그는 한국에 글로벌 수준의 기업이 있으며, 이들과의 협력이 필수적이라고 강조했습니다. 또한, 한국 스타트업들이 창업가 정신과 AI 개발에 있어서 월등한 실력을 가지고 있음을 언급했습니다. 이런 알트만이 해고가 되었다는 소식.. 2023. 11. 21. GPTs 로 Custom 챗봇 구축하기 안녕하세요 Simon 입니다. 저번에 소개해드렸던데로 Open AI 에서 대규모 업데이트 이후 기능인 GPTs를 활용해서 커스텀 챗봇을 개발해보았습니다. 회사에서 고객의 Prompt 를 정형화 하기 위해 Rule Base의 컨텐츠형으로 선택 후 모델이 응답 할 수 있게 챗봇을 구축하면 어떠냐는 아이디어를 팀장님들께서 던져주셨고 이를 그냥 ChatBot에 녹일수는 없나 고민을 해보았습니다. 역시 답은 Prompt 였습니다. 그래서 디자이너 챗봇과 고객응대 챗봇을 만들어봤습니다. 약묵자는 제가 맛집모임을 하고 있는데 뉴비를 위한 챗봇 Guide 를 만들면 재밌겠다 싶어서 실험으로 만들어봤는데 성능에 감탄을 했습니다. 우선 저희가 지금 계획하고 있는게 일본시장 공략과 Prompt 정규화를 어떻게 이끌어낼까에 .. 2023. 11. 15. 이전 1 2 다음 728x90
