본문 바로가기
728x90

embedding4

ChatGPT 의 업데이트 소식 새로운 임베딩 모델 그리고 GPT 업데이트 안녕하세요 Simon 입니다. 오늘은 GPT 의 새로운 업데이트 소식과 유용한 기능의 업데이트 소식을 전달해드리려고 합니다. 새로운 Embedding 모델의 업데이트와 API 의 업데이트 , 그리고 ChatGPT 의 멘션기능까지 OpenAI 가 업데이트를 하였습니다. 지난 1월 4일 부로 기존에 쓰던 임베딩 모델이 없어지고, text-embedding-ada-002를 곧 쭉 쓰고 있었습니다. 파라미터의 변화로 인해서 Embedding() 모델을 선언할떄 디폴트 값이 사라져서 선언이 안되서 모델 이름을 넣어주곤 했는데요. 드디어 Open AI 에서 새로운 임베딩 모델을 가지고 나왔습니다. 그 이름은 text-embedding-3-small, large 입니다. 3탄이란 뜻 같아요. 기존보다 벤치마크 성능이.. 2024. 1. 30.
나만의 챗봇 Service해보기(2) : WIZnet Doc에 있는 데이터를 학습시키자! 안녕하세요 오늘은 나만의 챗봇 서비스해보기 2탄으로 돌아왔습니다. 오늘은 나만의 챗봇을 학습하기 위한 데이터를 가져오는 방법을 알려드리려고 합니다. 우선 데이터를 구축하기 위한 예시로 WIZnet의 doc를 가져와봅시다. 아래 Github링크를 들어가면 WIZnet의 doc를 마크다운 파일로 확인할 수 있습니다. https://github.com/Wiznet/document_framework GitHub - Wiznet/document_framework Contribute to Wiznet/document_framework development by creating an account on GitHub. github.com 이중 W5500를 예시로 가져왔습니다. ## W5500 ![W5500 Photo .. 2024. 1. 19.
ChromaDB로 RAG(Retrieval-Augmented Generation)방식의 챗봇 구현하기 이전 WIZnet AI Chatbot의 동작 원리글에서 설명했듯이, 기업에서 AI 챗봇을 개발할 때, 주로 두 가지 방법을 고민합니다. Fine-tuning과 Retrieval Augmented Generation(RAG). 이 두 방식은 AI 챗봇의 성능을 극대화하고, 사용자 경험을 향상하는 데 중요한 역할을 합니다. RAG (Retrieval Augmented Generation) : 검색 증강 생성이란? RAG는 대규모 언어 모델에게 추가적인 외부 데이터를 제공하는 방식입니다. 이 방식은 먼저 필요한 데이터를 임베딩 형태로 변환하여 벡터 데이터베이스에 저장합니다. 사용자의 질문이 들어오면, 이 질문과 관련된 데이터를 데이터베이스에서 검색하여 언어 모델에 제공합니다. 이렇게 검색된 데이터는 언어 모델.. 2023. 11. 24.
OpenAI의 Embedding을 이용한 ChatGPT Custom Chatbot 시스템 구축해보기 챗봇 개발은 AI와 머신러닝의 빠른 발전으로 인해 점점 더 중요해지고 있습니다. 특히, OpenAI의 GPT 모델을 활용하면 높은 수준의 대화 능력을 가진 챗봇을 만들 수 있습니다. 이 글에서는 ChatGPT를 활용한 Custom ChatBot 개발에 대한 전반적인 가이드와 함께, 토큰 제한과 대용량 데이터 처리 등의 문제를 어떻게 해결할 수 있는지에 대해 설명하겠습니다. 오늘은 ChatGPT로 나만의 커스텀 챗봇을 한번 만들어 보겠습니다. 준비물 : OpenAI API Key, Python 키워드 ChatGPT Custom ChatBot OpenAI 토큰 제한 대용량 데이터 처리 Embedding 기업들이 기업용 LLM 을 구축하기 위해서 많은 시간과 돈을 쓰면서 노력을 하고 있다고 합니다. 저의 업무.. 2023. 11. 15.
728x90