본문 바로가기
728x90

VectorDB3

나만의 챗봇 Service해보기(2) : WIZnet Doc에 있는 데이터를 학습시키자! 안녕하세요 오늘은 나만의 챗봇 서비스해보기 2탄으로 돌아왔습니다. 오늘은 나만의 챗봇을 학습하기 위한 데이터를 가져오는 방법을 알려드리려고 합니다. 우선 데이터를 구축하기 위한 예시로 WIZnet의 doc를 가져와봅시다. 아래 Github링크를 들어가면 WIZnet의 doc를 마크다운 파일로 확인할 수 있습니다. https://github.com/Wiznet/document_framework GitHub - Wiznet/document_framework Contribute to Wiznet/document_framework development by creating an account on GitHub. github.com 이중 W5500를 예시로 가져왔습니다. ## W5500 ![W5500 Photo .. 2024. 1. 19.
OpenAI의 Embedding을 이용한 ChatGPT Custom Chatbot 시스템 구축해보기 챗봇 개발은 AI와 머신러닝의 빠른 발전으로 인해 점점 더 중요해지고 있습니다. 특히, OpenAI의 GPT 모델을 활용하면 높은 수준의 대화 능력을 가진 챗봇을 만들 수 있습니다. 이 글에서는 ChatGPT를 활용한 Custom ChatBot 개발에 대한 전반적인 가이드와 함께, 토큰 제한과 대용량 데이터 처리 등의 문제를 어떻게 해결할 수 있는지에 대해 설명하겠습니다. 오늘은 ChatGPT로 나만의 커스텀 챗봇을 한번 만들어 보겠습니다. 준비물 : OpenAI API Key, Python 키워드 ChatGPT Custom ChatBot OpenAI 토큰 제한 대용량 데이터 처리 Embedding 기업들이 기업용 LLM 을 구축하기 위해서 많은 시간과 돈을 쓰면서 노력을 하고 있다고 합니다. 저의 업무.. 2023. 11. 15.
Vector DataBase? 벡터 데이터베이스의 기본 원리 벡터 데이터베이스는 고차원 벡터 공간에서 데이터를 처리합니다. 기존의 관계형 데이터베이스가 행과 열로 데이터를 저장하는 데 반해, 벡터 데이터베이스는 데이터 포인트를 벡터로 변환하여 고차원 공간에 저장합니다. 이는 특히 복잡한 패턴 인식, 기계 학습, 이미지 및 오디오 분석 등에 유용합니다. 벡터 데이터베이스의 장점 벡터 데이터베이스의 가장 큰 장점 중 하나는 바로 속도입니다. 고차원의 데이터 검색을 빠르게 수행할 수 있으며, 이는 대규모 데이터 세트에서 유사성 검색과 같은 작업에 탁월한 성능을 나타냅니다. 또한, 스케일 아웃이 용이하여 대용량 데이터를 다루는 데 적합합니다. 유사성 검색 (Similarity Search) 유사성 검색은 벡터 데이터베이스가 매우 빠른 속도로.. 2023. 11. 9.
728x90

티스토리툴바