728x90 챗봇7 챗봇 구축 방법론을 생각해보다 챗봇 구축 W5100, W5500, W5100S 과 같이 제품군이 있는 Docs 정보를 토대로 검색증강생성 모델 챗봇을 구축하려고한다. 적용대상 : 실시간 챗봇 우선순위 (1) 포럼 QnA 자동답변기능 (2), 채널톡 자동답변(3) 데이터 : 제품군별 독스 모델이 이해할 수 제품군별 이해하도록 최대한 연관시켜서 재 가공 h/w engineer 가 매달 실제 고객과 상담한 상담내용을 토대로 자체 QnA(faq) 데이터셋 제작 모델 : OpenAI 쓸 예정 모두 (GPT3.5, GPT4) 오픈소스는 성능이 안좋음 , 한국어파인튜닝도 작업해야하는 우려 코드나, 핀맵을 출력하는 경우 token 제한 이슈 적용 방법론: VectorDB all data (Chunk size 고려) ChatGPT - fine-tun.. 2024. 1. 29. [Langchain] 처음시작하는 랭체인 - (1) 안녕하세요 Simon 입니다. 오늘부터 랭체인 하나는 정복하자 느낌으로 쭉 글을 올려보려고 합니다. 랭체인의 개요, 기초 부터 천천히 하나씩 올리겠습니다. LangChain 이란? • Langchain 은 LLM 기반의 서비스를 구축하기 위한 다양한 모듈과 기능을 제공하는 프레임워크입니다. • 랭체인의 주요 목적은 대화형 AI 시스템을 구축하고 연구하는 데 있어 유용한 도구를 제공하는 것입니다. LangChain 구조 LangChain 라이브러리: 파이썬과 자바스크립트 라이브러리. 다양한 컴포넌트의 인터페이스 및 통합, 이러한 컴포넌트를 체인과 에이전트로 결합하기 위한 기본 런타임, 그리고 체인과 에이전트의 오프더셀프 구현을 포함합니다. LangChain 템플릿: 다양한 작업을 위한 쉽게 배포 가능한 참.. 2024. 1. 24. 나만의 챗봇 Service해보기(2) : WIZnet Doc에 있는 데이터를 학습시키자! 안녕하세요 오늘은 나만의 챗봇 서비스해보기 2탄으로 돌아왔습니다. 오늘은 나만의 챗봇을 학습하기 위한 데이터를 가져오는 방법을 알려드리려고 합니다. 우선 데이터를 구축하기 위한 예시로 WIZnet의 doc를 가져와봅시다. 아래 Github링크를 들어가면 WIZnet의 doc를 마크다운 파일로 확인할 수 있습니다. https://github.com/Wiznet/document_framework GitHub - Wiznet/document_framework Contribute to Wiznet/document_framework development by creating an account on GitHub. github.com 이중 W5500를 예시로 가져왔습니다. ## W5500 ![W5500 Photo .. 2024. 1. 19. 나만의 챗봇 Service해보기(1) - 결과부터 보자. 안녕하세요 Acorn입니다. 최근에 저는 기술의 발전에 매료되어 있습니다. 특히 LLM 분야에서의 급속한 진보가 놀라울 따름인데요. 이번 프로젝트는 LLM, 특히 RAG를 통한 CustomChatbot 제작을 위한 공부를 하고, Streamlit을 통해 서비스화를 시켜보았습니다. Streamlit은 데이터 사이언스와 머신 러닝을 위한 빠르고 사용하기 쉬운 앱 프레임워크입니다. Python 기반으로 작동하기 때문에, 저와 같은 개발자들에게 친숙한 환경에서 작업할 수 있었습니다. Langchain은 최신의 언어 모델을 사용하여 다양한 언어 작업을 수행할 수 있는 라이브러리입니다. 이 두 도구를 결합하여, 쉽고 빠르게 서비스화할 수 있는 챗봇 프로젝트를 제작하였습니다. 아래 사이트는 제가 제작한 챗봇 사이트입.. 2024. 1. 18. GPT 스토어에서 가장 인기있는 챗봇은? 안녕하세요 Acorn입니다. 저번주 GPTs가 나온 이후, 어떤 챗봇이 올라와있나 탐색하는 시간을 가졌는데요, AITimes의 기사를 참고하여 GPTs에서 가장 인기있는 챗봇들을 간략하게 조사 해보았습니다. 오픈AI의 'GPT 스토어'가 11일에 출시되어 여러 맞춤형 챗봇들이 주목을 받고 있습니다. 이곳에는 최근 2개월간 생성된 300만개 챗봇 중 일부가 사용자에 의해 등록되었습니다. 해당 스토어는 '추천(Featured)', '인기(Trending)', '자체제작(By ChatGPT team)' 등의 섹션으로 대표 챗봇들을 소개하고 있으며, 사용자가 만든 챗봇은 다양한 카테고리로 구분되어 있습니다. 카테고리별 1위와 순위권에 오른 대표 챗봇들을 분석해 봤습니다. GPT 스토어에서 가장 인기 있는 GPT.. 2024. 1. 15. [Simon] 챗봇개발일지 - (1) RAG 챗봇을 구축하는 과정에서 그냥 Langchain 으로 Document 로더를 통해서 , Finecon, 크로마DB 와 같은 Vector DB 로 임베딩을 한 후 코사인 시밀러 서치를 통해 값을 가져오면 끝? 간단하게 생각을 했다. 사실 아직 제대로 챗봇을 구성해보진 않았다 왜냐면 데이터가 정제가 잘 안되어있는 문제도 있을 뿐더러, 자꾸 만들지도 않고 성능개선에 대한 문제점만 생각을 했다. 처음에 랭체인의 Cookbook 을 따라 쳐보면서 클론코딩을 하면서 어느정도 라이브러리에 대한 이해도를 키웠는데 지금은 많이 이해한 상태이다. 그렇다면 우리 회사의 데이터는 다양한 파일이 존재하는데 이걸 어떻게 결합하지 그 의문이 사실 들었었다. 웹의형태도 있을거고, 그냥 문서를 로드하는 경우도 있을것이다. 그런.. 2024. 1. 11. OpenAI의 Embedding을 이용한 ChatGPT Custom Chatbot 시스템 구축해보기 챗봇 개발은 AI와 머신러닝의 빠른 발전으로 인해 점점 더 중요해지고 있습니다. 특히, OpenAI의 GPT 모델을 활용하면 높은 수준의 대화 능력을 가진 챗봇을 만들 수 있습니다. 이 글에서는 ChatGPT를 활용한 Custom ChatBot 개발에 대한 전반적인 가이드와 함께, 토큰 제한과 대용량 데이터 처리 등의 문제를 어떻게 해결할 수 있는지에 대해 설명하겠습니다. 오늘은 ChatGPT로 나만의 커스텀 챗봇을 한번 만들어 보겠습니다. 준비물 : OpenAI API Key, Python 키워드 ChatGPT Custom ChatBot OpenAI 토큰 제한 대용량 데이터 처리 Embedding 기업들이 기업용 LLM 을 구축하기 위해서 많은 시간과 돈을 쓰면서 노력을 하고 있다고 합니다. 저의 업무.. 2023. 11. 15. 이전 1 다음 728x90
