WIZnet AI Chatbot의 동작 원리

ChatGPT 출시 이후 기업용 챗봇의 변화

ChatGPT, Bard, BingChat 등의 LLM 기반의 챗봇들이 출시된 이후 도메인을 가리지 않고 수많은 기업들은 기업용 챗봇의 도입을 원하고있으며, 기존의  Rule-based 시스템의 챗봇을 운영하던 기업에서도 보다 자연스러우면서도 뛰어난 챗GPT같은 챗봇을 도입하기를 원하고 있습니다.

하지만 우리가 흔히 사용하는 ChatGPT는 특정 도메인이나 목적에 집중한 모델이 아닌 범용 모델입니다. 따라서 기업에서 고객 대응이나 업무용으로 ChatGPT를 제공하려고 한다면, 해당 기업에 대한 정보가 해당 모델에 학습되지 않았을 경우, 또 학습일 기준 데이터(ChatGPT의 경우 2021년 이전) 까지만 학습이 되어 실시간으로 업데이트 된 외부 정보들에 대해서는 잘 모르거나, 할루시네이션(hallucination)에도 취약합니다. 

따라서 단순히 범용적으로 제공되는 LLM을 회사 운영차원에서 사용하기는 무리가 있으며, 기업에 맞는 LLM 모델을 만들어서 활용해야 합니다.

 

기업에 맞는 LLM 모델을 만드는 3가지 전략

다음은 OpenAI에서 발표한 기업용 맞춤 LLM 모델을 구축하는 세가지 전략에 대해 요약한 내용입니다.

1.  제로 베이스에서 모델 개발 :
   • 바닥부터 모델을 직접 구축하는 방식
   • 숙련된 ML 엔지니어, 많은 데이터, 강력한 인프라 필요
   • 대기업 위주로 주로 적용됨 (예: Google, Meta, 네이버 등)
2. 파인 튜닝:
   • 기존 사전 훈련 모델에 도메인 데이터를 추가 학습
   • 진입 장벽은 상대적으로 낮으나 ML 전문가 필요
   • "모델 드리프트"와 같은 문제 발생 가능
3.  RAG를 활용한 검색
   • 베이스 모델에서 외부 데이터를 가져와 임베딩을 진행
   • 사용자 질문에 따라 관련 임베딩 제공
   • 비용면에서 효율적이며, 데이터 최신성 보장, 할루시네이션 문제 대비 가능

이렇게 3가지 방식을 통해 각 기업에 맞는 LLM 모델을 구축할 수 있습니다.

하지만 현실적으로 대부분의 기업들은 높은 진입장볍 때문에 파인튜닝과 RAG 방식 중에서 선택해야 합니다.

 

Fine-Tuning vs. RAG

Microsoft의 Ashish Bhatia의 Fine-tuning과  RAG 방식 비교에 대한 요약입니다. (원문링크) 

Finetuning과 RAG사이의 선택은 프로젝트의 구체적인 목표와 리소스에 따라 달라진다고 말하고 있습니다. 코드 생성처럼 모델에 완전히 새로운 작업을 가르치려는 목표를 가지고 있다면 파인튜닝이 적합한 선택일 수 있습니다. 하지만, 제약 조건과 제한된 예산 내에서 모델을 새로운 도메인에 맞게 조정하는 것이 중점이라면 RAG가 더 효율적이고 접근하기 쉬운 해결책을 제공할 수 있다고 말하고 있습니다.

 

WIZnet AI Chatbot의 도입

저희 WIZnet에는 위에서 소개한 방식 중 RAG가 더 어울린다고 생각되어 해당 기술의 UI를 제공하는 Chatbase를 활용하여 LLM 모델을 도입하였습니다. 

WIZnet에서는 Docs, Forum, Channel Talk, e-shop 등 다양한 플랫폼에서 데이터를 수집하여 Vector DB에 저장하고 가공하였습니다. 이렇게 가공된 데이터는 Retrieval이 가능한 형태로 변환되었기 때문에, 사용자의 질의응답 형태의 챗봇 서비스나 기타 다양한 업무에 활용될 수 있습니다.

이를 통해 일반적인 고객 응대나 기술 지원, 사내 Contents 제작과 같은 업무에도 활용 가능하도록 노력하고 있습니다.

 

WIZnet AI Chatbot의 도입

• WIZnet Forum에 적용 예정인 기술지원용 Chatbot 
  •  실시간으로 사전 응대가 가능함 (아래는 예시 이미지)

    

• 일본 홈페이지(jp.wiznet.io) 에 공개되어있는 챗봇
  • ChatGPT 기반으로 운영되어 일본어 데이터 없이도 번역에 효과적임

 

 

이렇게 다양한 방식의 챗봇을 개발 및 도입 예정이지만, 쉼없이 나오는 새로운 기술들에 맞추어 끊임없는 연구와 피드백이 필요합니다. 

특히, 사용자 및 직원들의 피드백을 통한 데이터 개선이 앞으로의 과제로 남아있습니다. 

WIZnet의 더욱 발전된 챗봇 서비스를 제공하기 위해 끊임없이 노력하고 있으니 많은 관심과 기대를 부탁드립니다.