728x90
안녕하세요 Simon 입니다.
기업가치 4위가 된 nvidia에서 LLM 활용을 위한 새로운 도구를 배포했습니다. 이름하여 Chat with RTX 로 자신들의 그래픽카드에서 작동 할 수 있는 챗봇입니다.
NVIDIA Chat With RTX
나만의 맞춤형 AI 챗봇.
www.nvidia.com
여러가지의 기능이 지원되는데 모델을 선택하고, 데이터를 선택한 후 챗봇에 질문을 하면 리스폰 받는 형태인것 같습니다. 아직 RTX3X, 4X 시리즈에서 DEMO 로 지원을 한다고 합니다. version 이 현재 0.2 기준으로 이 글은 작성되었고 추후 업데이트는 계속 진행될듯 보입니다.
설치방법
위의 공식홈페이지에서 다운로드를 합니다.
비교적 높은 사양을 보여주고 있습니다. 아무래도 LLM 자체가 인퍼런스도 꽤 많은 컴퓨팅 리소스가 필요하기 때문입니다.
파일자체도 매우 무겁습니다. 35GB 나 하니 디스크를 비워두고 오시길 바랍니다. zip 파일로 되어있기 때문에 다운로드 후 압축 해제를 진행하시면 됩니다.
압축 완료 후 set up, 파일이 보입니다. set up 을 눌러 줍니다.
동의를 누르면 이제 어떤 걸 설치할지 나오는데 LLama 13b , Mistral 7b int4형태 퀀티제이션이 된걸로 보이는 모델들이 있습니다.
여기서 시간이 꽤 소모가 됩니다.
728x90
'AI > Contents' 카테고리의 다른 글
| W5X00-EVB-Pico with SSL/TLS (3) | 2024.03.08 |
|---|---|
| Attention Mechanism 이란? - (1) (4) | 2024.03.04 |
| Stream을 아시나요? (4) | 2024.02.15 |
| Ollama를 활용한 VScode 로 Local GithubCopilot 만들기 - (3) (2) | 2024.02.15 |
| Ollama를 활용한 맥북 Github Copilot 구축하기 - (2) (1) | 2024.02.15 |
