728x90 GPT8 Groq AI 반도체와 아키텍처로 시장의 새로운 패러다임 TSP 안녕하세요 Simon 입니다. 요즘 AI 업계가 기술의 발전의 속도가 ChatGPT 이 후로 가속화를 넘어서 광속화가 진행되고 있는 느낌인데요. Gemini1.5Pro, SorA를 넘어서 더 충격적인 AI 반도체 관련 소식입니다. Groq groq.com 미국 실리콘 밸리의 스타트업 Groq가 텐서스트리밍 프로세서(TSP) 아키텍처를 통해 AI 아키텍처 시장에서 새로운 지평을 열고 있습니다. 이들의 기술은 단일 칩에서 초당 천 조(Peta) 회 작동을 수행하는 놀라운 성능을 자랑하며, 이는 초당 최대 250조의 부동 소수점 연산(FLOPS) 처리 능력을 의미합니다. Groq의 TSP 아키텍처는 기존의 GPU 및 CPU 아키텍처와 달리 동기화 오버헤드 없이 컴퓨팅 유연성과 대규모 병렬성을 제공하는 새로운 .. 2024. 2. 22. [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 2019년 구글이 발표한 BERT 논문 리뷰입니다. 출처 : https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations fro.. 2024. 2. 13. LLM 데이터셋 관련 정리 - 대규모 원시 말뭉치 안녕하세요 Simon 입니다. 오늘은 LLM 데이터셋 관련 대규모 말뭉치에 관해 글을 정리해볼까 합니다. 오늘날의 GPT와 같은 모델들은 이 대규모 원시 말뭉치를 통해 Self-Supervised Training 이 되어 다양한 형태로 Fine-Tunning 되어 우리의 일상속에 들어와 있습니다. T5를 시작으로 엄청나게 발전을 많이 했는데요. 저도 2022년에 AI를 입문하게 되었고 자연어처리는 GPT가 나오고 배웠지만 거의 T5가 주류를 이루고 있었는데 현재 지금 엄청 빠르게 발전한 모습이네요. 그렇다면 이 LLM들을 어디서 학습데이터를 구하냐? 바로 우리 곁에 있습니다. 다들 한번쯤 해보신 크롤링을 통해서 데이터를 모을 수 있고, 위에 소개해드린대로 AIhub 와 같은 데이터센터에서 가져올 수 도 .. 2024. 1. 17. SOLAR 10.7B: Scaling Large Language Models with Simple yet EffectiveDepth Up-Scaling 논문리뷰 안녕하세요 Simon입니다. 오늘 소개해드릴 논문은 SOLAR 10.7B에 관한 논문입니다. 지금 FastCampus에서 Upstage의 파인튜닝 노하우 강의를 듣고 있는데 김성훈 CEO가 소개해준 내용과 연관해서 리뷰를 해보겠습니다. 강의를 수강하는데 계속 웃음꽃이 떠나질 않는 거 보면 확실히 현재 제일 hot 한 최전선에 있는 분야에서 최고가 된 만큼 얼마나 기쁠까 생각이 들긴 합니다. LLM의 평가지표는 여러가지가 있습니다. H4는 4개의 데이터셋으로 평가한다는 의미인데요, 현재 H7 까지도 증가해서 평가를 받고 있습니다. 그말은 즉슨 H4에서의 벤치마크가 높은데 H7에서는 떨어진다? 이 말은 모델이 그만큼 일반화가 되지 않은 모델이라고 생각해 볼 수 있습니다. LLM 평가지표에 대한 글은 제가 다.. 2024. 1. 4. ChatGPT 에게 Tip 을 주면 성능이 더 좋아진다? 안녕하세요 Simon 입니다. 이번에는 긴 글 은 아니고 팁이자 유용한 방법을 소개해드리려고 합니다. 한 트위터에서 GPT 사용자가 테스트를 해봤다고 하는데요. https://twitter.com/voooooogel/status/1730726744314069190?utm_source=www.joinsuperhuman.ai&utm_medium=referral&utm_campaign=what-happens-when-you-give-chatgpt-money X의 thebes님(@voooooogel) so a couple days ago i made a shitpost about tipping chatgpt, and someone replied "huh would this actually help perform.. 2023. 12. 6. [Langchain] RAG 멀티모달을 활용한 추론 - 이력서 첨삭 튜터 안녕하세요, 여러분. 오늘은 최근에 접한 흥미로운 프로젝트, 바로 '멀티모달 이력서 첨삭 튜터'에 대해 이야기해보려 합니다. 이 프로젝트는 GPT-4 기반의 인공지능을 활용하여 이력서 작성과 첨삭을 돕는 혁신적인 시도인데요, 그 세부 내용을 한번 살펴보겠습니다. 멀티모달 이력서 첨삭 튜터의 개발 배경 이 프로젝트의 출발점은 사람들이 널리 사용하는 인공지능 이력서 서비스에 GPT-4 기반의 기능을 추가하여 더 향상된 서비스를 제공하고자 하는 아이디어였습니다. 특히, 비전 관련 기능을 첨삭하는 부분에 초점을 맞추었죠. 이는 기존의 텍스트 중심 이력서 서비스를 한 단계 끌어올리는 시도라고 할 수 있습니다. 기능 및 사용 방법 사용자는 자신의 이력서를 PDF 형식으로 업로드하고, 이력서와 관련된 질문을 입력합니.. 2023. 11. 30. GPT-4 Vision 을 활용한 자율주행 안녕하세요 Simon 입니다. 여러 AI 관련 뉴스레터를 받아보고 있는데 재밌어보이길래 한번 들어가서 봤습니다. https://arxiv.org/pdf/2311.05332.pdf On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving 이라는 논문이고 GPT-4 Vision 모델을 활용해서 자율주행에 적용해본 사례에 대해 탐구합니다. 자율 주행, GPT-4V가 바꾼다? 자율 주행은 자동차 산업의 미래로, 주변 환경을 정확하게 인식하고 적절한 의사 결정을 내리는 것이 핵심입니다. 이를 위해, 최근 중국 연구진은 'GPT-4V'라는 첨단 비전-언어 모델을 자율 주행에 적용하는 실험을 진행했.. 2023. 11. 22. GPTs 로 Custom 챗봇 구축하기 안녕하세요 Simon 입니다. 저번에 소개해드렸던데로 Open AI 에서 대규모 업데이트 이후 기능인 GPTs를 활용해서 커스텀 챗봇을 개발해보았습니다. 회사에서 고객의 Prompt 를 정형화 하기 위해 Rule Base의 컨텐츠형으로 선택 후 모델이 응답 할 수 있게 챗봇을 구축하면 어떠냐는 아이디어를 팀장님들께서 던져주셨고 이를 그냥 ChatBot에 녹일수는 없나 고민을 해보았습니다. 역시 답은 Prompt 였습니다. 그래서 디자이너 챗봇과 고객응대 챗봇을 만들어봤습니다. 약묵자는 제가 맛집모임을 하고 있는데 뉴비를 위한 챗봇 Guide 를 만들면 재밌겠다 싶어서 실험으로 만들어봤는데 성능에 감탄을 했습니다. 우선 저희가 지금 계획하고 있는게 일본시장 공략과 Prompt 정규화를 어떻게 이끌어낼까에 .. 2023. 11. 15. 이전 1 다음 728x90
