Groq AI 반도체와 아키텍처로 시장의 새로운 패러다임 TSP

 

 

안녕하세요 Simon 입니다.

 

요즘 AI 업계가 기술의 발전의 속도가 ChatGPT 이 후로 가속화를 넘어서 광속화가 진행되고 있는 느낌인데요. Gemini1.5Pro, SorA를 넘어서 더 충격적인 AI 반도체 관련 소식입니다.

Groq

Groq

 

미국 실리콘 밸리의 스타트업 Groq가 텐서스트리밍 프로세서(TSP) 아키텍처를 통해 AI 아키텍처 시장에서 새로운 지평을 열고 있습니다.

 

이들의 기술은 단일 칩에서 초당 천 조(Peta) 회 작동을 수행하는 놀라운 성능을 자랑하며, 이는 초당 최대 250조의 부동 소수점 연산(FLOPS) 처리 능력을 의미합니다. Groq의 TSP 아키텍처는 기존의 GPU 및 CPU 아키텍처와 달리 동기화 오버헤드 없이 컴퓨팅 유연성과 대규모 병렬성을 제공하는 새로운 패러다임을 제시합니다.

 

이 아키텍처는 특히 컴퓨터 비전, 기계 학습 및 기타 AI 관련 워크로드에 이상적이며, 안전성과 정확성이 중요한 분야에서 큰 잠재력을 보여줍니다. Groq의 칩은 복잡한 기존 아키텍처와 비교할 때 채택 및 적용을 간소화해주며, 고객사들이 요구하는 확장 가능하면서도 와트 당 고성능을 유지해야 하는 고품질 시스템을 간단하고 신속하게 구현할 수 있게 해줍니다.

 

Groq의 기술은 이미 GPU 전문 회사들에게 새로운 성능 표준으로 어필하고 있으며, 6주 안에 생산 단계로 돌입할 수 있는 능력은 기존 및 새로운 기계 학습 모델을 모두 지원하는 큰 매력으로 작용하고 있습니다. 이 칩은 x86 시리즈 뿐만 아니라 x86 이외 시스템에서도 작동하여 시장성을 더욱 밝게 합니다.

 

조나단 로스

 

조나단 로스는 TPU 의 아버지로 불리고 있는데요 다들 아시는 딥마인드의 알파코의  머신러닝 칩으로쓰인 TPU의 초기설계자 입니다. 그는 구글에 나와 스타트업 그로크를 창업하면서 사모펀드로부터 3억달러 가량의 투자유치를 받으며 현재 센세이셔널을 일으킬 칩을 개발했습니다. 현재 Groq를 조사해보니 추후 생산은 삼성전자에서 위탁생산을 할 예정이라고 합니다.

 

Groq의 공동 창립자이자 CEO인 조나단 로스는 이러한 기술이 광범위한 응용 프로그램에 대한 딥 러닝 추론 처리에 이상적이라며, 고성능, 데이터 또는 컴퓨팅 집약적인 워크로드에 이상적인 플랫폼으로 자리매김하고 있다고 자신감을 표명합니다. 이러한 기술적 진보는 Groq의 추론 성능 수준이 다른 상용 신경망 아키텍처를 초과하며, 처리량도 GPU 기반 아키텍처의 ResNet-50 점수를 두 배 이상 능가하는 놀라운 결과를 보여줍니다.

 

Groq의 플랫폼은 최적의 추론 처리 성능을 위해 큰 배치 크기를 필요로 하지 않으며, 작은 배치 크기에서도 최대 처리량을 달성할 수 있습니다. 이는 실시간 응용 프로그램의 대기 시간을 최소화하는 데 중요한 기능입니다. Groq의 아키텍처는 대형 배치에서 GPU 기반 플랫폼보다 최대 2.5배 빠르며, 이는 배치 크기 1에서 최대 17배나 빠른 성능을 제공합니다.

 

이처럼 Groq의 아키텍처는 GPU 기반 솔루션보다 2배 이상의 성능 우위를 제공하며, 엔지니어링 관리 담당자들은 인프라 비용을 두 배로 늘리지 않고도 추론 성능을 두 배로 늘려주는 이 플랫폼을 외면할 수 없게 됩니다. Groq는 자율 주행 차량 및 금융 공간에서 글로벌 고객들 뿐 아니라 다양한 대규모 컴퓨팅 과제를 해결하기 위해 자사의 기술을 사용하는 여러 나라의 실험실과 협력 관계를 늘리고 있으며, 앞으로 의료, 생명 과학 및 금융 시장으로 고객 기반을 확대할 계획입니다.

 

이 모든 것을 종합해보면, Groq의 텐서스트리밍 프로세서 아키텍처는 AI 분야에서 혁신적인 발전을 이루고 있으며, 그들의 기술이 가져올 미래의 변화에 대해 큰 기대를 갖게 합니다. Groq의 성공은 단순히 하드웨어의 진보를 넘어서, AI와 딥 러닝의 미래를 형성하는 데 중요한 역할을 할 것으로 보입니다.

Groq

 

현재 LLaMa70B, mistral7bx8 모델이 지원되고 있는데요 한번 방탄소년단이 누구냐고 물어봤고, 멤버별 정보를 알려달라고 했는데 저 많은 글자가 나오는데 든 시간은 불과 1.42초 였습니다. 초당 토큰을 269개를 출력한 샘입니다. 진짜 놀라움 그자체입니다.

 

시장을 예측 하기는 어렵지만 Nvidia도 분명 독점체제에서 긴장을 해야할것입니다. 빅테크 기업이 추론을 Groq 로 다 바꾼다면(?) 어마어마해질거 같고, 또한 다양한 분야에서 LLM 을 활용해서 발전이 많이 될것 같습니다. 실시간 번역이라던지, 데이터가 빠르게 움직여야하는 금융권 등 충분히 영향을 끼칠수 있을것이라고 생각하고, 멀티모달 분야에서 특히 시너지가 날것입니다. 현재 컨텍스트 윈도우가 100만 까지 늘어난 Gemini 나 World model 같은 LLM 을 활용해서 이미지 관련 Task 와 자율주행도 LLM 으로 한다는게 더이상 말이 안되는일이 아니게 되었습니다. 정말 무섭습니다.