생성적 AI 모델을 일반 프로세서보다 빠르게 실행하는 칩을 개발 중인 스타트업 그록(Groq)은 월요일에 블랙락이 주도하는 신규 펀딩 라운드에서 6억 4천만 달러를 조달했다고 밝혔습니다. 이번 라운드에는 뉴버거 버먼, 타입 원 벤처스, 시스코, KDDI 및 삼성 카탈리스트 펀드도 참여했습니다.
이번 투자금은 그록의 총 유치금을 10억 달러 이상으로 늘리고 회사 가치는 28억 달러로 설정했으며, 그록에게 큰 승리를 안겨줍니다. 이는 그록이 처음에 25억 달러로 더 낮은 가치로 3억 달러를 유치하려고 했던 것으로 알려져 있었습니다. 이는 지난 2021년 4월에 타이거 글로벌 매니지먼트(Tiger Global Management)와 D1 케피털 파트너스(D1 Capital Partners)가 주도하는 라운드에서 약 10억 달러의 가치를 기록한 지난 투자금보다 두 배 이상 높습니다.
그록은 오늘 메타 최고 AI 과학자 앙 르쿤(Yann LeCun)이 기술 자문위원으로 그록에 참여하고, 이에 따라 이스튜어트 팬(Stuart Pann)은 그록의 이사장으로 합류한다고도 발표했습니다. 앙 르쿤의 임명은 메타가 자체 AI 칩에 투자하는 것을 감안할 때 조금 예상치 못한 일입니다 - 하지만 이는 강력한 연합을 그록에게 제공합니다.
2016년 스텔스로 나온 그록은 LPU(언어 처리 유닛) 추론 엔진이란 것을 만들고 있다고 합니다. 이 회사는 기존의 OpenAI의 ChatGPT 및 GPT-4o와 같은 아키텍처와 유사한 생성적 AI 모델을 10배 빠르게, 에너지 소비도 1/10에 실행할 수 있다고 주장합니다.
그록 CEO 조나단 로스(Jonathan Ross)의 주장은 텐서 처리 유닛(TPU)을 고안하는 데 도움을 준 것입니다. 로스는 구글의 맞춤형 AI 가속기 칩인 TPU를 훈련하고 실행하는 데 도움이 되었으며, 거의 10년 전에 도구글 모기실험실의 전 신입 엔지니어인 더글라스 위트만(Douglas Wightman)과 함께 그록을 공동 창업했습니다.
그록은 메타의 Llama 3.1 패밀리, 구글의 Gemma, OpenAI의 Whisper 및 Mistral의 Mixtral과 같은 '오픈' 모델을 제공하는 LPU 기반 개발자 플랫폼인 GroqCloud를 제공하며, API를 통해 고객이 클라우드 인스턴스에서 칩을 사용할 수 있게 합니다. GroqCloud에는 35만 6천명 이상의 개발자가 있으며, 라운드에서 얻은 수익의 일부는 용량을 확대하고 새로운 모델과 기능을 추가하는 데 사용될 것이라고 그록은 말합니다.
“이들 개발자 중 상당수가 대기업에 있습니다,” 그록의 COO인 스튜어트 팬은 TechCrunch에 말했습니다. “우리의 추정에 따르면 포춘 100대 기업 중 75% 이상이 참여하고 있습니다.”
생성적 AI 붐이 계속되는 가운데, 그록은 경쟁을 받고 있습니다. 라이벌 AI 칩 스타트업과 AI 하드웨어 부문에서 강력한 기업인 Nvidia로부터 경쟁을 받고 있습니다.
Nvidia는 세대적인 AI 모델을 훈련하고 배포하는 데 사용되는 AI 칩 시장의 약 70%에서 95%를 제어하고 있으며, 회사의 지배력을 유지하기 위해 적극적인 조처를 취하고 있습니다.
Nvidia는 매년 새로운 AI 칩 아키텍처를 발표하기로 했으며, 기존에는 매 두 해마다 아키텍처를 발표했던 것으로 알려져 있습니다. 그리고 회사는 클라우드 컴퓨팅 기업 및 기타 기업을 위해 특별한 칩을 디자인하는 데 중점을 두고 새로운 비즈니스 유닛을 설립하고 있다고 보도되고 있습니다.
Nvidia를 넘어서, 그록은 클라우드에서 AI 워크로드를 위한 맞춤형 칩을 제공하는 아마존, 구글 및 마이크로소프트와도 경쟁하고 있습니다. 아마존은 AWS를 통해 Trainium, Inferentia 및 Graviton 프로세서를 제공하며, 구글 클라우드 고객은 앞으로 TPU 및 Axion 칩을 사용할 수 있으며, 마이크로소프트는 최근에 Cobalt 100 CPU를 위한 Azure 인스턴스를 미리보기로 출시하고, 몇 달 내에 Maia 100 AI 가속기 인스턴스를 제공할 예정입니다.
그록은 또한 Arm, Intel, AMD 및 AI 칩 시장에서 매년 4천억 달러에 달하는 매출을 기록할 수 있는 것으로 알려진 수 많은 스타트업 경쟁사로 간주할 수 있습니다. 특히 Arm과 AMD는 맞춤형 AI 칩 사업을 갖추고 있으며, 생성적 AI의 요구에 대응하기 위해 클라우드 업체들이 매년 폭증하는 자본 지출을 하고 있습니다.
D-Matrix는 지난 해 말에 '독창적 추론 컴퓨팅 플랫폼'로 상용화하기 위해 1억 1천만 달러를 조달했습니다. 6월에는 '트랜스포머'라는 지금까지의 주요 생성적 AI 모델 아키텍처를 가속화하기 위해 특별히 설계된 프로세서로 1억 2천만 달러를 조달한 에프터드(Etched)가 드러났습니다. 소프트뱅크의 마사요시 손(Masayoshi Son)은 Nvidia와 경쟁하기 위해 1,000억 달러를 조달할 계획이라고 보도되었습니다. 그리고 OpenAI는 투자기관들과 제휴하여 AI 칩 제작 계획을 추진 중이라고 전해지고 있습니다.
그록은 자신의 영토를 확보하기 위해 기업 및 정부와의 협력에 큰 투자를 하고 있습니다.
3월에 그록은 비즈니스 중심 AI 솔루션을 제공하는 팔로알토 기반의 (Definitive Intelligence)를 인수하여 그록 시스템(Groq Systems)이라는 새로운 비즈니스 유닛을 구성했습니다. 그록 시스템은 기존 데이터 센터에 그록의 칩을 추가하거나 그록 프로세서를 사용하여 새로운 데이터 센터를 구축하고자 하는 미국 정부 기관 및 주권국가를 상대로 서비스를 제공하고 있습니다.
최근에 그록은 정부 IT 계약사인 Carahsoft와 협력하여 Carahsoft의 리셀러 파트너를 통해 공공 기관 고객에게 솔루션을 판매하고 있으며, 유럽 기업인 Earth Wind & Power의 노르웨이 데이터 센터에 수만 개의 LPU를 설치하기로 한 의도서가 있습니다.
또한 Mountain View, California에 본사를 둔 그록은 고객 관계를 구축하며 칩의 다음 세대로 나아가고 있습니다. 지난 8월, 그록은 제 1세대 13나노미터 칩에 비해 성능 및 효율성 향상을 가져다 줄 것으로 예상되는 글로벌 파운드리(Gloabl Foundries)와 4나노미터 LPU를 제조할 계약을 체결했습니다.
그록은 2025년 1분기말까지 10만 8천개 이상의 LPU를 배치할 계획이라고 밝혔습니다.
