한 때 AI 칩 스타트업을 위한 자금 환경은 7월 중순의 햇살과 같았지만, 현재 Nvidia가 우위를 차지하면서 그늘이 드리우기 시작했습니다.
최근 보고서에 따르면 미국의 칩 기업들은 2023년 1월부터 9월까지 단 881밀리언 달러를 조달했는데, 이는 2022년 처음 3분기의 1.79밀리언 달러에서 하락한 것입니다. AI 칩 회사인 Mythic은 2022년에 현금이 바닥나 거의 운영을 중단할 뻔했고, 예전에 자금을 풍부히 지원받았던 경쟁사인 Graphcore는 현재 적자가 증가하고 있습니다.
그러나 한 스타트업이 초견을 보이는 것으로 보입니다. 2017년에 Texas Instruments의 무선 연결 담당 CTO였던 Orr Danon과 Avi Baum이 공동 창립한 Hailo는 엣지 장치에서 AI 워크로드를 실행하기 위한 특수 칩을 디자인합니다. Hailo의 칩은 일반 프로세서보다 낮은 메모리 사용량과 전력 소비를 통해 AI 작업을 실행하며, 자동차, 스마트 카메라 및 로봇과 같은 콤팩트, 오프라인 및 배터리 구동 장치용으로 강력한 후보가 됩니다.
...
최근, 이 같은 과제에서 AI 모델 구조와 관련된 도전 과제들입니다. Hailo의 칩이 효율적으로 실행되도록 설계되어 있는 경우 대중화된 경우 얼마나 지속가능한지가 큰 문제가 될 수 있습니다. 또한, 치솟속도 지원도 문제가 될 수 있습니다. 중요한 개발자들이 Hailo의 칩을 사용할 수 있는 툴링을 배우기를 기꺼이 하지 않는다면 문제가 발생할 수 있습니다.
“커스텀 칩에 대한 대부분의 도전 과제는 소프트웨어 에코시스템에 있습니다,” Kozyrakis는 말했습니다. “이는 Nvidia와 같은 기업이 AI 소프트웨어에 15년 이상 투자해 온 만큼 AI 분야에서 다른 기업에 비해 엄청난 이점을 가지고 있는 것입니다.”
...
하지만, 3억 4천만 달러의 자금과 인원 수가 약 250명인 상황에서, Danon은 Hailo의 전반적인 경로에 대해 자신감을 가지고 있습니다. 적어도 단기적으로는 그는 클라우드 기반의 AI 추론에서 기업이 마주치는 많은 도전 과제들을 해결할 수 있는 기술로 Hailo를 보고 있습니다. 그가 말합니다. ‘전통적인 AI 모델은 클라우드 기반 인프라에 의존합니다. 종종 지연 문제와 기타 도전 과제들이 발생합니다. 실시간 통찰력과 경보가 불가능하며, 그들의 네트워크 의존성은 신뢰성과 클라우드의 통합성을 위협하므로 데이터 개인 정보 보호 우려가 있습니다. Hailo는 클라우드와 독립적으로 작동하는 솔루션을 제공하므로 AI 처리량이 훨씬 더 높게 처리되도록 만듭니다.’”
...
‘최근 몇 년 동안 비행장 보안부터 식품 포장에 이르기까지 대부분의 산업에서 엣지 AI 응용 프로그램의 수요가 급증했습니다.’ 그는 말했습니다. ‘신생하는 generative AI의 증가는 실제로 이 수요를 더욱 증가시키고 있습니다. 우리는 다양한 산업의 고객들로부터 로컬에서 LLMs를 처리할 것을 요청해오고 있습니다. 이는 주로 컴퓨터 및 자동차 산업뿐만 아니라 산업 자동화, 보안 및 기타 분야의 고객이 요청하고 있는 것입니다.’”
여기서도 그렇습니다.
