스타트업 Gimlet Labs는 놀랍도록 우아한 방식으로 AI 추론 병목 현상을 해결하고 있습니다.

스탠포드 겸임교수이자 성공적으로 퇴사한 창업자인 Zain Asgar는 AI 추론 병목 현상 문제를 기민한 방식으로 해결하는 스타트업을 위해 8천만 달러 규모의 시리즈 A 투자를 유치했습니다.이번 라운드는 Menlo Ventures가 주도했습니다.

GimletLabs라는 회사는 다양한 유형의 하드웨어에서 AI 워크로드를 동시에 실행할 수 있는 소프트웨어인 최초이자 유일한 "다중 실리콘 추론 클라우드"를 만들었습니다.AI 앱의 작업을 기존 CPU와 AI 조정 GPU는 물론 대용량 메모리 시스템으로 분할할 수 있습니다.

Asgar는 TechCrunch에 “우리는 기본적으로 사용 가능한 다양한 하드웨어를 모두 사용합니다.”라고 말했습니다.

단일 에이전트가 여러 단계를 연결할 수 있으며 각 단계에는 "다른 하드웨어가 필요합니다. 추론은 계산에 바인딩되고, 디코딩은 메모리에 바인딩되며, 도구 호출은 네트워크에 바인딩됩니다"라고 수석 투자자인 Menlo의 Tim Tully는 자금 조달에 대한 블로그 게시물에 썼습니다.

아직 모든 기능을 수행하는 칩은 없지만 새로운 하드웨어가 출시되고 노후된 GPU가 재배치됨에 따라 "멀티 실리콘 제품군이 준비되었습니다. 이를 작동시키기 위한 소프트웨어 계층이 누락되었을 뿐입니다."이것이 Tully가 GimletLabsoffers를 믿는 것입니다.

현재의 컴퓨팅 증가 추세가 계속된다면 McKinsey는 데이터 센터 지출이 2030년까지 거의 7조 달러에 이를 것으로 추정합니다. Asgar는 앱이 이미 배포된 기존 하드웨어를 "15~30% 정도"의 시간만 사용하고 있다고 말합니다.

"이것을 생각하는 또 다른 방법은 유휴 리소스를 남겨두기 때문에 수천억 달러를 낭비하고 있다는 것입니다."라고 그는 말했습니다."우리의 목표는 기본적으로 AI 워크로드를 현재 그 어느 때보다 10배 더 효율적으로 만들 수 있는 방법을 찾는 것이었습니다."