Musk의 Colossus 1 AI 슈퍼컴퓨터의 비효율적인 혼합 아키텍처 설계는 Grok을 훈련하는 데 사용할 수 없으므로 Anthropic은 대신 추론에 이를 사용합니다. Musk는 통합 Blac을 준비합니다.

지난주 Anthropic은 220,000개 이상의 GPU와 30MW의 컴퓨팅 용량을 갖춘 Colossus 1 데이터 센터 전체를 임대하기로 SpaceX와 계약을 체결했다고 발표했습니다.이 거래는 즉시 질문을 제기합니다. 그중에서도 머스크가 xAI의 가장 공격적으로 과장된 AI 자산 중 하나를 직접적인 경쟁자에게 임대하는 이유는 무엇입니까?SpaceX의 IPO가 코앞으로 다가오면서 관련 전략이 작용하는 것으로 보이지만, 다양한 유형의 GPU가 포함된 시스템의 혼합 아키텍처가 Musk가 시스템 임대를 결정한 주요 이유일 수도 있는 것으로 나타났습니다.

Anthropic은 새로 인수한 용량이 주로 Claude의 유료 생태계 전반에 걸쳐 오랫동안 지속되어 온 사용 병목 현상을 완화하는 데 사용될 것이라고 밝혔습니다.회사에 따르면 추가 컴퓨팅을 통해 Claude Code 한도가 크게 높아지고 Pro 및 Max 가입자에 대한 피크 시간 조절이 제거되며 개발자와 기업 고객이 사용하는 Claude Opus 모델에 대한 API 요청 한도가 크게 증가할 것입니다.

Anthropic에 대한 Musk의 초기 입장을 완전히 뒤집은 겉보기에 가능성이 없어 보이는 파트너십은 또한 Anthropic이 Claude 생태계의 컴퓨팅 요구 사항으로 인해 어려움을 겪고 있음을 보여줍니다.회사는 Claude 사용 경험을 향상시키기 위해 전체 300MW AI 슈퍼 클러스터가 필요하다고 말합니다.

Anthropic이 증가하는 사용자 기반의 컴퓨팅 요구를 따라잡기 위해 고군분투하고 있다는 최초의 징후는 Claude의 서비스 전반에 걸쳐 점점 더 공격적인 사용 제한이 설정되었다는 것입니다.무료 사용자는 토큰(Claude가 작업 처리를 위해 할당하는 단위)이 빠르게 소진되는 것에 대해 자주 불평했습니다.그러나 제한 사항은 무료 등급 이상으로 확대되었습니다.유료 Pro, Max, Team 및 Enterprise 사용자는 특히 수요가 많은 기간 동안 Claude Code 세션에서 메시지 한도, 피크 시간 제한, API 속도 제한 및 엄격한 시간 기반 사용량 한도를 정기적으로 경험했습니다.

Anthropic의 추론 능력이 부족하다는 것은 분명했습니다.AI 모델을 훈련하는 것은 비용이 많이 드는 일회성 계산 작업이지만 수백만 명의 사용자에게 해당 모델을 제공하는 동시에 모든 신규 사용자 및 모든 새로운 쿼리에 따라 직접적으로 확장되는 컴퓨팅에 대한 지속적인 24시간 수요가 발생합니다.명백한 해결책은 Anthropic이 Amazon, Google, Microsoft 및 Nvidia와의 대규모 기가와트 거래를 통해 분명히 추구하고 있는 더 많은 데이터 센터를 구축하는 것입니다.

그러나 현대의 하이퍼스케일 AI 데이터 센터는 수백억 달러의 비용이 들고 구축하는 데 수년이 걸릴 수 있습니다.유틸리티는 AI 프로젝트에 충분한 전력을 공급하기 위해 점점 더 어려움을 겪고 있는 반면, 토지, 변압기, 냉각 인프라 및 고급 GPU 자체는 여전히 제약을 받고 있습니다.지역사회에서도 AI 인프라에 대한 반감이 높아지고 있다.우리는 최근 미국 상원의원이 데이터 센터 문제로 대치한 후 기자와 몸싸움을 벌였다고 보도했습니다.