SK하이닉스, 테트라멤과 엣지 AI용 고효율 멤리스터 칩 개발

SK하이닉스, 테트라멤, 그리고 서던캘리포니아 대학교 연구진이 엣지 AI 기기용 멤리스터 기반 인메모리 컴퓨팅(IMC) 시스템 온 칩(SoC)을 공동 개발했습니다. 이 장치는 고성능 GPU나 NPU보다 훨씬 적은 전력을 소비하면서 경량 AI 모델의 신경망 추론을 가속화하도록 설계되었습니다. 현재 이 SoC는 개념 증명(proof-of-concept) 칩의 성격이 강하며, 이론적인 최상의 시나리오에서 약 2.54 TOPS의 성능을 보일 것으로 예상되지만, 이는 마이크로소프트의 코파일럿+ 요구 사항에 비해 16배 낮은 수치입니다.

멤리스터 기반 인메모리 컴퓨팅(IMC)은 메모리 어레이 내부에서 직접 아날로그 연산을 수행하여 신경망을 가속화하는 기술입니다. 이는 데이터 이동을 줄이고 전력 소비를 낮추는 장점이 있습니다. 그러나 모바일넷(MobileNet)과 같은 경량 네트워크의 핵심 연산인 깊이별 컨볼루션(DWC, depthwise convolution)은 채널별로 독립적인 필터링을 수행하며 데이터 재사용이 제한적이어서, 기존 크로스바 어레이에는 잘 맞지 않는다는 한계가 있었습니다. 이러한 제약을 해결하기 위해 SK하이닉스, 테트라멤, USC 연구진은 기존 IMC 크로스바와 DWC에 최적화된 멤리스터 기반 IMC 아키텍처를 모두 갖춘 SoC를 개발했습니다.

공동 개발된 SoC는 워크로드를 스케줄링하는 임베디드 RISC-V 프로세서와 10개의 신경망 처리 장치(NPU)를 기반으로 합니다. 이 중 하나의 NPU는 깊이별 컨볼루션 전용으로 할당되었으며, 나머지 9개의 NPU는 점별(pointwise) 및 밀집(dense) 연산을 실행합니다. 10개 NPU 중 9개는 아날로그 벡터-행렬 곱셈(VMM)을 수행하는 256 x 256 멤리스터 크로스바, 디지털 활성화 값을 아날로그 전압으로 변환하는 256개의 8비트 DAC, 아날로그 출력을 다시 디지털 값으로 변환하는 256개의 8비트 ADC, 그리고 크로스바를 읽고 쓰고 프로그래밍하며 제어하는 추가 주변 회로를 포함합니다.

DWC에 최적화된 NPU는 기존 어레이 대신 8개의 특수 252 x 28 지그재그 크로스바 블록을 사용하지만, DAC와 ADC는 그대로 유지합니다. SK하이닉스는 멤리스터 소자를 개발하고 제작했으며, 65nm CMOS 회로 위에 저항성 스위칭 셀을 백엔드 공정을 사용하여 통합했습니다. 이 DWC 최적화 NPU는 전체 SoC의 핵심적인 특징으로 꼽힙니다. 테트라멤은 깊이별 컨볼루션을 가속화하기 위해 기존 1T1R 크로스바에 사용되던 직선형 선택 라인을 지그재그 토폴로지로 대체했습니다.

그 결과, DWC 최적화 NPU는 8개의 252 x 28 크로스바 블록을 포함하며, 이 블록의 대각선 선택 라인은 28개 열에 걸쳐 252개의 메모리 셀을 활성화합니다. 이를 통해 28개의 독립적인 3 x 3 컨볼루션 연산을 병렬로 실행하면서 어레이의 100%를 가중치 저장에 활용할 수 있습니다. 나머지 9개의 NPU는 1x1 점별 및 밀집 레이어를 위해 기존 1T1R 크로스바를 유지하여 전통적인 인메모리 컴퓨팅의 처리량과 에너지 효율성을 보존합니다.

아키텍처를 시연하기 위해 연구진은 Visual Wake Words 벤치마크용으로 맞춤화된 MobileNetV1Small 신경망을 배포했습니다. 이 네트워크는 약 36,000개의 매개변수를 포함하며, 모든 깊이별 레이어는 전용 NPU에, 점별 레이어는 나머지 NPU에 매핑되었습니다. 멤리스터 기반 IMC 하드웨어는 기본적으로 부호 없는 아날로그 벡터-행렬 곱셈을 수행하므로, 입력과 가중치는 실행 전에 부호 없는 8비트 값으로 양자화됩니다. 각 멤리스터 소자는 2비트 이상의 유효 정밀도로만 프로그래밍될 수 있기 때문에, 이 설계는 두 개의 서브어레이 보상 기술을 사용하여 유효 가중치 정밀도를 약 4비트로 향상시켰습니다.

개념적으로 이 접근 방식은 엔비디아의 NVFP4 철학과 유사한 면이 있습니다. 둘 다 낮은 정밀도 하드웨어에서 더 높은 유효 정밀도를 달성하고자 하기 때문입니다. 그러나 구현 방식은 근본적으로 다릅니다. NVFP4는 디지털 부동 소수점 표현과 스케일링 팩터에 의존하는 반면, 멤리스터 SoC는 두 개의 프로그래밍된 서브어레이를 사용하여 아날로그 프로그래밍 오류를 보상함으로써 정밀도를 향상시킵니다.

정확도 측면에서 이 SoC는 80.36%의 종단간 추론 정확도를 달성했으며, 이는 해당 4비트 소프트웨어 모델과 일치하는 수준입니다. 성능 면에서는 NPU당 최대 0.254 TOPS의 처리량을 제공하며, 100MHz에서 21.3 TOPS/W, 400MHz에서 11.9 TOPS/W의 에너지 효율을 달성했습니다. 저자들은 이 수치가 오래된 65nm 공정으로 제조되었음에도 불구하고 발표된 SRAM 기반 컴퓨트-인-메모리 가속기와 비교하여 우수하다고 주장합니다. 또한, 공동 논문에서는 엔비디아 A100 INT8의 에너지 효율성을 한 자릿수 이상 능가한다고 주장했습니다.

그러나 이러한 주장들은 상당 부분 입증되지 않았다는 지적도 있습니다. 첫째, MobileNet 시연에서는 10개의 NPU를 모두 사용하지 않았습니다. 하나의 전용 DWC NPU와 5개의 표준 NPU를 점별 레이어에 사용하고, 4개의 표준 NPU는 유휴 상태로 두었습니다. 따라서 이 시연은 SoC의 총 처리량(TOPS), 실제 네트워크 실행 시의 지속 처리량, 그리고 10개의 NPU가 동시에 포화 상태일 때의 처리량을 보여주지 못했습니다. 사실, 논문에서는 10개의 NPU를 동시에 사용할 수 있는지조차 명확히 밝히지 않았습니다. 앞서 언급된 2.54 TOPS 수치는 매우 이론적인 값에 불과합니다.

SK하이닉스, 테트라멤, 그리고 서던캘리포니아 대학교 연구진은 경량 AI 워크로드에 대한 크로스바 활용도를 향상시키는 새로운 깊이별 컨볼루션 가속기를 특징으로 하는 멤리스터 기반 IMC SoC를 개발했습니다. 이 파트너들은 구형 65nm 공정 기술을 사용하여 칩을 제작하고 작동시키는 데 성공했으며, 멤리스터가 약 2비트의 정확도로만 프로그래밍될 수 있음에도 불구하고 21.3 TOPS/W의 에너지 효율성과 4비트 소프트웨어 모델에 필적하는 추론 정확도를 달성했습니다. 이 아키텍처는 접근 방식의 유효성을 입증했지만, 논문은 SoC의 전체 성능을 공개하지 않았으며, 칩의 10개 NPU가 모두 포화 상태로 작동할 수 있는지는 불분명합니다.