AI Datacenter Network Study를 시작했다. 첫번째 주에는 GPU 사용에 있어서 네트워크가 어떻게 발전했는지와 왜 병목이 되는지 그리고 그걸 해결하기 위한 기술들을 알아봤다. 1. 병목은 연산이 아니라 메모리와 데이터를 나르는 통로인 네트워크지난 10여 년간 GPU의 연산 성능 증가폭은 메모리 대역폭 증가폭을 크게 앞질렀다. 코어는 빨라졌는데 메모리가 데이터를 그 속도로 못 따라가서, 코어가 데이터를 기다리는 상태가 된다. 흔히 말하는 'Memory Wall'이다.AI 연산의 실제 병목은 GPU 코어의 FLOPS가 아니라, 모델 파라미터와 KV cache를 GPU 메모리에서 얼마나 빠르게 읽고 쓰느냐로 결정되는 경우가 많다. GPU가 아무리 많은 FLOPS를 내도 메모리 대역폭이 못 받..