딥러닝학습1 GPU를 비싸게 샀는데 왜 느릴까 — AI 파이프라인의 스토리지 I/O 병목 GPU를 비싸게 샀는데 왜 느릴까 — AI 파이프라인의 스토리지 I/O 병목AI 학습 시스템에서 GPU가 빠르다고 전체 학습이 빠른 것은 아닙니다. 데이터가 스토리지에서 GPU까지 제때 도착하지 않으면 GPU는 비싼 대기 장치가 됩니다.데이터 경로를 봐야 한다학습 데이터는 스토리지에서 읽혀 CPU에서 전처리되고 네트워크와 호스트 메모리를 거쳐 GPU로 전달됩니다. 이 과정에는 읽기, 디코딩, 메모리 복사, 전송이 연속적으로 발생합니다. 어느 한 단계라도 느리면 GPU 활용률이 떨어집니다.체크포인트도 거대한 I/O다대규모 모델은 장애 복구를 위해 파라미터와 옵티마이저 상태를 주기적으로 저장합니다. 너무 자주 저장하면 학습이 느려지고, 너무 드물게 저장하면 장애 시 손실이 커집니다. 또한 재시작 시 수많은 .. 2026. 9. 16. 이전 1 다음