GPU를 비싸게 샀는데 왜 느릴까 — AI 파이프라인의 스토리지 I/O 병목

GPU를 비싸게 샀는데 왜 느릴까 — AI 파이프라인의 스토리지 I/O 병목

AI 학습 시스템에서 GPU가 빠르다고 전체 학습이 빠른 것은 아닙니다. 데이터가 스토리지에서 GPU까지 제때 도착하지 않으면 GPU는 비싼 대기 장치가 됩니다.

데이터 경로를 봐야 한다

학습 데이터는 스토리지에서 읽혀 CPU에서 전처리되고 네트워크와 호스트 메모리를 거쳐 GPU로 전달됩니다. 이 과정에는 읽기, 디코딩, 메모리 복사, 전송이 연속적으로 발생합니다. 어느 한 단계라도 느리면 GPU 활용률이 떨어집니다.

체크포인트도 거대한 I/O다

대규모 모델은 장애 복구를 위해 파라미터와 옵티마이저 상태를 주기적으로 저장합니다. 너무 자주 저장하면 학습이 느려지고, 너무 드물게 저장하면 장애 시 손실이 커집니다. 또한 재시작 시 수많은 worker가 동시에 같은 파일과 메타데이터를 읽으면서 I/O storm이 생길 수 있습니다.

전처리가 병목이 되기도 한다

이미지·비디오·멀티모달 데이터는 CPU 디코딩과 변환 비용이 큽니다. GPU 성능이 빨라질수록 오히려 CPU 전처리 속도가 따라가지 못하는 상황이 발생합니다. 반복되는 변환을 캐시하거나 전처리를 분산하고 가속하는 설계가 중요합니다.

GPU가 스토리지에 더 직접 접근한다

최근 연구는 CPU가 모든 I/O를 중재하는 구조에서 벗어나 GPU가 필요한 데이터를 직접 요청하거나, GPU 메모리·호스트 메모리·SSD를 계층적으로 묶어 사용하는 방향을 제시합니다. 스토리지도 단순 보관 장치가 아니라 GPU 메모리를 보완하는 데이터 계층으로 바뀌고 있습니다.

캐싱·프리페칭·데이터 배치

AI 학습은 같은 데이터셋을 반복 사용하는 특성이 있습니다. 자주 쓰는 데이터를 가까운 계층에 캐시하고 다음 데이터를 미리 읽는 프리페칭을 적용하면 원격 I/O를 줄일 수 있습니다. 결국 데이터셋의 물리적 배치와 접근 패턴을 학습 런타임과 함께 설계해야 합니다.

비전 검사 시스템의 시사점

산업용 비전에서도 고해상도 이미지를 저장한 뒤 다시 읽어 검사·재학습하는 과정이 많습니다. 카메라 FPS와 GPU 성능만 보는 대신 저장 포맷, 작은 파일 개수, NVMe 성능, 네트워크 스토리지, 전처리 캐시까지 함께 측정하면 숨은 병목을 빠르게 찾을 수 있습니다.

참고 자료
한국정보과학회, 정보과학회지 2026년 9월호 「AI 시대의 HPC 인프라와 시스템 기술」 특집을 바탕으로 블로그용으로 재구성했습니다.

태그
#AI스토리지 #IO병목 #GPU #NVMe #체크포인트 #데이터파이프라인 #딥러닝학습 #산업용비전