지난 6개월 동안 엑스디노드가 200곳이 넘는 연구실·기업의 GPU 도입 검토를 옆에서 지켜본 기록이에요. 그 안에서 반복해서 나온 질문들, 그리고 그 질문 뒤에 숨어 있던 진짜 의사결정 포인트를 한 권에 정리했어요.
이 리포트가 다루는 것
크게 세 부분이에요. 워크로드에서 출발해서, 모델 선택을 거쳐, 구축 방식까지. GPU 도입 의사결정이 실제로 흘러가는 순서를 그대로 따라가요.
PART 1 — 우리 워크로드에 GPU 몇 장이 필요한가
파라미터 수, 배치 사이즈, 학습 기간으로 필요한 GPU 수를 역산하는 실무 공식을 정리했어요. LLM 사전학습, fine-tuning, 컴퓨터 비전, 추론 서빙, HPC 다섯 가지 워크로드별 사례로 풀어서, 우리 작업이 어느 쪽에 가까운지 바로 대입해볼 수 있어요.
PART 2 — H100·H200·B200, 무엇을 골라야 하나
세대별 실측 벤치마크와 워크로드 적합도를 비교하고, "구세대가 오히려 나은 케이스"의 조건까지 짚었어요. 최신 칩이 항상 정답은 아니거든요. RTX PRO 6000 워크스테이션이 들어맞는 자리도 별도로 정리했어요.
PART 3 — 자체 구축 vs 클라우드 vs 코로케이션
3년 기준 TCO 시뮬레이션이에요. 전력·냉각·운영 인력까지 합친 진짜 비용으로 비교했죠. 결국 "하루 몇 시간 이상 돌릴 거냐"로 판가름 나는데, 그 갈림길을 의사결정 트리로 그려뒀어요.
