에이전트 한 번에 전력 136.5배, AI의 진짜 병목은 전력이에요

에이전트를 하나 만들어서 돌려본 적 있으신가요? 사용자가 질문을 하나 던지면, 에이전트가 스스로 계획을 세우고 검색을 하고 코드를 실행하고 다시 검토하고… 그렇게 몇 분을 돌다가 답을 내놓죠. 결과물은 근사한데, 그 몇 분 동안 서버에서 무슨 일이 벌어졌는지는 대부분 눈에 보이지 않아요.

그 '보이지 않는 비용'을 처음으로 숫자로 꺼내 놓은 연구가 나왔어요. 2026년 7월, KAIST 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트가 실제 서비스 환경에서 얼마나 많은 전력을 쓰는지를 세계 최초로 정량 분석했거든요. 결론부터 말하면, AI 에이전트는 질문 한 건당 기존 생성형 AI보다 최대 136.5배 많은 전력을 소비했어요.

이 숫자가 왜 중요할까요. AI를 돌리기 위한 병목이 그동안은 'GPU를 구할 수 있느냐'였다면, 이제는 '그 GPU를 돌릴 전기가 있느냐'로 옮겨가고 있기 때문이에요. 이 글에서는 지금 전력이라는 병목이 정확히 어느 단계에 와 있는지, 그리고 LLM 앱이나 에이전트를 만드는 입장에서 이걸 어떻게 읽어야 하는지 하나씩 짚어볼게요.

에이전트를 한 번 돌렸을 뿐인데, 전력이 136.5배

KAIST 연구팀의 분석은 IEEE HPCA에서 공개됐어요. 컴퓨터 아키텍처 분야에서 가장 권위 있는 학회 중 하나죠. 연구팀은 현재 상용 서비스 수준인 700억 파라미터 규모의 대형 언어 모델을 쓰는 AI 에이전트가 질문 한 건을 처리하는 데 평균 348.41Wh의 전력을 소비한다는 걸 측정했어요. 기존 생성형 AI의 단순 질의응답이 한 건에 2.55Wh를 쓰는 것과 비교하면 136.5배예요. 자세한 수치는 연합뉴스 보도에도 정리돼 있어요.

여기서 파라미터라는 말이 낯설 수 있는데요. 파라미터는 AI 모델이 학습을 통해 저장해 둔 값의 개수예요. 이 값이 많을수록 모델이 더 똑똑해지지만, 답을 만들 때마다 그만큼 더 많은 연산을 거쳐야 하고, 연산이 많아지면 전력도 그만큼 더 들죠. 700억 파라미터는 요즘 챗봇 서비스에서 흔히 쓰이는 크기예요.

이 연구가 특별한 건, 그동안 아무도 이 비용을 제대로 재본 적이 없었다는 점이에요. 생성형 AI가 전기를 많이 쓴다는 이야기는 많았지만, 스스로 계획하고 도구를 쓰는 에이전트가 실제 서비스 환경에서 얼마나 쓰는지는 거의 알려지지 않았거든요. 요금 청구서에는 잡히지만 아무도 뜯어보지 않던 '숨은 비용'을, 연구팀이 응답 시간부터 GPU 활용률, 데이터센터 전력까지 하나씩 실측해 처음으로 수치화한 거예요.

[AI 에이전트 하루 전력 소모량이 198.9 GWh에 이를 것으로 분석됐다. 출처]

왜 이렇게 많이 먹을까요 — 질문 하나에 LLM을 71번 부르거든요

차이의 핵심은 '몇 번을 생각하느냐'에 있어요. 기존 생성형 AI는 질문 하나에 모델을 딱 한 번 호출해서 답을 내놔요. 반면 연구팀이 분석한 어느 AI 에이전트는 질문 한 건을 풀기 위해 모델을 평균 71번 반복 호출했어요. 계획을 세우고, 도구를 부르고, 중간 결과를 다시 모델에 넣어 검토하고, 또 계획을 고치고… 이 과정이 안에서 수십 번 돌아가는 거죠.

호출이 71배로 늘면 연산량도 그만큼 늘고, 응답 시간도 길어져요. 실제로 에이전트의 응답 시간은 기존 생성형 AI 대비 최대 153.7배 증가했어요. 우리가 채팅창에서 답을 기다리는 그 몇 초가, 데이터센터 안에서는 GPU가 수십 번의 추론을 반복하는 시간인 거예요.

에이전트가 똑똑할수록 이 호출 수는 더 늘어나는 경향이 있어요. 더 신중하게 계획을 세우고, 더 많은 도구를 쓰고, 스스로 답을 여러 번 검증할수록 모델을 부르는 횟수가 늘어나니까요. 성능과 전력이 정비례로 묶여 있는 셈이라, '더 똑똑한 에이전트'를 원할수록 전력 부담은 자연스럽게 커지는 구조예요.

더 아이러니한 건, GPU가 절반은 놀고 있었다는 점이에요

에이전트가 검색 API를 부르거나 외부 도구의 응답을 기다리는 동안, GPU는 아무 연산도 하지 않고 대기해요. 연구팀 측정 결과 이 유휴 시간이 전체 실행 시간의 최대 54.5%에 달했어요. 값비싼 GPU가 절반 넘게 손을 놓고 있으면서도, 전원은 계속 켜져 있으니 전력은 그대로 나가는 상황이죠.

여기서 잠깐, 추론 지연이라는 개념을 짚고 갈게요. 추론 지연은 요청을 받고 응답이 나오기까지 걸리는 시간을 말해요. 에이전트는 이 지연이 유독 긴데, 연산이 무거워서가 아니라 외부 도구를 기다리는 시간이 길어서인 경우가 많아요. 그래서 GPU 자체는 놀아도 전체 시간은 늘어나고, 그 시간만큼 전력 청구서는 쌓여가요.

348.41Wh. 700억 파라미터 모델을 쓰는 AI 에이전트가 질문 한 건에 소비하는 전력이에요. 스마트폰을 수십 번 완전 충전할 수 있는 양이죠.

이제 병목은 칩이 아니라 전력이에요

에이전트 하나가 이 정도인데, 이걸 서비스 규모로 확장하면 어떻게 될까요. 연구팀은 현재 구글 하루 검색량과 같은 수준인 하루 137억 건의 요청이 전부 AI 에이전트로 처리되는 상황을 시뮬레이션했어요. 그 결과 필요한 데이터센터 전력 수요는 약 198.9GW로 추산됐어요. 이건 미국 전체 평균 전력 소비량의 약 절반에 해당하는 규모예요.

개별 서비스로 좁혀 봐도 충격은 비슷해요. 현재 ChatGPT의 일일 활성 사용자가 지금처럼 단발성 질의응답을 하는 대신 에이전트 방식으로 전환한다면, 필요 전력은 7.6MW에서 1GW로 뛰어요. 같은 사용자 수가 '생각을 더 많이 하는' 방식으로 바뀌는 것만으로 전력 요구가 100배 넘게 커지는 거죠.

198.9GW가 얼마나 큰 규모인지 감이 잘 안 올 수 있어요. 대략 원전 200기 가까이를 새로 돌려야 나오는 전력이에요. 지금 세계 각국이 발표하는 AI 데이터센터 계획이 대개 수 GW 단위인 걸 생각하면, 에이전트가 보편화됐을 때의 수요는 현재 계획을 통째로 뛰어넘는 수준인 거죠. 연구팀이 이 시나리오를 굳이 계산해 본 이유도, 지금의 증설 계획으로는 감당이 안 되는 미래가 이미 보이기 때문이에요.

그래서 지금 업계에서는 병목의 위치 자체가 바뀌었다는 이야기가 나와요. 몇 년 전만 해도 AI 인프라의 최대 제약은 'GPU를 구할 수 있느냐'였어요. 지금은 GPU를 확보해도 그걸 꽂아 돌릴 전력과 냉각을 확보하지 못하면 무용지물인 단계로 넘어왔어요.

전 세계 데이터센터 전력, 2030년엔 일본 전체를 넘어서요

국제에너지기구(IEA) 전망 기준으로, 전 세계 데이터센터 전력 소비량은 2030년까지 약 945TWh에 달할 것으로 예상돼요. 이건 일본의 연간 전체 전력 소비량을 넘어서는 수준이에요. 한 나라 전체가 쓰는 전기를, 데이터센터라는 하나의 용도가 통째로 쓰게 된다는 뜻이죠.

주목할 점은 그 안에서 AI가 차지하는 비중이 빠르게 커진다는 거예요. 2022년 9% 남짓이던 AI 비중이 2030년엔 절반에 가까워져요. 딜로이트는 2030년까지 데이터센터 전력 소비가 전 세계 전기 소비의 약 4%에 이를 것으로 봤고, 생성형 AI 프롬프트 한 건은 일반 인터넷 검색보다 평균 10~100배 많은 전력을 쓴다고 분석했어요. 관련 내용은 딜로이트 리포트에서 확인할 수 있어요.

같은 데이터센터인데, AI는 왜 6배를 먹나요

국내 분석에서도 AI 데이터센터는 기존 일반 데이터센터보다 약 6배의 전력을 소비하는 것으로 나타났어요. 이유는 단순해요. 일반 서버는 대부분의 시간을 가벼운 처리에 쓰지만, AI 서버는 GPU를 최대치에 가깝게 계속 돌리거든요. AI 기반 서비스의 연산 수요는 연평균 30%씩 늘어나는 반면, 일반 서버는 9% 수준이에요.

블룸버그 인텔리전스는 미국 데이터센터의 전력 수요가 2025년 한 해에만 20~40% 급증할 수 있다고 봤어요. 이 흐름은 블룸버그 분석에서도 짚고 있고요. 즉, 전력이 병목이라는 건 먼 미래의 경고가 아니라 이미 지금 벌어지고 있는 현실이에요.

GPU 한 장의 전력은 왜 계속 오르나요

전력 문제를 이야기할 때 빠지지 않는 게 GPU 한 장이 먹는 전력, 즉 TDP예요. TDP는 그 칩이 최대로 작동할 때 감당해야 하는 발열과 전력의 설계 기준값을 말해요. 이 값이 세대를 거듭할수록 계속 올라가고 있어요.

A100이 약 400W였는데, H100에서 700W로, B200에서는 최대 1,200W까지 올라갔어요. GPU와 CPU를 묶은 GB200 슈퍼칩은 2,700W에 달하죠. 숫자만 보면 '세대가 바뀔수록 전기 먹는 하마가 되는구나' 싶은데, 여기서 반드시 함께 봐야 할 게 하나 있어요.

전력이 오르는 데는 구조적인 이유가 있어요. 큰 모델을 빠르게 돌리려면 GPU 안에 더 많은 연산 유닛과 더 넓은 메모리가 필요한데, 그만큼 전력도 따라 올라가거든요. 표에서 메모리가 80GB에서 192GB, 384GB로 커지는 게 보이시죠. 이건 HBM이라는 고속 메모리인데, 모델 전체를 GPU 위에 올려두고 빠르게 읽고 쓰기 위한 거예요. 용량과 속도를 키울수록 전력 소모도 커지는 구조라, 성능을 끌어올리는 만큼 전력이라는 대가가 따라붙는 셈이에요.

그런데 '토큰 하나당 전력'은 오히려 줄었어요

칩 한 장의 전력이 올랐다고 해서 효율이 나빠진 건 아니에요. 오히려 그 반대예요. 여기서 봐야 할 지표가 FLOPS/W, 즉 같은 전력으로 얼마나 많은 연산을 하느냐예요. H100의 FP8 효율이 와트당 5.7테라플롭스였다면, B200은 8.3테라플롭스로 약 45% 좋아졌어요.

FP8이라는 표현이 나왔는데요. 이건 숫자를 몇 비트로 표현하느냐를 뜻하는 정밀도예요. 비트 수가 작을수록 계산이 빠르고 전력도 덜 들지만 그만큼 정밀도는 조금 손해를 봐요. 최신 GPU는 이 낮은 정밀도 연산을 훨씬 잘 처리하도록 설계돼서, 같은 작업을 더 적은 전력으로 끝낼 수 있게 됐어요.

가장 실감 나는 지표는 '토큰 하나를 만드는 데 드는 에너지'예요. 이 값이 H100에서는 토큰당 2.46줄(J)이었는데, B200에서는 0.53줄로 약 78%나 줄었어요. 다시 말해, 칩 한 장이 먹는 전력은 커졌지만 같은 결과물을 뽑는 데 드는 전력은 오히려 크게 줄었다는 거예요. B200의 전력 스펙 상승은 TweakTown 보도에서도 다뤘어요.

이 대목이 전력 병목을 이해하는 첫 번째 열쇠예요. 문제는 'GPU가 전기를 많이 먹는 것' 자체가 아니라, 그 GPU를 워낙 많이, 워낙 오래 돌리게 됐다는 것이에요. 효율은 좋아지는데 수요가 그보다 훨씬 빠르게 늘어서, 총량이 계속 커지는 구조인 거죠.

랙 하나가 감당 못 하는 열 — 전력의 두 번째 벽, 냉각

전력 이야기는 자연스럽게 냉각으로 이어져요. GPU가 먹은 전기는 결국 대부분 열로 바뀌거든요. 전력을 많이 쓴다는 건 그만큼 뜨거워진다는 뜻이고, 그 열을 못 빼내면 GPU는 성능을 스스로 낮추거나 멈춰버려요.

문제는 밀도예요. GB200 NVL72 같은 차세대 AI 서버 랙은 랙 하나가 132~240kW의 전력을 요구해요. 기존 일반 서버 랙이 8~10kW 수준이었던 걸 생각하면 수십 배예요. 공기로 열을 식히는 전통적인 공랭 방식은 대략 랙당 30kW 부근에서 물리적 한계에 부딪혀요. 공기가 열을 실어 나르는 능력 자체에 한계가 있으니까요.

그래서 냉각수를 칩 가까이 보내 열을 직접 흡수하는 직접 액체냉각(DLC), 나아가 서버 전체를 특수한 절연 액체에 담그는 침지냉각으로 넘어가고 있어요. 침지냉각은 냉각에 드는 에너지를 최대 95%까지 줄일 수 있는 것으로 알려져 있어요. 슈나이더 일렉트릭은 2025년 11월 데이터센터 운영사들과 총 23억 달러 규모의 전력·냉각 인프라 계약을 맺기도 했고요. 자세한 건 로이터 보도에서 볼 수 있어요.

냉각 효율을 이야기할 때 자주 등장하는 지표가 PUE예요. 데이터센터가 쓰는 전체 전력을 IT 장비가 실제로 쓰는 전력으로 나눈 값인데, 1에 가까울수록 냉각 같은 부대 전력이 적게 든다는 뜻이에요. 공랭이 대략 1.4~1.6 수준이라면, 침지냉각은 1.03 부근까지 내려가요. 냉각에 새어 나가던 전력을 그만큼 아낄 수 있다는 얘기죠. 이런 효과 덕에 액체냉각 시장은 2025년 약 28억 달러에서 2032년 210억 달러 이상으로, 연평균 30% 넘게 성장할 것으로 전망돼요.

냉각은 그 자체로 워낙 깊은 주제라, 공랭·수랭·침지냉각의 단계별 차이와 국내 실증 결과는 데이터센터 냉각 기술 총정리 글에서 따로 정리해 뒀어요. 여기서 기억할 건, 전력과 냉각은 떼어놓고 볼 수 없는 한 쌍의 병목이라는 점이에요.

빅테크는 지금 어디까지 왔나요

전력이 병목이라는 걸 가장 먼저, 가장 아프게 체감한 건 하이퍼스케일러들이에요. 이들이 지금 어떻게 움직이는지를 보면 병목의 심각도가 그대로 드러나요.

탄소중립 목표가 흔들리고, 투자만 폭증하고 있어요

AI 붐이 빅테크의 탄소중립 약속을 정면으로 흔들고 있어요. 아마존의 온실가스 배출은 2020년 대비 182% 늘었고, 구글은 전력 사용량이 전년 대비 37% 증가하면서 2030년 넷제로 목표 달성 경로에서 벗어났어요. 마이크로소프트와 메타도 최근 몇 년 새 배출량이 두 배 넘게 뛰었고요. 이 흐름은 LA타임스 보도와 더버지 보도에서 자세히 다뤘어요.

그런데도 투자는 멈추지 않아요. 2025년 마이크로소프트·아마존·구글·메타·오라클 다섯 곳이 AI 인프라에 쏟아부은 자본지출은 합쳐서 3,550억 달러가 넘어요. 탄소 배출이 늘고 주주들이 전력·수자원 공시를 압박하는 와중에도 인프라 투자는 오히려 가속되는, 모순처럼 보이는 상황이 지금이에요.

'원자력 르네상스'가 시작됐어요

안정적이고 탄소를 덜 내뿜는 전력을 확보하려고, 빅테크들은 원자력으로 눈을 돌리고 있어요. 마이크로소프트는 스리마일 아일랜드 원전 재가동 계약을 맺었고, 구글은 소형모듈원자로(SMR) 전력 구매 계약을, 아마존은 워싱턴주 SMR 시설 개발을 지원하고 있어요.

글로벌 빅테크들이 서명한 원자력 전력 구매 계약은 이미 10GW를 넘어섰어요. 바클레이스는 이 흐름을 '원자력 르네상스'라 부르며, 하이퍼스케일러들이 에너지 조달을 AI 개발의 핵심 병목으로 인식하기 시작했다고 분석했어요. 관련 흐름은 엘파이스 보도에서 정리했고요.

전력망을 못 기다려서, 발전소를 직접 지어요

전력망에 새로 연결하려면 인허가와 송전망 확충에 수년이 걸려요. 이 지연을 못 견딘 기업들은 데이터센터 현장에 발전 설비를 직접 짓는 쪽으로 방향을 틀고 있어요. 배브콕앤윌콕스는 2025년 11월 1GW 규모의 천연가스 발전 설비 계약을 15억 달러에 체결했고, 일부 기업은 자체 가스터빈으로 AI 데이터센터를 돌리기 시작했어요.

발전소를 직접 짓는다는 건, 전력이 더 이상 '알아서 공급되는 것'이 아니라 직접 확보해야 하는 전략 자산이 됐다는 신호예요. AI 경쟁이 모델 경쟁을 넘어 에너지 확보 경쟁으로 번지고 있는 거죠.

전력만의 문제가 아니에요 — 물도 같이 부족해져요

GPU가 뿜는 열을 식히려면 냉각수가 필요해요. 그래서 전력 못지않게 물도 빠르게 고갈되는 자원이 됐어요. 100MW급 AI 데이터센터 한 곳이 연간 150~300만 세제곱미터의 냉각수를 쓰고, 북미 데이터센터들은 2022년 한 해에만 거의 1조 리터에 가까운 물을 소비한 것으로 추정돼요.

메타의 경우 데이터센터 수자원 사용량이 2020년 약 3,726메가리터에서 2024년 약 5,000메가리터로 51% 늘었어요. 투자자들도 2026년 들어 아마존·마이크로소프트·구글에 전력과 물 사용에 대한 구체적인 공시를 요구하며 압박을 넣고 있고요. 이 흐름은 로이터 보도에서 다뤘어요. 전력 병목이 결국 물과 탄소, 지역사회 문제로까지 번지고 있는 거예요.

소프트웨어로도 병목을 풀어요

병목을 푸는 방법이 발전소와 냉각탑에만 있는 건 아니에요. 같은 결과를 더 적은 연산으로 내면, 애초에 필요한 전력 자체가 줄어드니까요. 그래서 알고리즘과 모델을 가볍게 만드는 경쟁도 뜨거워지고 있어요.

딥시크(DeepSeek)는 기존 모델 대비 전기 소비를 약 10분의 1 수준으로 줄인 모델을 공개해서 화제가 됐어요. 다만 블룸버그 인텔리전스는 효율화로 아낀 전력이 폭증하는 AI 수요에 결국 압도될 거라고 봤어요. 효율이 좋아지면 오히려 더 많이 쓰게 되는, 이른바 반동 효과가 나타난다는 거죠.

KAIST 연구팀이 제안한 해법도 흥미로워요. 에이전트 안에서 크고 작은 모델을 섞어 쓰는 '계산적 인지 추론' 방식인데, 단순한 질문에는 작은 모델을, 정말 복잡한 문제에만 큰 모델을 쓰게 하는 거예요. 무거운 모델을 71번 부르는 대신, 꼭 필요할 때만 부르자는 발상이죠. 서울대 최기영 교수는 GPU 외에 전력 효율이 높은 NPU를 함께 활용하고, 하드웨어와 소프트웨어를 통합적으로 최적화해야 한다고 강조하기도 했어요.

AI 산업의 경쟁 축이 모델 성능에서 에너지 효율로 이동하고 있어요. 모델, 반도체, 서버, 냉각, 전력망을 따로 최적화하는 방식은 한계에 다다랐어요.

KAIST 연구가 던지는 핵심 메시지가 바로 이거예요. 이제는 AI 모델과 반도체, 서버, 냉각, 전력망을 하나로 놓고 함께 설계하는 '공동 설계(Co-design)'가 필수가 됐다는 거죠.

역설적이게도, 이 문제를 푸는 데 AI 자체가 동원되기도 해요. 데이터센터의 실시간 발열을 감지해 냉각을 자동으로 조절하거나, AI로 전력 수요를 예측해 에너지저장장치(ESS)와 연동하는 방식이죠. 국내에서도 한국전력이 수도권 데이터센터 집중에 따른 전력망 부담을 경고하면서, AI 기반 ESS 도입과 데이터센터 지방 분산을 함께 추진하고 있어요. AI가 만든 전력 문제를 AI로 다시 눌러보려는 시도인 셈이에요.

한국은 지금 어떤 상황인가요

이 문제는 한국에서 특히 첨예해요. 한국전력은 AI 데이터센터의 전력 소비가 전통적인 대형 공장 수준을 넘어서고 있다고 경고했어요. 게다가 데이터센터가 수도권에 몰려 있어서 전력망 부담이 한쪽으로 쏠리고 있고요.

부동산 자문업체 쿠시먼앤드웨이크필드에 따르면, 수도권 데이터센터의 공실률은 7% 미만으로 사실상 포화 상태예요. 그중에서도 고밀도 전력과 고효율 냉각을 지원할 수 있는 상면은 전체의 5% 미만으로 추정돼요. AI 서버를 들여놓고 싶어도 그걸 받아줄 자리 자체가 부족한 거예요.

5% 미만. 수도권 데이터센터 중 고밀도 AI 서버를 제대로 지원할 수 있는 시설의 비율이에요.

2029년까지 데이터센터가 급증하면 예상 전력 수요는 5만 MW에 달할 것으로 전망돼요. 정부는 재생에너지 비율 확보와 데이터센터 지방 분산, 그리고 2035년을 목표로 한 혁신형 소형모듈원자로(SMR) 개발로 대응하려 하고 있어요. 국내 전력망 이슈는 전자신문 보도에서도 다뤘어요. 전력 병목은 글로벌 이슈이면서 동시에, 국내에 GPU 인프라를 두려는 입장에서는 훨씬 더 피부에 와닿는 현실인 셈이에요.

AI 데이터센터는 기존 산업과 차원이 다른 전력 수요를 유발해요. 수요 관리와 효율화 없이 공급 확대만으로는 전력 시스템을 감당하기 어려워요.

— 2026년 서울에너지포럼 전문가 의견

전력 효율이 곧 새로운 경쟁력이 되고 있어요

지금까지의 흐름을 한 문장으로 요약하면, AI 경쟁의 축이 '얼마나 똑똑한가'에서 '얼마나 효율적으로 돌리는가'로 옮겨가고 있다는 거예요. 모델 성능이 상향 평준화될수록, 같은 성능을 더 적은 전력으로 내는 쪽이 비용과 지속가능성에서 앞서게 되니까요.

규제도 이 방향을 밀어붙이고 있어요. EU AI Act는 이미 모델 학습 단계의 에너지 사용 공시를 의무화하는 방향으로 움직이고 있고, 앞으로는 학습뿐 아니라 실제 운영 단계의 전력 공시 요구까지 확대될 거라는 전망이 나와요. 여기에 탄소중립 목표와 AI 투자 사이의 간극이 벌어지면서, 주주와 ESG 평가가 기업에 전력·수자원 사용의 투명한 공개를 압박하고 있고요.

정리하면, 전력 효율은 이제 단순한 비용 절감의 문제가 아니라 규제 대응과 기업 신뢰도까지 걸린 경쟁력의 문제가 됐어요. AI 인프라를 다루는 입장에서는, 성능 지표만큼이나 전력 효율 지표를 챙기는 게 앞으로 점점 더 중요해질 수밖에 없어요.

그래서 GPU 서버를 고를 때, 전력은 어떻게 봐야 하나요

여기까지 오면 자연스럽게 이런 질문이 생겨요. "그럼 우리 워크로드를 위해 GPU 서버를 도입할 때, 전력을 어떤 기준으로 봐야 하죠?" LLM 앱이나 에이전트를 만드는 입장에서 실제로 챙겨야 할 세 가지를 정리해 볼게요.

첫째, 카탈로그의 TDP 숫자보다 FLOPS/W와 토큰당 에너지를 보세요. 앞에서 봤듯이 최신 GPU는 한 장의 전력은 높아도 같은 작업을 훨씬 적은 전력으로 끝내요. 초기 도입가만 보지 말고, 우리 워크로드를 오래 돌렸을 때의 전력 요금까지 포함한 총소유비용(TCO) 관점으로 봐야 실제 유리한 구성이 보여요.

둘째, 서버 밀도와 냉각 방식을 함께 결정하세요. 고성능 GPU를 여러 장 촘촘히 꽂을수록 랙당 전력과 발열이 올라가고, 어느 지점을 넘으면 공랭으로는 감당이 안 돼요. 우리가 두려는 공간이 그 밀도를 받아줄 수 있는지, 액체냉각이 필요한 구성인지를 GPU 선택과 동시에 따져야 해요.

셋째, 추론이 많은 서비스라면 유휴를 줄이는 설계를 고민하세요. 에이전트처럼 외부 도구를 기다리는 시간이 긴 워크로드는 GPU가 놀면서도 전력을 쓰기 쉬워요. 요청을 묶어 처리하는 배치 구성이나 모델 크기를 나눠 쓰는 방식으로 유휴를 줄이면, 같은 하드웨어로도 전력 효율을 끌어올릴 수 있어요.

결국 GPU 선택은 이제 '어떤 칩이 제일 빠른가'만의 문제가 아니에요. 전력 효율과 냉각, 밀도를 함께 저울질하는 인프라 설계의 문제로 넘어왔어요. 워크로드에 맞는 GPU와 전력·냉각 구성을 함께 검토하는 일이, 앞으로 도입 의사결정에서 가장 중요한 축이 될 거예요.

정리하자면

AI 에이전트 시대로 넘어오면서 전력은 더 이상 인프라의 배경이 아니라 전면의 병목이 됐어요. 에이전트 한 건이 기존 대비 136.5배의 전력을 쓰고, 전 세계 데이터센터 전력은 2030년 일본 전체를 넘어서요. 병목의 자리는 '칩을 구할 수 있느냐'에서 '전기를 확보할 수 있느냐'로 옮겨왔고요.

흥미로운 건, 칩 한 장의 효율은 계속 좋아지고 있다는 점이에요. 그런데도 총량이 늘어나는 이유는, 우리가 AI를 훨씬 더 많이, 훨씬 더 깊게 쓰기 시작했기 때문이에요. 그래서 해법도 한 곳에 있지 않아요. 원자력과 자가발전, 액체냉각, 알고리즘 경량화가 동시에 움직이고, 그 모든 걸 하나로 놓고 설계하는 공동 설계가 화두가 됐어요.

지금 전력이라는 병목은, 위기의 초입을 막 지나 모두가 해법을 실험하는 단계에 와 있어요. AI를 어디에 얼마나 돌릴지 고민하는 입장이라면, 이제 전력 효율과 냉각을 성능만큼이나 진지하게 들여다봐야 할 때예요.