GTC 2026 키노트 영상이 끝나고 두 달이 흘렀어요. 저희는 코엑스 1층 Hall A로 향했죠. 5월 6일, AI EXPO KOREA 2026의 첫날 아침이었어요.

머릿속에 남아있던 건 젠슨 황이 무대에서 그린 그림이었어요. 에너지, 칩, 인프라, 모델, 애플리케이션. AI 산업이 다섯 개 층으로 쌓인 케이크라는 비유였죠. 그런데 이 비유의 진짜 의미는 단순히 "엔비디아가 다섯 개 층을 다 하겠다"가 아니었어요. AI 인프라가 더 이상 한 층만 잘해서는 작동하지 않는 시대가 됐다는 선언에 가까웠어요.

코엑스 부스 사이를 걸으면서 저희가 계속 떠올린 건 한 가지 질문이었어요. 이 5층 케이크에서 한국은 어디까지 올라왔을까요? 어떤 층은 우리가 세계 최전선에 가까웠고, 어떤 층은 격차가 벌어지고 있었거든요.

이 글의 1부에서는 GTC 2026이 보여준 AI 인프라의 작동 원리를 5계층 구조로 짚어보고, 2부에서는 AI EXPO KOREA 2026 현장에서 저희가 본 한국의 풍경을 정리해드릴게요. 두 행사 사이의 두 달이, 산업 한 사이클의 거리이기도 했거든요.

AI 산업이 5계층 케이크가 된 이유

불과 몇 년 전까지 AI 업계의 관심사는 모델 한 층에 쏠려 있었어요. 더 큰 파라미터, 더 좋은 벤치마크 점수가 전부였죠. 인프라는 "있는 걸 빌려 쓰는" 영역이었어요.

그런데 LLM이 실제 서비스로 풀리면서 그림이 달라졌어요. 사용자가 수억 명을 넘으면서 AI 경쟁의 본질이 모델 성능에서 토큰당 비용으로 옮겨갔거든요. 엔비디아 공식 자료에 따르면 토큰 하나가 만들어지는 과정에는 전기 → 칩 → 메모리 → 네트워크 → 모델 → 애플리케이션이 전부 개입해요. 한 층의 비효율이 다른 층까지 비싸게 만드는 구조죠. 그래서 산업이 자연스럽게 다섯 개 층으로 정렬됐어요.

젠슨 황은 키노트에서 "지능 토큰이 새로운 화폐이며, AI 팩토리는 이를 생산하는 인프라"라고 말했어요. GTC 2026 참가 기업 435개사의 영역 비중을 보면 애플리케이션 49%, 인프라 35%, 칩 6%, 에너지 6%, 모델 4%예요. 칩 회사 행사인데 정작 칩 기업은 6%뿐이고, 인프라·애플리케이션이 80%를 넘는 풍경이에요.

[엔비디아의 5계층 다이어그램 — 에너지부터 애플리케이션까지 쌓인 구조]

1층 에너지 — AI 팩토리의 진짜 병목은 전기였어요

1층 에너지에서 핵심은 전자의 이동과 그 과정에서 발생하는 열을 빼내는 일이에요. 병목은 두 군데에서 생겨요. 칩 자체의 발열, 그리고 데이터 전송에 드는 전력이에요. 후자가 더 미묘한데, 구리 회로는 데이터를 멀리·빠르게 보낼수록 전력과 발열이 같이 늘어나거든요.

그래서 떠오른 해법이 광통신이에요. 특히 CPO(Co-Packaged Optics)는 프로세서와 광 부품을 한 기판에 패키징해 서버 내부의 데이터 전송 전력을 30% 이상 절감할 수 있어요. AI 팩토리는 기존 클라우드 데이터센터 대비 약 10배 많은 광섬유가 필요하다는 분석도 있어요.

"AI 시대의 새로운 부족함은 GPU가 아니라 전기입니다."

엔비디아도 GTC 2026 직전인 2026년 3월, 광학 부품사 Lumentum과 Coherent에 대규모 투자와 장기구매계약을 단행했어요. 전자신문 보도에 따르면 Rubin 플랫폼용 1.6T 광학 솔루션 약정도 포함돼 있죠. 칩 회사가 광학 부품사에 베팅한 것 자체가, 1층 에너지가 모든 윗층의 결정 요인이 됐다는 신호예요.

2층 칩 — 'GPU 한 장'에서 '시스템'으로

2층 칩의 GTC 2026 메시지는 한 마디예요. "GPU 한 장으로는 안 된다."

AI 추론 한 번은 prefill(입력 처리)과 decode(출력 생성) 두 단계로 나뉘는데, 전자는 병렬 연산이, 후자는 메모리 대역폭과 지연시간이 중요해요. "prefill 잘하는 칩 따로, decode 잘하는 칩 따로"가 차세대 아키텍처의 출발점이 됐어요. 메모리도 마찬가지예요. 대역폭이 따라와야 해서 GPU 옆에 DRAM을 수직 적층한 HBM이 등장했고, 세대가 올라갈 때마다 시장 판도가 바뀌어요.

이런 흐름이 모이면 칩 한 장이 아니라 칩들의 묶음이 단위가 돼요. Vera Rubin은 Vera CPU, Rubin GPU, NVLink, ConnectX, BlueField, Spectrum, 그리고 Groq에서 인수한 LPU까지 7종의 칩을 한 시스템으로 묶은 구성이에요. HBM4는 삼성전자와 SK하이닉스가 동시 선정됐고, ZDNet 코리아 보도에서 양사 경쟁 구도를 확인할 수 있어요.

3층 인프라 — 수천 GPU를 한 시스템처럼 돌리는 법

3층은 "이걸 어떻게 묶어서 돌릴 것인가"의 영역이에요. 클러스터 단위가 되면 어떤 GPU가 노는지, 어떤 GPU가 과부하인지, 한 노드가 죽으면 작업은 어디로 옮길지를 매 순간 결정해야 해요.

그래서 등장한 게 AI 팩토리 운영체제예요. 컴퓨터 OS가 CPU·메모리를 관리하듯, 클러스터 OS는 GPU 수천 장과 그 사이의 네트워크·메모리·전력을 통합 관리해요. 또 하나 핵심은 디지털 트윈이에요. 수천억 원짜리 데이터센터를 짓기 전 가상 공간에서 전력·냉각·네트워크를 시뮬레이션해 검증하는 방식이죠.

"앞으로 AI 인프라 경쟁은 하드웨어가 아니라, 클러스터 수준에서 추론을 얼마나 효율적으로 스케줄링하느냐에서 갈립니다."

또 다른 변화는 경계가 흐려진다는 점이에요. 지연이 중요한 실시간 워크로드는 데이터센터까지 왕복할 시간이 없어서, 엣지·기지국·기기 자체에도 추론 노드가 분산되거든요. 엔비디아는 이 흐름을 DSX, 클러스터 운영체제 Dynamo 1.0, T-모바일·노키아와 협력한 AI-RAN 아키텍처로 묶었어요.

4층 모델 — 왜 모델은 점점 '오픈'으로 풀리고 있나요

4층 모델의 가장 큰 변화는 성능 경쟁이 아니라 개방 전략이에요. AI 모델은 폐쇄형(GPT, Claude)과 오픈형(Llama, Mistral)으로 갈라지고 있어요.

왜 오픈으로 풀까요? 모델을 닫아두면 직접 운영하는 사업자와 경쟁해야 해요. 그러나 모델을 열어두면 다른 사업자들이 그 모델을 가져다 자기 인프라에서 돌리거든요. 모델은 무료로 풀고, 그 모델이 가장 잘 돌아가는 환경을 파는 전략이 가능해지는 거죠. 인프라·칩 기업이 오픈 모델 생태계를 키우는 이유예요.

엔비디아는 GTC 2026에서 자체 모델 Nemotron을 중심으로 개방형 협력체 Nemotron Coalition을 공개했어요. 엔비디아 공식 발표에 따르면 Mistral AI, Perplexity, Cursor 등이 참여했고, 도메인 특화 모델로는 시뮬레이션용 Cosmos, 로봇용 Isaac GR00T, 자율주행용 Alpamayo가 함께 풀렸어요. 모델 층은 오픈으로 열고, 인프라·운영체제는 닫는 전략이 분명히 드러난 발표였죠.

5층 애플리케이션 — 에이전트와 피지컬 AI가 작동하는 방식

5층 애플리케이션의 메시지는 두 단어예요. "에이전트와 피지컬 AI".

AI 에이전트는 LLM이 답변만 하는 게 아니라 도구를 호출해 실제 작업을 수행하는 시스템이에요. "출장 일정 잡고 호텔 예약해줘" 한 마디에 캘린더 API, 항공권 검색, 결제까지 끝내는 식이죠. 강력한 만큼 보안 리스크도 폭증해서, 기업용 에이전트는 모델 성능보다 거버넌스(권한·승인·감사 로그)가 핵심이 됐어요.

피지컬 AI는 sim-to-real 방식으로 작동해요. 디지털 트윈 가상 환경에서 수백만 번 시뮬레이션으로 학습한 뒤 그 모델을 현실 하드웨어에 이식하는 구조죠. 현실 학습 비용을 가상으로 옮기는 전략이에요.

"AI는 더 이상 답변 생성 도구가 아니라, 실제 업무를 수행하는 소프트웨어 행위자입니다."

— 젠슨 황, GTC 2026 키노트

엔비디아는 보안 강화 에이전트 플랫폼 NemoClaw와 피지컬 AI 플랫폼 Isaac 시리즈(Cosmos 3, Isaac Lab-Arena, Isaac GR00T N2)를 공개했어요. 자율주행에서는 현대자동차·닛산·BYD, 산업용 로봇에서는 ABB·KUKA와의 협력이 강조됐죠.

자, 여기까지가 GTC 2026이 보여준 AI 인프라 5층 케이크의 작동 원리예요. 어느 한 층도 단독으로 답을 내지 못해요. 그러면 이 그림 위에서 한국은 어디쯤 와 있을까요? 이 질문을 들고 저희는 코엑스로 향했어요.

두 달 뒤 코엑스 — 저희가 본 AI EXPO 2026의 풍경

5월 6일 오전 10시, 코엑스 1층 Hall A 입구는 이미 사람들로 채워져 있었어요. AI EXPO KOREA 2026은 5월 6일부터 8일까지 사흘간 열린 제9회 국제인공지능대전이에요. 18개국 350개사가 562부스를 채웠고, 참관 목표는 5만 명이었어요. 공식 발표 기준 전년 대비 규모가 다시 커졌죠.

올해 주최 측이 정한 핵심 키워드는 '실행형 AI(Actionable AI)'였어요. "챗봇 시대를 지나, AI가 데이터 분석·업무 자동화·전문 의사결정까지 직접 수행하는 단계로 왔다"는 메시지죠. 2025년이 '생각하는 기계'의 해였다면, 2026년은 '움직이는 지능'의 해라는 정의가 행사 전반에 깔려 있었어요.

전시는 크게 세 개 존으로 나뉘어 있었어요. AI 솔루션 존(에이전트·생성형 AI·LLM 기반 서비스), AI 인프라·플랫폼 존(AI 서버·GPU 인프라·클라우드·반도체), AI+X 융합 관(교육·유통·제조·모빌리티·로봇·의료). 저희가 가장 오래 머문 건 인프라·플랫폼 존이었어요. 부스를 돌면서 가장 자주 들은 단어가 "에이전트"였고, 그 다음이 "온디바이스"와 "엣지"였거든요.

스폰서 라인업도 의미가 있었어요. 플래티넘 스폰서는 슈퍼마이크로(Supermicro)와 페르소나AI. 골드 스폰서는 일레븐랩스(ElevenLabs), 야놀자, 한국딥러닝이었고요. 슈퍼마이크로가 플래티넘에 이름을 올렸다는 건, 한국 시장에서도 AI 서버 인프라 경쟁이 본격화됐다는 신호예요. 단순히 GPU를 사는 게 아니라 서버 시스템을 누가 만드느냐가 의사결정 변수가 됐다는 뜻이거든요.

대만관(N01)에는 16개사가 'From Chip to Application'이라는 테마로 참가했어요. Infinitix의 GPU 통합 스케줄링, MSI의 NVIDIA DGX Spark GB10 기반 개인용 AI 슈퍼컴퓨터, GRAID Technology의 GPU 가속 RAID 솔루션 등이 눈에 띄었죠. 산업일보 보도에서도 대만관이 칩부터 애플리케이션까지 수직 통합형 부스 구성으로 관심을 모았다고 평가했어요. 대만이 5계층 전 층에 자기 기업을 배치할 수 있다는 점은 한국 입장에서 부러운 풍경이었어요.

'Beyond AlphaGo: Our Way' — 알파고 10년, 한국 AI의 다음 10년

행사 둘째 날과 셋째 날, 코엑스 4층 401호에서 메인 컨퍼런스 'Beyond AlphaGo: Our Way'가 열렸어요. 알파고 이후 10년을 기념하는 이름이지만, 실제 의제는 한 가지 질문에 가까웠어요. 한국은 'AI 활용국'에 머무를 것인가, 'AI 주권국'으로 갈 것인가. 두 날에 걸쳐 1일 차는 비즈니스 실전, 2일 차는 미래 시나리오로 짜였고, 각각 H3 단위로 짚어드릴게요.

Day 1 — '실행형 AI' 상용화 원년 선포

5월 7일 1일 차는 'Make AI Work for Your Business'를 슬로건으로 실무 비즈니스 적용에 집중했어요. 시사뉴스 보도에 따르면 이날 컨퍼런스는 2026년을 시스템과 직접 상호작용하는 에이전틱 AI(Agentic AI) 상용화의 원년으로 공식 선포했어요. 단순한 챗봇이 아니라 사람이 수행하던 미션크리티컬 업무를 끝까지 책임지고 완결하는 AI가 실제 도입 단계에 들어왔다는 진단이었죠.

두 번째 큰 화두는 AI 보안의 '양날의 검'이었어요. AI가 해커의 무기가 되는 동시에 방어의 핵심이 되는 이중성이 강조됐고, AI 레드티밍 같은 실질적 보안 방향성이 논의됐어요. 모델 도입 이전에 거버넌스를 설계해야 한다는 메시지가, GTC 2026의 NemoClaw 발표와 거의 정확히 같은 결을 띠고 있었어요.

기조연설은 전 구글 딥마인드 연구원이자 현재 사카나 AI 소속인 스테파니아 드루가 맡았어요. 이어 한국마이크로소프트 허경욱 전무가 글로벌 AI 전략을 짚었죠. 두 발표의 공통 메시지는 "이제 모델 자체보다, 그 모델을 어떻게 일하게 만드느냐가 경쟁의 본질"이라는 점이었어요.

소버린 AI 패널 — 대만·퀘벡·이스라엘의 다른 길

1일 차 오후 세션은 이 컨퍼런스 전체에서 가장 무거운 키워드 중 하나, '소버린 AI(Sovereign AI)'에 집중됐어요. 국가가 자체 데이터와 인프라를 기반으로 독자적인 AI 경쟁력을 확보하는 전략이라는 정의 아래, 대만·퀘벡·이스라엘 세 곳의 사례가 차례로 공유됐죠.

KMJ 보도에 따르면 이 세션의 공통 메시지는 "강대국의 길과 강소국의 길은 다르다"는 거였어요. 미·중 중심의 기술 경쟁이 심화되는 상황에서, 데이터 확보와 컴퓨팅 인프라, 인재 확보가 어떻게 연결되어 한 국가의 AI 주권을 만드는지가 실제 사례 중심으로 다뤄졌어요. 대만은 TSMC를 중심에 둔 반도체 수직 통합으로, 퀘벡은 정부 주도의 AI 연구 클러스터와 데이터 거버넌스로, 이스라엘은 군·민 결합형 스타트업 생태계로 각자의 길을 가고 있다는 분석이었죠.

한국 입장에서 흥미로운 건, 이 세 나라의 공통점이 모두 '한 층에 집중'하지 않았다는 점이었어요. 데이터·인프라·인재 세 영역을 연결해야 비로소 소버린 AI가 작동한다는 결론에 가까웠죠.

이세돌 9단과의 특별 대담 — 10년이 지나서 보는 AI

1일 차의 마지막 세션은 이세돌 9단의 특별 대담이었어요. 현재 UNIST 특임 교수로 재직 중인 그는, 알파고와의 역사적 대결을 직접 경험한 당사자로서 이후 10년의 변화를 자기 언어로 풀어냈죠. 더타임즈 보도에서도 이 세션이 컨퍼런스 전체의 정서적 무게중심이 됐다고 평했어요.

대담의 핵심은 "AI가 더 잘하게 됐을 때, 인간의 역할은 어디에 남는가"라는 질문이었어요. 이세돌 9단은 "알파고와 둘 때는 기술이 아직 도구로 느껴졌지만, 지금의 에이전트는 더 이상 도구로만 보기 어렵다"는 취지의 발언으로 청중을 멈춰 세웠어요. 1일 차 내내 "실행형 AI"가 비즈니스 키워드로 다뤄졌다면, 이 세션은 그 키워드의 인간 쪽 그림자를 비춘 자리였어요.

Day 2 — 글로벌 공급망과 2036년 시나리오

5월 8일 2일 차는 '2036 K-AI 산업 대전환'이라는 주제로, 향후 10년의 산업 구조 변화에 집중했어요.

오전 포문을 연 건 DIGITIMES 콜리 황 회장이었어요. 인공지능신문 보도에 따르면 그는 글로벌 공급망과 기술 권력 구조의 변화를 중심으로 AI 산업의 이면을 분석하고, 미·중 기술 패권 경쟁이 앞으로 10년의 산업 지형을 어떻게 재편할지를 진단했어요. 메모리·파운드리·패키징·광학 부품으로 이어지는 공급망의 어느 지점을 누가 쥐는가가, 결국 AI 주권을 결정한다는 시각이었죠.

이어 퀄컴 코리아가 무대에 올랐어요. 데이터센터 일변도에서 벗어나 온프레미스 및 엣지 AI 중심의 차세대 생태계를 전망하며, 향후 10년 기술 비전을 제시했어요. "모든 추론이 데이터센터로 가야 하는 시대는 끝났다"는 메시지는 GTC 2026의 AI-RAN 발표와 한 줄로 연결되는 부분이었죠.

중국 쪽 시각도 균형 있게 들어왔어요. ROBOTERA와 텐센트 클라우드 코리아가 중국의 피지컬 AI 전략을 발표했고, 휴머노이드·로봇·산업 자동화 영역에서 중국이 자체 공급망을 빠르게 구축하고 있다는 점이 강조됐어요. 같은 5계층 위에서 미국·중국·대만이 어떻게 다른 경로를 가는지가 하나의 화면에 펼쳐진 자리였어요.

클로징 패널 — "2036년, 대한민국은 AI 강국입니까?"

컨퍼런스의 마무리는 클로징 패널이었어요. 최재식 교수, SK SUPEX 김지현 부사장, 업스테이지 이건찬 리드, 과학기술정보통신부 이진수 국장이 함께 했고, 주제는 단 하나였어요. "2036년, 대한민국은 AI 강국입니까?"

결론보다 질문 그 자체가 무거웠던 세션이었어요. 패널들의 답은 한 방향으로 모이지 않았지만, 공통적으로 짚은 지점이 있었죠. "지금부터 10년 동안 어느 층에 자본·인재·정책을 집중할지를 결정하지 못하면, 그 답은 자동으로 '아니오'로 굳는다"는 거였어요. 10년 뒤 한국이 5계층의 어느 층에서 표준을 가져갈 수 있는지가, 지금 시작하는 투자에 달려 있다는 분위기로 자리가 마무리됐어요.

한국 부스에서 본 5계층 — 잘 올라가는 층, 격차가 벌어지는 층

이제 본격적인 비교예요. GTC 2026의 5계층 위에 AI EXPO KOREA 한국 기업 라인업을 겹쳐보면 흥미로운 그림이 나와요.

2층 칩에서는 한국이 강했어요. 삼성전자와 SK하이닉스는 GTC 본 행사에서 이미 Vera Rubin용 HBM4 공급사로 동시 선정됐어요. AI EXPO에서는 하이퍼엑셀(HyperAccel)이 저전력 LPU 반도체로 주목받았는데, 엔비디아가 Groq을 인수하면서 추론칩 시장이 본격화된 상황에서 한국 토종 추론칩이 자기 자리를 찾아가는 모습이 보였어요. 메모리 산업 글로벌 톱 두 자리를 한국이 가져가고, 추론칩 영역에 토종 스타트업이 진입한 그림이에요.

3층 인프라는 양면적이었어요. 가장 주목할 건 래블업이었어요. 공식 자료에 따르면 신정규 대표가 발표한 사례가 충격적이었는데, NVIDIA B200 GPU 504대(60노드 이상)로 1,000억 파라미터급 모델을 73일간 처음부터 학습한 실제 운영 경험을 공유했어요. 이 과정에서 장애 복구 시간을 47% 단축했다는 성과를 내놨고, Backend.AI Continuum의 내결함성 스케줄링 전략을 시연했죠. 국가나 기관이 독자적으로 AI 인프라를 운영하는 데 필요한 실전 기술이라는 점에서, 소버린 AI 패널의 메시지와도 직접 연결되는 부스였어요.

몬드리안에이아이는 NVIDIA B300 기반 GPU 인프라 서비스 Runyour AI를 선보였고, 'AI 주권은 인프라에서 시작된다 — 전통 클라우드를 넘어 NeoCloud로'라는 세션 메시지가 인상적이었어요. 몬드리안AI 자료에서 NeoCloud 개념을 더 자세히 볼 수 있어요. 퀀텀씨엔에스의 ORKESTRIX + IKIN은 Kubernetes 기반 멀티 클러스터 AI 인프라로 같은 맥락이었고요.

다만 GTC가 보여준 DSX AI Factory Platform이나 Dynamo 운영체제 수준의 통합 플랫폼은 한국에서 아직 보이지 않았어요. AI 팩토리 전체를 디지털 트윈으로 설계·운영하는 그림은 격차가 분명히 벌어지는 영역이에요.

4층 모델에서는 응용 모델이 강세였어요. 한국딥러닝의 DEEP Agent는 'Near-Zero Hallucination'을 내세운 문서 AI 에이전트로, 임팩티브AI의 딥플로우는 수요·가격 예측 AI로, 비아이매트릭스의 TRINITY는 기업 AX 전환 플랫폼으로 등장했어요. 범용 LLM을 새로 만들기보다 도메인 특화 모델로 승부하는 한국 모델 산업의 현실이 그대로 드러나는 라인업이었죠.

5층 애플리케이션은 가장 활발했어요. 인상적이었던 두 부스를 먼저 꼽자면, KB금융과 AIWORKX예요.

KB금융은 국내 금융권 최초로 휴머노이드 로봇을 활용한 시니어 케어 서비스를 선보였어요. 정서 교감과 복약 안내 같은 기본 돌봄 기능에, 휴머노이드 로봇의 정밀 매니퓰레이터(손)로 약을 직접 전달하는 물리적 보조 기능까지 시연했죠. 단순한 챗봇이 아니라 피지컬 AI 돌봄 서비스로 분류한 부스 표현이 인상적이었어요. 금융사가 '에이지테크(고령자 기술)' 영역으로 들어오는 흐름이 보였죠.

AIWORKX는 AxDC™(Action × Do · Complete)라는 자체 기술을 처음 공개했어요. 에이빙 보도에 따르면 'x'는 고객이 요구하는 미지수와 회사의 무한한 영역을 동시에 의미하고, 해당 영역의 액션을 실행(Do)하고 완결(Complete)까지 책임진다는 의지를 담은 이름이라고 해요. 단순 질의응답을 넘어 미션크리티컬 산업 현장의 업무를 끝까지 완결하는 에이전트라는 점에서, 컨퍼런스의 '실행형 AI' 키워드를 부스 단위로 구현한 사례에 가까웠어요.

그 외에도 삼성SDS의 패브릭스(Fabrix) AI 에이전트 플랫폼, 야놀자의 텔라(Tella), 페르소나AI의 휴머노이드와 로봇견, 마음AI의 JINDO BOT 4족 보행 로봇 시리즈(Guard, Haechi, Vanguard, Ranger)와 PULSE OS, 골드 스폰서 일레븐랩스의 음성 AI 에이전트 부스까지 — 에이전트와 피지컬 AI 양쪽에서 한국 기업의 결과물이 빽빽했어요.

"한국은 칩과 애플리케이션에서는 세계 최전선에 있어요. 그 사이에 있는 에너지·인프라·모델 층에서 격차가 벌어지고 있는 게 진짜 문제예요."

1층 에너지는 가장 조용한 층이었어요. 광통신·액침냉각·데이터센터 설계 같은 1층 인프라를 본격적으로 다룬 부스는 손에 꼽을 정도였어요. 에이치쓰리솔루션이 Nautilus라는 AI 고발열 해결 수냉 인프라를 선보인 정도였죠. 대만 부스에서 MiTAC Computing이 OCP 호환 액침냉각 솔루션을 전시한 것과 비교하면, 한국 시장의 1층은 아직 카테고리 자체가 형성되는 중이라는 인상이었어요.

정리하면 2층(칩)과 5층(애플리케이션)은 잘 올라가고 있고, 1층(에너지)·3층(인프라 운영체제)·4층(범용 모델)에서 격차가 벌어지는 구조예요. 케이크의 위아래는 단단한데 중간이 비어 있는 모양이라고 할까요. 이 빈 중간을 누가 채우느냐가 향후 한국 AI 산업의 결정적인 변수가 될 거예요.

추론의 시대, 한국 기업이 지금 점검해야 할 것들

AI EXPO 부스를 돌면서 가장 자주 들은 질문이 "우리 회사도 GPU 서버를 사야 할까요, 클라우드를 더 써야 할까요?"였어요. 답이 두 가지 모두인 시대이지만, 그 결정 방식 자체가 바뀌었다는 점이 핵심이에요.

예전엔 "GPU 몇 장이 필요한가"만 정하면 됐어요. 지금은 어떤 워크로드의 어떤 단계인가를 먼저 정의해야 해요. 학습용인지 추론용인지, 추론이라면 prefill 중심인지 decode 중심인지, 한 번에 큰 모델을 돌릴 건지 여러 작은 모델을 동시에 굴릴 건지에 따라 인프라 구성이 완전히 달라지거든요.

또 하나 점검해야 할 건 토큰 경제성이에요. 같은 작업을 한국어로 처리하면 영어보다 토큰이 3~5배 더 들어가요. 한국어 사용 비중이 높은 한국 기업은 같은 모델을 쓰더라도 청구서가 다르게 나온다는 뜻이에요. 이 차이를 미리 계산하지 않으면 도입 후 6개월 만에 예산이 초과되는 사례가 흔해요.

에이전트 도입에서는 보안·거버넌스가 먼저예요. 모델 성능 비교만 하다가 정작 권한 관리, 도구 호출 범위, 감사 로그 같은 거버넌스 설계를 빠뜨리면, 도입 초기에 큰 사고가 한 번 나면서 프로젝트가 무산되는 경우가 많거든요. "무엇을 할 수 있는가"만큼 "무엇을 하지 못하게 막을 것인가"를 같이 설계해야 해요.

도입 시점 문제도 있어요. Vera Rubin이 2026년 하반기 출시 예정이라 H100·H200·B200 라인업의 가격·공급 곡선이 흔들릴 가능성이 높아요. 지금 학습용 인프라를 구축하는 기업이라면 차세대 출시 시점에 맞춰 단계적으로 도입할지, 현재 세대로 빠르게 자리잡을지를 결정해야 해요.

자주 묻는 질문

Q1. GTC와 AI EXPO KOREA, 두 행사의 성격은 어떻게 다른가요?

GTC는 엔비디아가 주최하는 글로벌 AI 인프라 컨퍼런스로, 차세대 기술 로드맵과 글로벌 빅테크의 협력 발표가 중심이에요. AI EXPO KOREA는 한국 시장의 AI 도입 현황과 한국·아시아 기업의 실전 사례를 보여주는 행사예요. GTC가 산업의 방향을 그리는 자리라면, AI EXPO는 그 방향이 한국 시장에 도착하는 풍경을 보여주는 자리예요.

Q2. '실행형 AI'와 '에이전틱 AI', '피지컬 AI'는 어떻게 다른가요?

'실행형 AI(Actionable AI)'는 AI EXPO KOREA 2026 주최 측이 올해 정의한 우산 개념이에요. 그 아래에 에이전틱 AI(소프트웨어 영역에서 도구 호출로 업무를 완결)와 피지컬 AI(로봇·기기 영역에서 물리 세계와 상호작용)가 들어가요. 둘 다 "답변 생성"을 넘어 "행위 수행"으로 이동하는 같은 흐름의 두 갈래예요.

Q3. Vera Rubin이 출시되면 H100·H200·B200은 어떻게 되나요?

바로 사라지지는 않아요. Vera Rubin은 2026년 하반기 출시 예정이지만, 글로벌 빅테크의 대량 도입에는 시간이 걸리고, 그 사이 H100·H200·B200은 가격과 공급이 안정화되면서 오히려 일반 기업 도입에 유리한 구간에 들어갈 가능성이 높아요. 차세대를 기다리기보다 현재 세대로 빠르게 시작하는 게 합리적인 시나리오도 많아요.

Q4. 우리 회사가 GPU 인프라를 새로 구축한다면 학습용을 사야 할까요, 추론용을 사야 할까요?

대부분의 한국 기업에서는 추론 중심이 답이에요. 자체적으로 초거대 모델을 처음부터 학습하는 기업은 소수이고, 대다수는 오픈소스나 파운데이션 모델을 가져다 파인튜닝하거나 추론에 활용하거든요. 다만 추론 안에서도 prefill 비중과 decode 비중을 워크로드 분석 후 결정해야 해요.

Q5. AI 에이전트 도입 시 가장 먼저 점검해야 할 보안 항목은 무엇인가요?

세 가지예요. 첫째, 도구 호출 권한 범위 — 에이전트가 어떤 시스템·API에 접근할 수 있는지를 화이트리스트로 명시. 둘째, 승인 게이트 — 결제·삭제·외부 전송 같은 비가역 작업은 사람 승인 후 실행. 셋째, 감사 로그 — 모든 도구 호출과 응답을 기록해 사후 추적 가능하게 유지. AI EXPO 1일 차 컨퍼런스에서도 '양날의 검' 메시지와 함께 AI 레드티밍이 강조된 항목이에요.

정리하자면

두 달의 거리였어요. 새너제이 무대에서 5계층이 그려진 게 3월 16일, 코엑스 부스에서 한국의 응답이 펼쳐진 게 5월 6일부터였죠. 이 두 달이 짧게 느껴졌던 건, 한국이 일부 층에서 정말 빠르게 따라가고 있어서였어요. 메모리 산업은 GTC 본 행사에서 이미 공급사로 호명됐고, 5층 애플리케이션 영역에서는 KB금융의 피지컬 AI 돌봄, AIWORKX의 AxDC™ 같은 결과물이 코엑스를 가득 채웠거든요.

동시에 두 달이 길게 느껴진 것도 사실이에요. 1층 에너지, 3층 인프라 운영체제, 4층 범용 모델 — 케이크의 중간층에서 격차가 분명히 벌어지고 있었어요. 광통신·디지털 트윈·클러스터 운영체제처럼 산업의 뼈대가 되는 영역에서 한국이 별도 카테고리를 형성하지 못한다면, 위아래만 잘하는 산업은 결국 중간을 가진 쪽의 표준을 따라가게 돼요. 다만 래블업이 GTC와 AI EXPO에 동시 참여하면서 보여준 'B200 504대 73일 운영' 같은 사례는, 한국에서도 3층 운영체제 영역의 실전 경험이 쌓이고 있다는 신호이기도 했어요.

"2036년, 대한민국은 AI 강국입니까?"라는 컨퍼런스 클로징의 질문은, 5계층의 중간을 누가 어떻게 채울 것인가의 질문이기도 했어요. 그 답은 코엑스의 한 부스에서 나오지 않고, 앞으로 몇 년간 한국이 어떤 인프라에 어떻게 투자하느냐에서 나올 거예요.

엔비디아가 그리는 방향이 곧 AI 산업의 방향이 되고 있는 건 분명해요. 그렇기에 GTC와 AI EXPO를 함께 읽는 건, 한국 기업이 자기 자리를 정확히 보는 가장 빠른 방법이에요.