GPU란 무엇인가요? 게임용 칩이 AI의 심장이 된 이유

2025년 10월, 엔비디아는 세계 최초로 시가총액 5조 달러를 넘어선 기업이 됐어요. 애플도, 마이크로소프트도 먼저 가보지 못한 자리죠. 그런데 이 회사, 원래는 게임용 그래픽카드를 만들던 곳이었어요.

게임 화면을 그리던 칩이 어떻게 AI 시대의 심장이 됐을까요? 이 질문에 답하려면 두 가지를 알아야 해요. GPU가 원래 무슨 일을 하던 부품인지, 그리고 AI가 실제로 어떻게 작동하는지.

이 글은 두 부분으로 이어져요. 1부에서는 GPU라는 부품의 정체와 엔비디아가 갑자기 세계 1위가 된 이유를, 2부에서는 AI의 작동 원리를 처음 접하는 분도 이해할 수 있게 풀어볼게요. 다 읽고 나면 "AI에는 왜 GPU가 필요한가"라는 질문이 자연스럽게 풀릴 거예요.

GPU는 원래 게임 화면을 그리던 칩이었어요

GPU(Graphics Processing Unit)는 이름 그대로 '그래픽 처리 장치'예요. 모니터에 보이는 화면을 그리는 게 본업이죠. 1999년 엔비디아가 지포스 256(GeForce 256)을 출시하면서 'GPU'라는 이름을 처음으로 붙였는데, 이게 세계 최초의 GPU로 기록돼 있어요. 자세한 배경은 KIPOST 보도에서 확인할 수 있어요.

그런데 화면을 그리는 게 왜 별도의 칩이 필요할 만큼 힘든 일일까요? 픽셀 수를 세어보면 감이 와요. FHD 모니터 화면 하나에는 약 207만 개의 픽셀이 있어요. 게임은 이 화면을 초당 60번 이상 새로 그려야 하죠. 1초에 1억 번이 넘는 색 계산이 필요하다는 뜻이에요.

여기서 중요한 특징이 하나 있어요. 픽셀 하나하나의 계산이 서로 독립적이라는 거예요. 왼쪽 위 픽셀의 색을 정할 때 오른쪽 아래 픽셀의 결과를 기다릴 필요가 없죠. 그렇다면 계산 유닛을 아주 많이 만들어서 한꺼번에 처리하면 되지 않을까요?

GPU는 바로 이 아이디어로 설계된 칩이에요. 단순한 계산을 아주 많은 유닛이 동시에 처리하는 것. 이 한 문장이 GPU의 정체이고, 뒤에서 보시겠지만 AI 시대에 GPU가 뜬 이유이기도 해요.

CPU와 GPU, 뭐가 다른가요?

컴퓨터에는 이미 CPU라는 계산 장치가 있는데, 왜 GPU가 따로 필요했을까요? 두 칩은 설계 철학이 정반대이기 때문이에요.

CPU(중앙 처리 장치)는 강력한 코어를 소수만 갖고 있어요. 보통 8~64개 정도죠. 코어 하나하나가 아주 똑똑해서, 운영체제를 관리하고 프로그램의 복잡한 논리를 순서대로 빠르게 처리해요. "이 조건이면 A, 아니면 B" 같은 판단이 많은 작업에 강해요.

반면 GPU는 단순한 코어를 수천~수만 개 갖고 있어요. 예를 들어 NVIDIA H100 한 장에는 CUDA 코어가 16,896개 들어 있죠. 코어 하나하나는 CPU 코어보다 훨씬 단순하지만, 같은 종류의 계산을 동시에 쏟아붓는 일에서는 CPU가 따라올 수 없는 속도를 내요. 두 장치의 차이는 IBM의 GPU 해설과 AWS 문서에도 잘 정리돼 있어요.

정리하면 이래요. 복잡한 일을 순서대로 처리하는 게 CPU, 단순한 계산을 한꺼번에 처리하는 게 GPU. 어느 쪽이 더 좋은 게 아니라, 잘하는 일이 다른 거예요.

게임 회사였던 엔비디아, 어떻게 세계 1위가 됐나요?

2000년대까지만 해도 엔비디아는 게이머들에게나 유명한 회사였어요. 그 회사가 지금은 전 세계에서 가장 비싼 기업이 됐죠. 이 극적인 변화에는 세 번의 결정적 장면이 있어요.

CUDA — GPU를 게임 밖으로 꺼낸 결정

2006년, 엔비디아는 CUDA라는 기술을 발표해요. 그래픽이 아닌 일반 계산도 GPU에서 돌릴 수 있게 해주는 프로그래밍 도구였죠. 당시엔 "게임 칩으로 과학 계산을 왜 해?"라는 반응이 많았어요. 그런데 기상 시뮬레이션, 분자 구조 분석처럼 단순 계산을 어마어마하게 반복하는 분야의 연구자들이 조용히 GPU를 쓰기 시작했어요. 이 25년의 여정은 지티티코리아의 정리 기사에서 볼 수 있어요.

2012년, 딥러닝이 GPU를 만난 순간

진짜 전환점은 2012년이에요. 토론토 대학의 연구팀이 게임용 GPU 단 2장으로 인공신경망을 학습시켜, 이미지 인식 대회 이미지넷(ImageNet)에 나갔어요. 결과는 충격적이었죠. 이 모델(알렉스넷, AlexNet)의 오류율은 15.3%. 2위가 26.2%였으니, 압도적인 격차의 우승이었어요.

이 사건 이후 전 세계 AI 연구실의 표준 장비가 GPU로 바뀌어요. 게임을 위해 만들어진 병렬 계산 능력이, 우연히도 인공신경망 학습에 필요한 계산과 정확히 같은 종류였던 거예요.

챗GPT 이후 — GPU가 산업의 생산수단이 된 시대

그리고 2022년 말, 챗GPT가 등장해요. 챗GPT 같은 대형 언어 모델(LLM)을 만들고 운영하려면 GPU가 수천 장에서 수만 장 단위로 필요해요. 전 세계 빅테크가 GPU 확보 경쟁에 뛰어들었고, 2026년 주요 데이터센터 기업들의 설비 투자만 약 7,500억 달러에 이르러요.

그 결과가 엔비디아의 실적에 그대로 찍혀 있어요. 최근 분기 매출 816억 달러 중 데이터센터 부문이 752억 달러, 전체의 92%를 차지해요. 게임 회사가 아니라 AI 인프라 회사가 된 거죠. 자세한 수치는 ZDNet 코리아 보도와 한국데이터경제신문 분석에서 확인할 수 있어요.

5조 달러. 2025년 10월 엔비디아가 세계 최초로 넘어선 시가총액이에요. 게임 그래픽카드 회사가 26년 만에 도달한 자리죠.

그런데 여기서 궁금해지지 않나요? 도대체 AI가 뭘 하길래, 게임 화면 그리던 칩이 이렇게까지 필요한 걸까요? 지금부터 2부, AI의 작동 원리로 들어가볼게요.

AI란 도대체 무엇일까요?

챗GPT는 질문에 답하고, 이미지 생성 AI는 그림을 그려요. 마치 생각하는 것처럼 보이죠. 하지만 그 속을 열어보면, 실체는 의외로 단순해요.

먼저 오해 하나를 풀고 갈게요. 챗GPT는 문장을 '이해하고 작성'하는 게 아니에요. 하는 일은 단 하나, "지금까지의 글 다음에 올 단어로 무엇이 가장 자연스러운가"를 확률로 계산하는 것이에요. "대한민국의 수도는"이라는 입력이 들어오면, 다음 단어 후보들의 확률을 계산해서 '서울'을 고르는 식이죠. 이 단순한 일을 엄청난 규모로 잘하게 만들었더니, 대화가 되고 글이 써지는 거예요.

그럼 그 '확률 계산'은 어떻게 하는 걸까요? 여기서부터가 진짜 이야기예요.

AI는 규칙을 외우지 않아요, 숫자를 조정해요

전통적인 프로그램은 사람이 규칙을 직접 써줘요. "버튼을 누르면 창을 열어라"처럼요. 그런데 "고양이 사진을 구분하라"는 규칙은 어떻게 쓸까요? 귀가 뾰족하면 고양이? 여우도 뾰족한데요. 사람도 설명 못 하는 규칙을 코드로 쓸 수는 없어요.

그래서 AI는 완전히 다른 방식을 택해요. 인공신경망이라는 계산 구조를 만드는 거예요. 인공신경망은 수많은 숫자들이 층층이 연결된 구조인데, 이 숫자 하나하나를 파라미터(가중치)라고 불러요. 입력(사진, 문장)이 들어오면 이 숫자들과 곱해지고 더해지면서 출력(고양이인지 아닌지, 다음에 올 단어)이 나와요. 챗GPT의 기반이 된 GPT-3에는 이런 파라미터가 1,750억 개 있어요.

학습 — 틀리면서 조금씩 나아지는 과정

그럼 이 1,750억 개의 숫자는 누가 정할까요? 아무도 정하지 않아요. 데이터가 정해요.

과정은 이래요. 처음엔 파라미터를 아무 값으로 채워요. 당연히 엉터리 답이 나오죠. 그러면 정답과 비교해서 얼마나 틀렸는지를 계산하고, 오답이 줄어드는 방향으로 파라미터를 아주 조금씩 고쳐요. 이걸 수십억, 수조 번 반복하는 게 바로 학습(training)이에요. 틀리고, 고치고, 또 틀리고, 또 고치고. 이 반복 끝에 신경망은 사람이 써줄 수 없던 '고양이의 규칙'을 숫자들 속에 스스로 담게 돼요. 이 원리는 SK하이닉스 뉴스룸의 AI 알고리즘 해설에도 잘 정리돼 있어요.

AI의 실체는 결국 곱셈과 덧셈이에요

여기까지 오면 놀라운 결론이 나와요. 학습이든, 챗봇의 답변 생성이든, AI가 하는 일의 실체는 숫자를 곱하고 더하는 것이라는 거예요. 수학에서는 이걸 행렬 곱셈이라고 부르는데, 입력 숫자 묶음과 파라미터 숫자 묶음을 짝지어 곱한 뒤 더하는 계산이에요.

챗GPT가 답변을 한 글자 만들 때마다, 1,750억 개 파라미터가 관여하는 곱셈과 덧셈이 수천억 번 단위로 일어나요. 문장 하나면 이걸 수십, 수백 번 반복하고요. AI가 똑똑해 보이는 비결은 심오한 사고가 아니라, 상상을 초월하는 양의 단순 계산이에요.

왜 병렬처리가 중요한가요?

이제 마지막 퍼즐이에요. 이 어마어마한 곱셈과 덧셈, 어떻게 처리해야 할까요?

핵심은 행렬 곱셈 안의 계산들이 서로 독립적이라는 점이에요. 첫 번째 곱셈의 결과를 기다렸다가 두 번째 곱셈을 시작할 필요가 없어요. 1,000개의 곱셈이 있다면 1,000개를 동시에 시작해도 돼요. 이렇게 서로 의존하지 않는 계산을 여러 연산 유닛이 동시에 수행하는 방식을 병렬처리(parallel processing)라고 해요.

간단히 계산해볼까요? 곱셈 1조 번을 해야 하는 작업이 있다고 해볼게요. 코어 하나가 순서대로 처리하면 1조 번의 시간이 걸려요. 그런데 코어 1만 개가 나눠서 동시에 처리하면? 각자 1억 번씩만 하면 되니까, 시간이 1만분의 1로 줄어요. 계산량 자체는 그대로인데, 동시에 하느냐 순서대로 하느냐가 이만큼의 차이를 만드는 거예요.

CPU로 이 계산을 하면 어떻게 될까요? 아무리 빠른 코어라도 수십 개뿐이라, 수천억 번의 곱셈을 순서대로 소화해야 해요. 반면 GPU는 수천 개의 코어가 곱셈을 동시에 나눠 가져요. 같은 작업의 처리 시간이 수십 배에서 수백 배까지 줄어들죠. 실제로 AI 학습에서 GPU가 CPU 대비 얼마나 효율적인지는 Google Cloud의 해설에서도 다루고 있어요.

어디서 본 구조 아닌가요? 맞아요. 1부에서 본 픽셀 계산과 똑같은 패턴이에요. 207만 개 픽셀을 동시에 칠하던 능력이, 수천억 개의 곱셈을 동시에 처리하는 능력으로 그대로 이어진 거예요. 게임과 AI는 겉보기엔 전혀 다르지만, 계산의 구조가 같았던 거죠.

AI가 이렇게 작동하기 때문에, GPU가 중요해졌어요

이제 처음의 질문으로 돌아올 수 있어요. AI에는 왜 GPU가 필요한가?

AI의 실체가 대규모 행렬 곱셈이고, 행렬 곱셈은 병렬처리에 최적이고, 병렬처리를 가장 잘하는 칩이 GPU이기 때문이에요. GPT급 모델 하나를 학습시키려면 GPU 수천 장이 몇 달을 쉬지 않고 계산해야 해요. 학습이 끝난 뒤에도, 사용자의 질문 하나하나에 답할 때마다(이걸 추론이라고 해요) 파라미터 전체를 읽어 곱셈을 수행해야 하죠.

그래서 GPU를 고를 때는 코어 수 말고도 함께 보는 요소들이 생겼어요. 모델의 파라미터를 통째로 올려둘 GPU 전용 메모리인 VRAM의 용량, 그리고 그 메모리에서 데이터를 초당 얼마나 빠르게 읽고 쓸 수 있는지를 나타내는 메모리 대역폭이에요. 아무리 코어가 많아도 데이터를 읽어오는 속도가 느리면, 연산 유닛이 데이터를 기다리며 놀게 되거든요. AI 시대의 GPU 스펙 경쟁이 코어 수보다 메모리 쪽에서 벌어지는 이유예요.

엔비디아가 세계 1위가 된 건 우연이 아니에요. AI 시대의 모든 서비스 밑바닥에서 돌아가는 계산이 GPU의 계산 방식과 정확히 일치했고, 엔비디아는 CUDA부터 데이터센터 GPU까지 그 계산을 위한 도구를 20년 가까이 준비해왔던 거죠. AI 개념을 더 깊이 알고 싶다면 AI 입문 가이드도 함께 읽어보세요.

정리하자면

GPU는 원래 게임 화면의 픽셀 수백만 개를 동시에 계산하기 위해 태어난 칩이에요. 그런데 AI의 실체가 수천억 번의 독립적인 곱셈과 덧셈, 즉 병렬처리에 최적인 계산이라는 게 밝혀지면서, GPU는 게임을 넘어 AI 시대의 핵심 인프라가 됐어요.

2012년 게임용 GPU 2장으로 시작된 흐름이, 지금은 수만 장의 GPU가 돌아가는 데이터센터와 시가총액 5조 달러의 기업으로 이어졌죠. 흐름의 방향은 분명해요. AI가 커질수록, 계산은 더 많아지고, GPU의 자리는 더 커져요.

AI를 이해하는 첫걸음은 알고리즘이 아니라, 그 밑에서 돌아가는 계산의 구조를 이해하는 것일지도 몰라요.