“계산 능력”에서 “저장 능력”으로: AI 하드웨어의 후반전, 누가 걸림돌이 되고 있을까?
안녕하세요, 여러분의 금융 전문 기자이자 경제학자입니다.
최근에 기술 업계나 주식 시장을 주목해 보셨다면 흥미로운 현상을 발견하셨을 것입니다. 예전에는 AI에 대한 관심이 높아져서 모두 엔비디아의 GPU(그래픽 카드)에만 집중했으며, 그것을 “뇌”라고 여겼습니다. 하지만 2025년 후반에 들어서면서 상황이 바뀌었습니다. 원래 “조연”으로 여겨졌던 메모리(DRAM), 플래시 메모리(NAND), 하드디스크와 같은 저장 장치들이 갑자기 주인공이 되었습니다.
왜일까요? 바로 **“저장 능력”이 새로운 병목 현상이 되었기 때문입니다.
간단히 말해, 예전에는 “계산 속도가 충분히 빠르지 않았지만”, 이제는 “충분히 많이 저장하고 빠르게 읽을 수 없는” 문제가 생겼습니다. 이는 마치 초능력 있는 요리사(GPU)가 있지만, 재료(데이터)를 냉장고(메모리)에서 꺼내는 속도가 따라가지 못해 아무것도 할 수 없는 상황과 같습니다.
오늘은 HBM(고대역폭 메모리)에 대한 심층적인 보고서를 쉬운 언어로 분석하여, 이번 “저장 능력” 혁명이 무엇인지, 그리고 그 뒤에 숨겨진 비즈니스 논리와 투자 기회가 무엇인지 살펴보겠습니다.
---
1. 왜 AI가 갑자기 메모리를 많이 사용하게 되었을까?
많은 사람들이 AI는 계산만 하는 것이라고 생각하며 저장과는 관련이 없다고 오해합니다. 하지만 이는 큰 오류입니다. AI의 메모리 수요는 선형적으로 증가하는 것이 아니라 지수적으로 폭발하고 있습니다. 이는 주로 세 가지 요인 때문입니다:
1. 모델 자체가 “커졌다” (파라미터 저장)
AI 대형 모델을 매우 복잡한 사전으로 생각해 보세요. 예전에는 몇 백만 개의 단어만 있었지만, 이제는 수조 개의 단어가 됩니다.
- 데이터의 영향: 퀸(Qwen)을 예로 들면, 첫 번째 버전에서 최신 Qwen3.8 Max까지 파라미터의 양이 약 30배 이상 증가했습니다.
- 결과: 이 “사전” 자체를 메모리에 저장하는 데 필요한 공간이 135GB에서 2300GB(약 2.3TB)로 늘어났습니다. 아직 작업을 시작하지도 않았는데, 그 자체만으로도 많은 공간을 차지합니다.
2. 대화 기록이 “길어졌다” (KV 캐시)
이것은 가장 간과되기 쉽지만 메모리를 많이 소비하는 부분입니다. AI와 대화를 많이 할수록 기억해야 할 “맥락”이 많아집니다.
- 비유: 친구와 100페이지 분량의 대화를 나누면, 그 내용을 모두 기억해야 다음 말을 이어갈 수 있습니다.
- 현실: 소프트웨어 기술이 발전하여 기억을 압축할 수 있지만, 현재 AI의 맥락 길이는 수십만 개에서 수백만 개의 단어까지 처리할 수 있습니다.
- 축적 효과: 32명이 동시에 AI와 장시간 대화를 나눈다면, 이러한 대화 기록만으로도 1.3TB의 메모리가 필요합니다. 모델 자체의 2.3TB와 합치면 총 3.6TB의 메모리가 필요합니다!
3. AI 에이전트의 “다양한 작업”
현재 AI는 단순히 질문에 답하는 것을 넘어서 코드를 작성하거나 엑셀을 조작하거나 이메일을 보내는 등 다양한 작업을 합니다. 이러한 작업으로 인해 생성되는 임시 파일, 로그, 중간 데이터도 일반 메모리와 플래시 메모리를 많이 소비합니다.
결론: 예전에는 “계산 속도”가 가장 중요했지만, 이제는 “충분히 저장하고 빠르게 읽을 수 있는” 능력이同样 중요하며, 심지어 더 핵심적입니다.
---
2. 왜 HBM이 “특별한 주목을 받게 되었을까? 일반 메모리는 안 되나요?
메모리가 이렇게 중요한데, 왜 컴퓨터에 흔히 사용되는 DDR5 메모리 대신 비싼 HBM을 사용하는 걸까요?
이를 이해하려면 두 가지 핵심 지표를 살펴보아야 합니다: 용량과 속도.
1. 일반 메모리의 “물리적 한계”
- 제조 공정의 어려움: 메모리 칩의 제조 공정은 CPU처럼 2nm, 3nm까지 발전하기 어렵습니다. 물리적인 제한으로 인해 메모리 칩을 너무 작게 만들면 전자가 제대로 작동하지 않습니다. 현재 메모리 제조 공정은 11-12nm에 정체되어 있으며, 앞으로 몇 년 안에 10nm까지만 발전할 것입니다.
- 공간의 한계: 단일 칩의 크기를 키울 수 없으므로 여러 개를 겹쳐 사용해야 합니다. 하지만 GPU 칩 주변의 공간은 매우 제한적이어서 일반 메모리 스트립처럼 주변에 평평하게 배치할 수 없습니다.
2. HBM의 “혁신적인 기술”: 입체적인 설계
HBM의 장점은 CPU/GPU와 평면 공간을 경쟁하지 않고 위로 쌓는 방식입니다.
- 수직 적층: 일반 메모리가 평지에 펼쳐진 단층 건물이라면, HBM은 GPU 옆에 있는 “입체 주차장”과 같습니다. 12층이나 16층의 메모리 칩을 케이크처럼 쌓아 올립니다.
- 실리콘 관통구(TSV): 이러한 층들을 연결하기 위해 엔지니어들은 칩에 수많은 수직 구멍(TSV)을 만들고 그 안에 구리를 채워 신호가 위아래로 직접 전달될 수 있도록 합니다.
- 결과: 같은 크기의 공간에 일반 메모리보다 훨씬 더 많은 용량을 담을 수 있습니다.
3. 속도가 빠른 이유?
- 비트 폭이 크다: 일반 메모리는 한 번에 32비트의 데이터만 전달할 수 있지만, HBM은 한 번에 1024비트나 2048비트의 데이터를 전달할 수 있습니다. 이는 일반 도로가 단일 차선인 것에 비해 HBM이 1000차선의 고속도로와 같습니다.
- 거리가 짧다: HBM은 GPU 칩에 직접 “붙어 있어” 데이터가 멀리 이동할 필요가 없으므로 지연이 매우 적고 속도가 매우 빠릅니다.
요약: HBM은 “공간 부족”과 “속도 부족”이라는 문제를 해결하기 위해 만들어진 “특별한 메모리”입니다.
---
3. HBM의 기술적 어려움: 왜 만들기가 이렇게 어렵고 비싸나요?
HBM이 좋긴 하지만, 제조 과정이 매우 어렵기 때문에 가격이 DDR5보다 훨씬 비쌉니다. 주요 어려움은 세 가지입니다:
1. 적층 공정: 매우 정교한 작업
- 구멍을 뚫는 것: 얇은 실리콘 웨이퍼에 수천 개의 수직 구멍을 뚫고, 정확하게 위치시키며, 열을 방출하고 전기를 공급해야 합니다. 이는 매우 어려운 작업입니다.
- 납땜: 12층의 칩을 어떻게 하나로 결합할까요?
- 하이닉스(SK Hynix)는 MR-MUF 공정(리플로우 솔더링 + 액체 수지)을 사용합니다. 모든 칩을 한 번에 쌓고 그 위에 접착제를 붓아 굳힙니다. 이 방식은 효율적이고 불량률이 낮으며 열 방출이 잘 됩니다.
- 삼성/마이크론은 TC-NCF 공정(열압 + 비전도성 필름)을 사용합니다. 한 층씩 누르고 접착합니다. 단점은 공정이 복잡하고 오류가 발생하기 쉽으며 불량률이 낮습니다.
- 경쟁 구도: 하이닉스는 MR-MUF 공정을 보유하고 있어 HBM 분야에서 우위를 점하고 있으며, 높은 이익률을 기록합니다. 삼성과 마이크론은 차세대 “혼합 접합” 기술을 개발하여 추격하고 있습니다.
2. 패키징 공정: GPU와의 결합
- 실리콘 중간층(Interposer): HBM은 단독으로 판매되지 않고, GPU 칩과 함께 특수한 실리콘 판(중간층)에 패키징되어야 합니다.
- 정밀도 요구: 이 실리콘 판의 회로 폭은 1마이크론(머리카락의 1/70)에 불과하므로 일반 PCB 판으로는 만들 수 없으며, 반도체 웨이퍼 공정이 필요합니다.
- 생산 능력의 한계: 이 실리콘 판과 패키징 공정은 대만 TSMC의 생산 능력에 의존합니다. 즉, HBM의 양은 메모리 제조업체뿐만 아니라 TSMC의 생산 능력에도 달려 있습니다.
3. 기초 층(Base Die): “일반적”에서 “맞춤형”으로의 변화
- 이전: HBM의 기초 층은 간단했지만, 이제는 매우 복잡해졌습니다. 12nm 이상의 고급 공정이 필요하며, 메모리 제조업체가 직접 제작할 수 없어 TSMC에 위탁해야 합니다.
- 더 중요한 변화: 엔비디아, AMD와 같은 대형 고객은 자신의 요구에 맞게 기초 층을 맞춤화합니다.
- 예를 들어, 엔비디아의 NVHBM은 독자적인 프로토콜을 사용하여 대역폭을 30% 향상시키고 전력 소비를 15% 줄였습니다.
- 이는 HBM이 더 이상 표준화된 “제품”이 아니라 반맞춤형 “부품”이 되었다는 것을 의미합니다.
---
4. 산업 체인의 변화: 메모리 제조업체의 위상 변화
이번 HBM 혁명은 메모리 산업의 권력 구조를 완전히 바꾸었습니다.
1. 메모리 제조업체의 “독립성” 감소
이전에는 메모리 제조업체(삼성, 하이닉스, 마이크론)가 설계부터 생산까지 모든 것을 담당했습니다.
이제 HBM의 생산 과정은 다음과 같이 분리되었습니다:
- 메모리 제조업체: 메모리 칩과 적층을 제작합니다.
- TSMC: 기초 층(Base Die)과 최종 패키징(CoWoS)을 제작합니다.
- 최종 고객(엔비디아): 기초 층의 설계에 참여하여 사양을 결정합니다.
결과: 메모리 제조업체의 영향력이 약해졌습니다. 엔비디아가 공급업체를 바꾸거나 TSMC의 생산 능력이 부족하면, 메모리 제조업체도 제품을 공급할 수 없습니다.
2. “공동 번영”인가, “가치 이전”인가?
- 단기적으로: AI 수요가 폭발적으로 증가하여 전체 산업의 이익이 증가했습니다. 하이닉스와 마이크론의 주가는 반년 만에 10배까지 상승했습니다.
- 장기적으로: 맞춤화가 심화됨에 따라 메모리 제조업체는 점차 “위탁 제조업체” 역할로 전락할 수 있으