AI 반도체 경쟁은 이제 GPU 숫자만으로 설명하기 어려워졌다. 연산칩을 더 크게 만들고, 더 많은 서버를 붙여도 데이터가 제때 오가지 못하면 체감 성능은 막힌다. 이번에 다시 부각된 HBM 수직 적층은 바로 그 병목을 줄이려는 움직임이다.
GPU 옆에 고대역폭메모리, 즉 HBM을 붙이는 방식은 이미 AI 서버의 기본 문법이 됐다. 문제는 다음 세대다. AI 모델은 더 커지고, 에이전트형 서비스는 동시에 더 많은 요청을 처리한다. 칩 주변에 메모리를 나란히 더 붙이는 방식만으로는 대역폭과 전력 효율을 동시에 잡기 어려워지고 있다.
GPU 옆자리의 한계가 만든 수직 적층
현재 AI 가속기는 GPU와 HBM을 실리콘 인터포저 위에 나란히 배치하는 구조가 많다. 인터포저는 칩과 칩을 촘촘하게 연결하는 일종의 고속 회로판이다. 이 구조 덕분에 일반 메모리보다 훨씬 넓은 통로로 데이터를 주고받을 수 있다.
하지만 GPU 성능이 커지는 속도와 메모리 연결 통로가 늘어나는 속도는 같지 않다. GPU는 면적을 키우고 연산 유닛을 늘리며 성능을 끌어올릴 수 있지만, 메모리와 연결되는 가장자리 공간은 제한적이다. 칩 주변에 붙일 수 있는 HBM 수와 배선 밀도에도 물리적 한계가 생긴다.
그래서 나온 방향이 HBM을 옆이 아니라 위로 올리는 방식이다. 메모리와 프로세서 사이 거리를 줄이면 데이터 이동에 쓰는 전력을 낮추고, 같은 면적에서 더 넓은 대역폭을 만들 수 있다. 말 그대로 AI 반도체의 싸움이 평면 배치에서 입체 배치로 넘어가는 셈이다.
HBM4 이후 메모리 병목이 더 비싸진다
HBM은 여러 개의 D램 칩을 층층이 쌓아 만든다. 각 층은 TSV라는 미세한 수직 통로로 연결된다. 엘리베이터가 건물 층을 오가듯, 데이터가 메모리 안에서 위아래로 이동하는 구조다.
세대가 올라갈수록 용량과 대역폭은 커진다. 대신 통로는 더 촘촘해지고, 열은 더 많이 생긴다. HBM4 이후에는 단순히 메모리를 많이 붙이는 것보다 불량을 줄이고 열을 빼내는 기술이 더 중요해진다. 고성능 메모리가 비싼 이유도 여기서 나온다.
사용자 입장에서 바로 보이는 제품은 아직 데이터센터용 AI 서버다. 그래도 이 변화는 소비자용 PC와도 멀리 떨어져 있지 않다. 그래픽카드 가격, 고성능 메모리 수급, 차세대 GPU 패키징 비용은 결국 게이밍 PC와 워크스테이션 시장의 가격표에도 영향을 준다.
▲ HBM 세대 경쟁에서 봐야 할 부분은 세 가지다.
▲ 대역폭: GPU가 한 번에 받아올 수 있는 데이터 양
▲ 전력 효율: 데이터를 옮길 때 낭비되는 전기
▲ 냉각 구조: 여러 층으로 쌓은 메모리의 열을 빼내는 방식
삼성 zHBM과 SK하이닉스 iHBM의 다른 출발점
삼성전자는 장기 로드맵에서 zHBM 개념을 제시했다. z축, 즉 위쪽 방향으로 HBM을 프로세서 위에 올리는 구상이다. 기존처럼 옆으로 붙여 통신하는 방식을 줄이고, 수직 방향으로 더 짧게 연결하겠다는 접근이다.
이 방식이 현실화되면 대역폭을 키우면서 전력 소모를 줄일 가능성이 있다. 데이터가 멀리 이동하지 않아도 되기 때문이다. 다만 칩 위에 메모리를 올리는 순간 냉각은 훨씬 어려워진다. 뜨거운 GPU 위에 또 다른 고성능 메모리 층을 얹는 구조라 열 설계가 제품 성패를 가를 수 있다.
SK하이닉스는 HBM4E와 HBM5로 가는 과정에서 하이브리드 본딩과 iHBM 같은 냉각 기술을 강조하고 있다. 하이브리드 본딩은 미세한 범프 없이 칩을 더 직접적으로 붙이는 방식에 가깝다. 연결 밀도를 높이는 데 유리하지만, 마찬가지로 발열 관리가 따라와야 한다.
두 회사의 방향은 다르지만 질문은 같다. 더 빠른 메모리를 만들 수 있느냐보다, 더 빠른 메모리를 실제 서버 안에서 안정적으로 굴릴 수 있느냐다. AI 반도체 경쟁이 설계, 패키징, 냉각, 전력까지 한 묶음으로 바뀌는 이유다.
게이밍 PC가 체감할 변화는 가격표에서 먼저 온다
HBM 수직 적층은 당장 일반 그래픽카드에 바로 들어갈 기술은 아니다. 고비용 패키징과 까다로운 생산 공정을 감당할 수 있는 시장은 우선 AI 서버와 슈퍼컴퓨팅 쪽이다. 엔비디아, AMD, 대형 클라우드 기업들이 먼저 돈을 쓰는 영역이기도 하다.
그렇다고 게이머와 무관하다고 보기는 어렵다. 서버용 GPU 수요가 커질수록 첨단 패키징 라인과 고성능 메모리 생산 능력은 그쪽으로 먼저 배정된다. 메모리 가격과 생산 여력이 흔들리면 소비자용 그래픽카드와 PC 부품 가격에도 간접 압박이 생긴다.
최근 PC 견적에서 메모리 가격 변동이 다시 민감한 변수로 떠오른 것도 같은 흐름 안에 있다. 고성능 AI 서버가 더 많은 메모리와 더 복잡한 패키징을 요구할수록, 게이밍 PC 시장은 가격 안정성을 더 예민하게 보게 된다. 관련해서는 DDR4까지 오른다, 게이밍 PC 견적의 도망갈 곳이 줄었다 흐름과도 맞닿아 있다.
그래픽카드 성능표만 보는 시대도 점점 좁아진다. 앞으로는 메모리 대역폭, 전력 제한, 냉각 설계, 패키징 비용이 함께 묶여 제품 등급을 나눌 가능성이 크다. 같은 GPU 이름을 달아도 실제 성능과 가격 차이가 더 크게 벌어질 수 있다.
AI 서버에서 시작된 변화가 부품 시장을 흔든다
HBM 수직 적층의 핵심은 더 빠른 AI를 만들겠다는 말보다, 데이터 이동 비용을 줄이겠다는 데 있다. AI 모델은 연산도 많이 하지만 데이터를 계속 불러오고 저장하는 과정에서 막대한 전력과 시간이 들어간다. 병목이 메모리에 걸리면 비싼 GPU도 제 속도를 내기 어렵다.
이 흐름은 반도체 제조사의 역할도 바꾼다. 예전에는 더 작은 공정, 더 빠른 칩이 전면에 섰다면 이제는 메모리와 로직칩을 어떻게 붙이고 식힐지가 큰 경쟁력이 된다. HBM을 만드는 회사, 파운드리, 패키징 업체, 서버 제조사가 따로 움직이기 힘든 구조가 된다.
소비자가 당장 확인할 부분은 제품 출시일보다 공급의 방향이다. AI 서버 수요가 계속 강하면 고성능 메모리와 첨단 패키징은 프리미엄 시장부터 빨려 들어간다. 반대로 생산 능력이 충분히 늘면 몇 세대 뒤 소비자용 그래픽카드와 워크스테이션에도 그 기술 일부가 내려올 수 있다.
지금의 HBM 경쟁은 먼 데이터센터 이야기처럼 보이지만, 끝은 PC 부품 가격과 성능 체감으로 이어진다. GPU 위로 메모리를 올리려는 시도는 단순한 구조 변경이 아니라, AI 시대 반도체가 더 이상 칩 하나만의 싸움이 아니라는 신호에 가깝다.
