SK하이닉스가 지난 9일부터 나흘간 미국 캘리포니아주 새너제이(San Jose)에서 열린 ‘AI Hardware & Edge AI Summit 2024(이하 AI 하드웨어 서밋)’에 참가했다. AI 하드웨어 서밋은 글로벌 IT 기업과 유망 스타트업 등이 참가해 최신 기술과 연구 결과를 공유하고 네트워킹을 통해 산업 내 협력 기회를 모색하는 자리다.

▲ AI 하드웨어 서밋에 설치된 SK하이닉스 부스 모습

회사는 이번 AI 하드웨어 서밋에서 ‘데이터센터부터 엣지 디바이스*까지, AI 성능을 가속하는 AiM*(Boost Your AI: AiM is What You All Need From Data Center to Edge Device)’이라는 슬로건을 걸고, 가속기 카드인 AiMX* 등 AI 시대를 위한 기술을 선보였다.

* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, PIM은 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* 엣지 디바이스(Edge-Device): 인간과 매일매일 접촉하며 데이터를 만들어내는 기기
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

▲ AI 하드웨어 서밋에 전시된 AiM 칩과 AiMX 카드

이번 행사에서 선보인 AiM/AiMX은 최근 비약적으로 발전하고 있는 생성형 AI를 위한 최고의 솔루션이다. 생성형 AI에 활용되는 대규모 언어 모델(Large Language Model, 이하 LLM)의 크기가 지속적으로 증가하고 있으며, 이로 인한 데이터센터의 컴퓨팅 비용 역시 빠르게 상승하고 있다. SK하이닉스는 자사의 AiM이 메모리 내에서 일부 연산을 수행해 기존 메모리 대비 높은 대역폭과 우수한 에너지 효율성을 보이며, LLM 기반의 생성형 AI가 요구하는 높은 컴퓨팅 성능을 더 경제적으로 구현할 수 있게 해준다고 설명했다.

▲ AI 하드웨어 서밋에서 AiMX 카드를 활용해 최신 LLM을 시연하고 있는 모습

전시 부스에서는 최신 LLM인 ‘Llama3 70B*’ 활용해 AiMX의 성능을 시연했다. 이번에 공개된 AiMX는 메모리 용량이 16GB에서 32GB로 기존 대비 두 배 늘어 났으며, 여러 데이터 그룹을 동시에 처리하는 기법인 Multi-Batch로 데이터를 처리해 업계 관계자들의 많은 관심을 받았다.

* Llama3(Large Language Model Meta AI): 메타의 최신 LLM 모델로 700억 개의 매개변수를 가짐

또한, SK하이닉스는 이번 행사에서 데이터센터뿐만 아니라 엣지 디바이스(온디바이스 AI)에도 적용 가능한 AiM 솔루션을 공개했다. 회사는 “기존 엣지 디바이스의 메모리 인터페이스를 변경하지 않고도 성능을 높일 수 있는 것이 이번 솔루션의 강점”이라며 “모바일 D램을 자사의 AiM으로 대체할 경우, 기존 대비 최대 3배 이상의 LLM 속도 향상과 에너지 효율이 기대된다”고 밝혔다.

▲ 임의철 부사장이 데이터센터와 엣지 디바이스에서의 AiM 제품 개발 계획을 발표하고 있다.

한편, SK하이닉스는 세션 발표를 통해 AiM 솔루션의 미래 비전도 제시했다. 임의철 부사장(Solution AT 담당)은 ‘LLM 서비스의 성능 향상(Accelerating LLM Services from Datacenter to Edge Device)’을 주제로 데이터센터부터 엣지 디바이스까지 AiM 기술이 LLM 서비스를 위한 핵심 솔루션임을 강조했다. 특히 모바일 D램을 기반한 온디바이스 AI용 AiM 제품 개발 계획을 공유하며, 청중들의 이목을 끌었다.

SK하이닉스는 앞으로도 다양한 AiM 솔루션을 통해 글로벌 기업들과 협력해 차세대 AI 가속기 생태계를 구축하고, 온디바이스 AI 시장에서도 리더십을 강화해 나간다는 계획이다.

SK하이닉스가 지난 6월 20일, 21일 양일간 대전광역시 카이스트(KAIST)에서 AI 및 반도체 관련 학과 학부생과 대학원생을 대상으로 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육을 진행했다.

회사는 카이스트를 비롯해 국내 주요 대학교의 학부 및 대학원 수강생들을 대상으로 거대언어모델(LLM)*과 SK하이닉스의 PIM* 반도체인 AiM*에 대한 이론 및 실습 교육을 제공했다. 특히 이번 교육은 PIM 제품을 활용한 실습이 포함돼 강의 전부터 많은 관심을 끌었다.

* 거대언어모델(LLM, Large Language Model): 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당
* PIM(Processing-In-Memory):메모리 반도체에 연산 기능을 더해 AI와 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨

▲ 교육 자료로 활용된 AiMX의 실물 모습

이번 강의 주제인 PIM은 메모리 반도체에서 일부 연산을 수행해 데이터 이동을 최소화함으로써 데이터 처리 속도가 향상될 뿐만 아니라, 전성비(전력 대비 성능비)도 높아지는 특징이 있다. 따라서 AI와 빅데이터 등 방대한 양의 데이터 연산이 필요한 분야에서 많은 관심을 받으며, 기존 컴퓨팅 생태계를 혁신할 차세대 반도체로 각광받고 있다.

이에 SK하이닉스와 카이스트 PIM반도체설계연구센터는 하드웨어(Hardware)와 소프트웨어(Software)를 아우르는 PIM 전문가 양성을 위해 이번 교육을 기획했으며, 이를 계기로 앞으로도 더욱 많은 교육 프로그램을 추진해 미래 반도체 인재 양성에 힘쓰겠다고 밝혔다.

뜨거운 열의가 가득했던 교육 현장

이날 현장에는 SK하이닉스 PIM HW팀 김정빈, 신경철 TL이 강사로 나섰다. 강의를 듣는 수강생들의 열기는 때아닌 6월의 폭염만큼이나 뜨거웠다.

교육 첫날에는 ▲인공지능(AI)과 거대언어모델이란?(What is AI and LLM?) ▲챗봇 서비스는 우리에게 어떻게 제공될까?(How to serve Chatbot in the real world?) ▲SK하이닉스의 GDDR6-AiM과 AiMX(SK hynix’s GDDR6-AiM and AiMX) 등을 주제로 이론 강의가 진행됐다.

▲ 이론 강의를 진행한 김정빈 TL(첫 번째 사진)과 수강생들의 모습

AI와 LLM에 대한 기본 지식부터 LLM을 활용한 챗봇 서비스 구동 원리, 그리고 AI의 성능 향상을 위해 SK하이닉스의 AiM이 어떻게 작용하는지 다뤄졌다. 수강생들은 강의 내용을 부지런히 정리하며 수업에 집중했다. 특히, 질의응답 시간에는 질문이 그치질 않고 이어졌는데, 작은 궁금증까지 모두 해결하고자 하는 수강생들의 의지를 엿볼 수 있었다.

김정빈 TL은 “지루할 수 있는 이론 수업에서 조금이라도 더 자세히 듣고자 하는 수강생들의 표정과 끊이지 않는 질문이 인상적이었다”고 말했다.

▲ 실습 강의를 진행한 신경철 TL(첫 번째 사진 오른쪽)과 수강생들의 모습

다음날에는 실습이 진행됐다. 수강생들은 SK하이닉스의 GDDR6-AiM이 여러 개 집적된 AiMX 가속기 카드를 살펴보고, PCIe* 폼팩터에 맞춰 AiMX*가 장착된 서버 환경 속에서 드라이버를 설치하는 등 하드웨어를 직접 구동해 봤다.

* PCIe(Peripheral Component Interconnect express): 디지털 기기의 메인보드에서 사용하는 직렬 구조의 고속 입출력 인터페이스
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 거대 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

이후, SK하이닉스에서 개발한 AiMX SDK(Software Development Kit)를 활용해 소프트웨어 실습을 이어갔다. 해당 실습을 통해 수강생들은 AiM을 활용해 AI 응용 서비스의 주된 워크로드(Workload)인 GEMV 연산*을 가속하는 과정을 체험해 볼 수 있었다. 이를 통해 AiMX 유무에 따른 LLM 추론 과정의 속도 차이를 직접 확인하며 하드웨어와 소프트웨어 측면에서 실습이 진행됐다.

* GEMV 연산: 행렬과 벡터를 곱하는 함수로 LLM을 이루는 중요한 기본 연산

▲ 서버용 PCIe 폼팩터에 AiMX를 장착하고 있는 모습(첫 번째 사진)과 폼팩터에 장착된 AiMX를 살펴보고 있는 엄소연 수강생(두 번째 사진)

카이스트 전기/전자공학부 박사과정의 엄소연 수강생은 “논문으로는 하드웨어 구성이나 성능 이외의 정보를 얻는 데 한계가 있는데, 이번 실습을 통해 직접 AMiX 제품을 보며, 하드웨어를 작동하기 위해 무엇이 필요하고, 어떻게 사용해야 하는지 경험해 볼 수 있어서 유익한 시간이었다”며 소감을 전했다.

PIM 전문가 양성의 초석이 될 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육은 큰 호응을 얻으며 성공적으로 마무리됐다. 수강생들은 쉬는 시간까지 강사들을 찾아와 개인적인 궁금증을 해결하고자 했고, 하루 종일 진행된 실습 강의가 짧게만 느껴질 정도였다며 아쉬움을 털어놓기도 했다.

▲ 본격적인 교육 전 당부의 말을 전하고 있는 이윤종 PIM반도체설계연구센터 부센터장

카이스트 PIM반도체설계연구센터 이윤종 부센터장은 “학교에서 배우는 것과 산업 현장에서 필요한 것은 차이가 있지만, 글로벌 AI 산업을 이끌어가는 SK하이닉스의 강의를 통해 이러한 간극을 줄일 수 있었던 것 같다”며 “수강생들의 열의가 뜨거웠던 만큼 앞으로도 SK하이닉스와 더 많은 교류를 통해 이와 같은 교육이 이뤄지길 기대한다”고 전했다.

강의를 마친 김정빈 TL은 “PIM 개발을 위해서는 AiM 반도체 단계부터 시작해 하드웨어, 소프트웨어까지 전반에 걸쳐 높은 이해도를 갖춘 전문가가 필요하다”며 “이번 강의를 들은 수강생들 중, AiM 개발을 함께할 수 있는 PIM 전문가가 탄생하기를 진심으로 바란다”고 말했다.

끝으로 신경철 TL은 “PIM이라는 주제가 생소하고 어려운 개념일 수 있는데, 관심을 갖고 열정적으로 수강해 준 수강생분들께 감사의 마음을 전한다”며 “향후 개발될 온디바이스 AI*용 AiM 제품들에 대해서도 강의할 기회가 있기를 바란다”고 전했다

* 온디바이스(On-Device) AI: 물리적으로 떨어진 서버의 연산을 거치지 않고 기기 자체에서 AI 기능을 구현하는 기술. 스마트 기기가 자체적으로 정보를 수집, 연산하기 때문에 AI 기능의 반응 속도가 빨라지고 사용자 맞춤형 AI 서비스 기능도 강화되는 장점이 있음

반도체 산업도 생성형 AI 열풍에 발맞춰 숨 가쁜 한 해를 보냈다. 특히 AI 연산에서 메모리의 역할이 더더욱 중요해지며, 메모리 기업들은 AI용 반도체를 개발하는 데 많은 시간과 노력을 쏟았다.

그 가운데서도 SK하이닉스는 올해 AI 메모리 시장에서 가장 큰 두각을 보였다. ▲글로벌 1위 HBM(High Bandwidth Memory)을 필두로 ▲PIM(Processing-In-Memory) 반도체 GDDR6-AiM 기반의 가속기 카드 ‘AiMX’ 시제품을 선보였고 ▲차세대 메모리 솔루션 ‘CXL(Compute Express Link)’ 상용화에도 힘썼다.

뉴스룸은 SK하이닉스 AI 메모리 3종의 한 해를 정리했다. 주요 성과부터 로드맵까지 한눈에 살펴보자.

* 생성형 인공지능(Generative AI): 딥 러닝 모델을 사용하여 대량의 데이터를 학습, 이용자의 요구에 따라 능동적으로 결과를 생성하는 인공지능 기술

SK하이닉스, 적재적소 활용 가능한 AI 메모리 라인업 구축

성과에 앞서 SK하이닉스의 AI 메모리 3종을 자세히 알아보자. 특징과 활용도가 어떻게 다르기에 각각 개발에 나서는 것일까?

▲ SK하이닉스가 2023년 8월 공개한 HBM3E 제품

먼저, HBM은 여러 개의 D램을 수직으로 연결해 데이터 처리 속도를 높인 초고성능 D램을 말한다. 고속 병렬 연산에 적합하도록 메모리 대역폭*을 극대화한 것이 특징이다.

HBM은 모든 AI 분야에 활용할 수 있지만, 특히 학습에 효과적이다. AI 학습 과정에서 GPU로 전달하는 데이터가 가장 크고 많기 때문이다. 소프트웨어(SW) 개발이 함께 필요한 PIM 대비 비교적 빠르고 효과적으로 연산 성능을 높일 수 있어 현재 가장 각광받는 AI 메모리로 꼽힌다.

* 대역폭(Bandwidth): 데이터가 지나는 통로를 의미하며, 대역폭이 넓을수록 한 번에 입출력하는 데이터의 양이 많다.

▲ GDDR6-AiM을 여러 개 모아서 개발한 PIM 가속기 카드 AiMX

PIM은 메모리 반도체에 연산 기능을 더한 지능형 메모리 반도체다. 이는 GPU와 CPU가 메모리에서 데이터를 불러와 연산하는 폰노이만 구조와 달리 메모리 내부에서 연산하는 것이 특징이다.

PIM은 메모리 반도체 내부 저장 공간(뱅크, Bank)마다 전용 내부 데이터 경로의 대역폭을 활용해 연산 속도를 높이며, 연산을 마친 소량의 데이터만 xPU로 전달하기에 병목 현상*과 데이터 이동 거리를 획기적으로 줄여 전력 소모량을 절감하는 효과도 있다.

특히, PIM은 AI 연산 중 추론 영역에 특화된 제품이다. 학습은 시간당 얼마나 많은 데이터를 처리하는지가 중요하고, 추론은 데이터를 지연시간(Latency) 없이 얼마나 빠르게 처리하는지가 사용자의 요구 사항을 충족하기 위한 핵심 요소이기 때문에, 메모리가 연산한 값을 신속히 전달할 수 있는 PIM은 추론에 더 효과적인 것이다.

* 병목 현상: 다음에 처리해야 할 데이터가 메모리에서 도달하지 못해 컴퓨팅 장치가 대기하는 상황이 발생하는 현상

▲ SK하이닉스가 2022년 공개한 DDR5 96GB CXL 2.0 메모리 샘플

CXL은 PCIe* 기반으로 CPU, GPU, 가속기 등 여러 장치와 메모리를 연결하는 통합 인터페이스 기술이다. AI 연산을 위해선 메모리 용량과 대역폭 확장이 필수인데, 기존 시스템에서는 한계가 있다. CPU마다 확장할 수 있는 D램 개수가 제한적이고, 확장한다 해도 대규모 데이터를 처리하는 데는 역부족이기 때문이다.

PCIe 기반의 CXL을 사용하면 모듈을 추가하는 방식으로 메모리 용량과 대역폭을 크게 늘릴 수 있다. 여러 장치에 CXL 메모리를 효율적으로 나눠 쓸 수 있고, 가속기를 붙여 연산에 활용할 수도 있다.

즉, 기존 시스템 변형 없이 성능을 높이고, 전체 메모리를 효율적으로 관리하는 수단을 제공하며, 공유 및 연산 기능으로 AI 데이터를 처리하는 단계별(학습·추론) 환경을 구축할 수 있게끔 도와주는 솔루션이 CXL인 것이다. 이를 위해 CXL 메모리 컨트롤러*가 적용되는데, 이는 여러 장치가 CXL 메모리를 공유할 수 있도록 해준다.

* PCIe(Peripheral Component Interconnect Express): 디지털 기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스
* CXL 메모리 컨트롤러: CPU 등으로부터 명령어를 받은 뒤 D램을 제어해 데이터를 읽고 쓰는 기능을 하는 시스템 반도체

이처럼 HBM, PIM, CXL은 AI 메모리로 불리지만, 저마다 특징과 쓰임이 모두 다르다. 이에 SK하이닉스는 고객이 필요에 따라 자사 환경에 맞는 메모리를 효과적으로 활용할 수 있도록 3종의 솔루션을 모두 개발하며 AI 메모리 라인업을 탄탄히 갖춰 나가는 중이다.

글로벌 1위 수성… HBM 경쟁 우위 굳건히 지켰다

SK하이닉스는 세계 최초로 TSV 기반 HBM 제품을 내놓은 이래 MR-MUF*, 어드밴스드 MR-MUF* 등의 선행 기술을 접목하며 지속적인 성능 향상에 나서고 있다. 2013년 회사는 TSV* 기술로 D램 칩 사이사이에 수천 개의 데이터 이동 통로를 만들어 고용량, 고대역폭 HBM을 구현했다. 이후 MR-MUF 기술로 D램 칩을 쌓고 포장해 생산성을 높였다. 최근에는 어드밴스드 MR-MUF까지 개발, 더 작은 크기로 고용량 패키지를 만들고 열방출 성능도 개선했다[관련기사].

* MR-MUF(Mass Reflow-Molded UnderFill): 매스 리플로우(MR)는 모든 범프를 한 번에 녹여 수직 적층된 칩을 연결하는 기술, 몰디드 언더필(MUF)은 적층된 칩 사이에 보호재를 넣은 후 전체를 한 번에 굳히는 기술로, 칩을 하나씩 쌓을 때마다 필름형 소재를 깔아주는 방식 대비 공정이 효율적이고 열 방출도 효과적이다.
* 어드밴스드 MR-MUF(Advanced MR-MUF): ‘웨이퍼 휨 방지 기술’로 더 얇은 칩을 더 많이 적층하고 ‘신규 보호재’로 언더필을 진행하여 열 방출 성능을 높이는 기술
* TSV(Through Silicon Via): D램 칩에 수천 개의 미세한 구멍을 뚫어 상·하층 칩의 구멍을 수직 관통하는 전극으로 연결하는 기술

이 같은 기술력을 바탕으로 올해 SK하이닉스는 24GB(기가바이트) 12단 HBM3(이하 12단 HBM3)를 개발했다[관련기사]. 지난 8월에는 세계 최고 성능의 HBM3E* 개발을 마쳤다[관련기사]. 이 제품의 핀당 처리 속도는 초당 9.2Gb 이상이며, 데이터 처리량은 초당 1.15TB(테라바이트)에 달한다. 용량은 12단 HBM3와 같지만, 층수는 8단으로 더 적다. 12단 개발 시 더 많은 용량을 확보할 수 있는 셈이다. 특히 이 제품은 고객 인증 과정에서 고사양 GPU의 성능을 최상위로 끌어올리는 것으로 밝혀져, 더 많은 기대를 받고 있다.

* 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)를 거쳐 5세대(HBM3E)까지 개발됨. HBM3E는 HBM3의 확장(Extended) 버전

HBM3E 개발을 성공적으로 마친 SK하이닉스는 국내외 행사에 참여하며 기술 리더십을 공고히 했다. 지난 10월 OCP 글로벌 서밋 2023에서 HBM3E를 세계 최초로 공개한 회사는 하반기 주요 행사에 참석해 HBM3E의 경쟁 우위를 널리 알렸다[관련기사].

경쟁 우위는 내년에도 지속된다. GSM 김왕수 팀장은 “내년에는 HBM3E의 양산·판매가 계획되어 있어, 자사의 시장 지배력이 다시 한번 극대화할 것”이라며 “후속 제품인 HBM4 개발도 본격화할 예정이기에 내년은 SK하이닉스의 HBM이 새로운 국면(Phase)을 맞는 한 해가 될 것”이라고 언급했다.

또 김 팀장은 “AI 산업이 빠르게 성장하는 만큼 HBM 제품도 현재 AI 서버에 국한된 것을 뛰어넘어 AI와 관련된 모든 영역으로 확장할 것”이라며 “이 시점에 자사의 HBM 제품은 AI 산업을 이끄는 매우 중요한 역할을 맡을 것”이라고 전망을 밝혔다.

저전력으로 10배 빠른 응답 속도… AiMX로 ‘눈도장’

SK하이닉스의 PIM은 GDDR6-AiM*을 시작으로 상용화에 한 발짝 다가서고 있다. GDDR6-AiM은 xPU와 함께 사용하는 지능형 메모리 반도체로, 그래픽 D램인 GDDR6에 가속기(Accelerator)*가 덧붙은 제품이다[관련기사].

* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨
* 가속기(Accelerator): 각종 정보 처리와 연산에 특화 설계한 칩(Chip)을 사용해 만든 특수 목적의 하드웨어(Hardware) 장치를 통칭

SK하이닉스는 지난 9월, 이 메모리를 기반으로 한 AiMX* 시제품을 공개하며 업계 관심을 한 몸에 받았다. AiMX는 GDDR6-AiM 여러 개를 연결해 성능을 높인 가속기 카드로, GPU 대신 AI 연산에 활용할 수 있다. LLM 추론 기반 서비스에 특화된 이 제품은 GPU 대비 빠른 응답 속도와 더 적은 전력으로 데이터를 처리한다.

* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

같은 달, 회사는 AI 하드웨어 & 엣지 AI 서밋 2023에서 AiMX 시제품의 실성능을 공개하기도 했다. AiMX 시제품을 탑재한 서버에서 메타(Meta)의 생성형 AI인 ‘OPT(Open Pre-trained Transformer) 13B(Billion)’ 모델을 시연한 것이다. 130억 개 매개변수를 가진 AI 모델로 추론을 진행했는데, AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르지만, 전력 소모는 1/5 수준이다[관련기사].

올 하반기 SK하이닉스는 각종 행사에 참여해 AiMX가 바꿔나갈 미래에 관해서도 중요하게 언급했다. 특히 AiMX가 빠른 응답 속도로 AI 서비스의 답변 속도를 높이고, 낮은 소비 전력으로 운영 비용을 크게 줄여준다고 강조했다.

본격적인 상용화를 위해 내년에는 성능과 활용 범위를 더욱 높일 계획이다. Solution개발 권용기 팀장은 “SK하이닉스의 AiM은 AI 추론 분야에서의 핵심인 가격 경쟁력을 갖춘 유일한 AI 솔루션”이라며 “데이터센터부터 온디바이스(On-Device) AI*를 탑재한 모바일까지 AI 추론 영역에서 폭넓게 활용될 것”이라고 이야기했다.

* 온디바이스(On-Device) AI: 인터넷 접속 없이 스마트폰과 같은 단말기 내에서 바로 AI 연산과 추론을 처리하여 효율을 높이는 개념

또, “수백 GB급 LLM에 대응하기 위해 스펙 향상을 진행한다”며 향후 로드맵을 언급했다. SK하이닉스는 고용량 AiMX 시제품을 내놓고, OPT 13B보다 더욱 큰 규모의 LLM을 시연한다는 계획이다.

CXL 상용화 초읽기… 다양한 AI 서비스에 최적화된 환경 제공한다

현재 SK하이닉스는 CXL 기반 3가지 솔루션으로 AI 메모리 시장을 공략하고 있다. ▲CXL 2.0 E3.S 메모리 확장 솔루션(Memory Expansion Solution, 이하 확장 솔루션) ▲CXL 풀드 메모리 솔루션(Pooled Memory Solution) ▲CMS(Computational Memory Solution) 2.0 등이다[관련기사].

확장 솔루션은 기존 서버 시스템의 메모리 용량을 확장하고, 대역폭을 높여주는 솔루션이다. SSD와 같은 EDSFF E3.S 폼팩터를 사용하고 PCIe 5.0을 지원해, 손쉽게 부착해 용량과 성능을 높일 수 있다[관련기사].

올해 SK하이닉스는 제품화를 위해 많은 고객과 검증 협업을 진행했다. 5월에는 실물 서버에 적용한 DDR5 96GB CXL 2.0 메모리를 공개, 상용화에 한 발짝 더 다가섰다. 적극적인 협업을 통해 고객사의 솔루션 채용을 이끌어낸 것은 올해 CXL 분야에서 거둔 가장 큰 성과다.

풀드 메모리 솔루션은 여러 개의 CXL 메모리를 묶어 풀(Pool)을 구성하고, 여러 호스트(CPU, GPU 등)가 용량을 나눠 쓰도록 해주는 솔루션이다. 유휴 메모리가 없도록 사용을 최적화하고, 전력 소모를 줄여 비용을 절감하는 효과가 있다. SK하이닉스는 이를 구현한 ‘나이아가라(Niagara): CXL 분리형 메모리 솔루션’ 시제품을 공개하며[관련기사], 메모리 확장에 이은 또 다른 경쟁력을 보여줬다.

CMS 2.0은 CXL 메모리에 연산 기능을 통합한 솔루션이다. 메모리 확장성이 높은 CXL의 장점에 머신러닝 및 데이터 필터링 연산 기능이 더해진 것이 특징이다. 지난해 10월 CMS 개발에 성공한 SK하이닉스[관련기사]는 올해 기술을 고도화하는 한편, 성능 시연에 나서며 경쟁력을 알렸다.

CXL 3종의 성능은 델 테크놀로지스 월드 2023[관련기사], 슈퍼컴퓨팅 2023[관련기사] 등에서 확인할 수 있었다. 이를 통해 회사는 메모리 확장 솔루션이 기존 시스템 성능을 얼마나 향상하고, ‘나이아가라’ 시제품이 인공지능과 빅데이터 처리 분산 시스템에서 메모리 성능을 어떻게 높이며, CMS 2.0이 데이터 처리 성능과 에너지 효율 향상에 얼마나 기여하는지 보여줬다.

내년에는 상용화에 주력한다. SK하이닉스는 메모리 확장 솔루션 제품화 및 양산에 나선다. GSM 최원하 TL은 “96GB와 128GB 제품을 중심으로 24년 상반기에는 고객 인증을 마치고, 하반기에 상용화할 예정”이라며 “CXL 2.0 메모리 확장 솔루션을 적용한 고객은 DDR5만 탑재한 기존 시스템 대비 최대 50% 대역폭 향상을 기대할 수 있고, 용량 확장도 최대 50~100%까지 가능하다”고 언급했다.

이제 하나의 서버에 고대역폭·고용량 메모리를 탑재하는 방식으로는 AI 시대에 대응할 수 없다. 미래의 AI 시스템은 HBM으로도 충족할 수 없는 대용량 메모리를 요구할 수도 있다. 그렇기에 확장 솔루션으로 메모리 용량을 늘리고, 풀드 메모리 솔루션으로 공유하며, AI 연산까지 가능한 CXL은 주목받을 수밖에 없다.

이에 최 TL은 “SK하이닉스는 공유, 연산 등 다양한 응용 사례를 창출하는 동시에 HBM이 주도하는 AI 시장에 더불어 더 많은 용량으로 유연하게 확장할 수 있는 CXL 제품을 개발할 것”이라고 계획을 밝혔다.

HBM으로 시장을 선도하는 가운데 AiMX, CXL 솔루션으로 AI 메모리 라인업을 탄탄하게 마련해 놓은 SK하이닉스. 내년 회사는 후속 제품들의 상용화를 본격화하며, Global No.1 AI Company의 지위를 더욱 굳건히 할 계획이다.

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

AI 서밋은 영국 마케팅 기업 키사코 리서치(Kisaco Research)가 주최하는 연례 행사로, 글로벌 IT 기업과 유명 스타트업이 참가해 인공지능과 머신러닝 개발 성과를 공유하는 자리다. SK하이닉스가 이 서밋에 참가한 것은 올해로 세 번째다.

회사는 이번 서밋에서 ‘인공지능 성능을 가속하는 SK하이닉스의 PIM* 반도체 AiM*(Boost Your AI: Discover the Power of PIM with SK hynix’s AiM)’이라는 슬로건을 걸고, GDDR6-AiM과 이 제품을 여러 개 연결해 성능을 한층 개선한 가속기 카드 AiMX 시제품을 처음 선보였다[관련기사].

▲ GDDR6-AiM(Accelerator-in-Memory)을 여러 개 연결해 성능을 한층 개선한 가속기 카드 ‘AiMX’ 시제품

생성형 AI*는 데이터 학습량이 많을수록 우수한 결과를 내기 때문에, 대량의 데이터를 다루면서 저전력, 고속으로 작동하는 메모리를 필요로 한다.

▲ AiMX 시스템을 통해 거대 인공지능 언어 모델을 시연하는 모습

SK하이닉스는 이번 행사에서 메타(Meta)의 생성형 AI인 ‘OPT(Open Pre-trained Transformer) 13B’ 모델을 AiMX 시제품을 탑재한 서버 시스템에서 시연했다. GDDR6-AiM 칩을 탑재한 AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르지만, 전력 소모는 1/5 수준이다. 회사는 이번 시연을 통해 최신 가속기 대비 높은 성능*을 낼 수 있다는 점을 보여주며 인공지능을 서비스하는 글로벌 기업들의 주목을 받았다.

* AiMX 카드 내부 AiM Control Hub를 ASIC(Application-Specific Integrated Circuit, 특정 용도로 맞춤 제작한 회로)으로 개발 가정했을 때의 성능

▲ AiMX의 성능에 대해 설명하는 SK하이닉스 임의철 부사장(메모리솔루션담당)

▲ AiMX의 성능에 대해 설명하는 SK하이닉스 임의철 부사장(메모리솔루션담당)

이와 함께 회사는 AiMX의 장점을 구체적으로 설명하는 세션 발표도 현장에서 진행했다. SK하이닉스 임의철 부사장(메모리솔루션담당)은 ‘생성형 AI 서비스를 위한 효율적 AiM 가속 솔루션(Cost-Effective Generative AI Inference Acceleration using AiM)’이라는 주제로 GPU와 AiMX의 성능을 비교하며 차세대 지능형 메모리 반도체의 미래를 설명했다.

임 부사장은 “SK하이닉스의 AiMX는 기존 GPU를 쓸 때보다 고성능, 저전력에 비용도 절감할 수 있는 솔루션”이라며, “앞으로도 당사는 인공지능 시대를 이끌어갈 메모리 기술 개발을 이어나갈 것”이라고 밝혔다.