AI반도체 – SK hynix Newsroom

[All Around AI 6편] 생성형 AI의 개념과 모델

고려대학교 인공지능학과 김동현 교수 — Thu, 17 Oct 2024 15:00:00 +0000

우리 삶을 혁신적으로 바꾸고 있는 인공지능(Artificial Intelligence, AI). AI를 알고, 이해하고 또 활용하고 싶은 이들을 위해 에서 AI 기술에 대한 모든 것을 알려드립니다. 앞선 회차에서는 스마트폰과 온디바이스(On-device) AI의 미래에 대해 알아보았습니다. 이번 회차에서는 AI 기술 혁신의 중심에 있는 생성형 AI의 개념과 모델에 관해 살펴보겠습니다.

<시리즈 순서>
① AI의 시작과 발전 과정, 미래 전망
② AI 알고리즘의 기본 개념과 작동 원리
③ 머신러닝의 이해
④ 딥러닝의 이해
⑤ 스마트폰과 온디바이스(on-device) AI의 미래
⑥ 생성형 AI의 개념과 모델

생성형 AI의 개념

생성형 AI는 기존 데이터의 분포를 학습하여 새로운 데이터를 생성하는 기술이다. 여기서 ‘새로운 데이터’란 학습한 데이터와 유사한 속성을 가지면서도 독창적인 결과물을 말한다. 예를 들면, 생성형 AI는 ‘한 마디의 서정적 멜로디’를 학습 데이터 삼아 ‘서정적인 곡’을 만들 수 있고, 배우의 음성을 학습하여 다른 언어로 재현할 수 있다. 이처럼 생성형 AI는 이미지, 음성, 텍스트 등 다양한 분야에서 인간의 창의성을 반영한 콘텐츠를 생성할 수 있다는 점에서 큰 잠재력을 지닌다.

생성형 모델의 학습 방식

▲ 판별 모델과 생성 모델의 학습 방식 차이. 왼쪽은 판별 모델이 조건부 확률을 통해 분류하는 방식을, 오른쪽은 생성 모델이 데이터 자체의 확률 분포를 학습하는 방식을 보여준다.

생성형 AI 모델(Generative Model)의 특징은 판별 AI 모델(Discriminative Model)과의 차이를 통해 더 명확히 이해할 수 있다. 기존 AI 모델(판별 AI 모델)은 학습 데이터를 기반으로 새로운 데이터에 대한 결과를 예측한다. 즉 조건부 분포 ?(?∣?)* 를 학습해 입력한 X가 클래스 Y에 속할 가능성을 계산하는 것이다.

* ?(?∣?): 주어진 X가 있을 때 Y가 발생할 확률

예를 들어, 고양이와 강아지 두 클래스를 분류하는 모델이 있다고 가정해 보자. 이 모델은 학습된 데이터와 라벨(Label) 간의 경계를 학습하여, 입력된 이미지 X가 고양이인지 강아지인지를 확률적으로 출력한다. 그러나 여기서 문제가 발생할 수 있다. 만약 새로운 이미지가 학습 데이터에 없던 원숭이 이미지라면, 이 모델은 여전히 그 이미지를 고양이나 강아지로 분류하려고 할 것이다. 즉 판별 AI 모델은 학습 데이터와 다른 새로운 유형의 데이터에 대해 적절한 출력물을 내지 못할 가능성을 보여준다.

반면, 생성형 AI 모델은 학습 데이터를 바탕으로 데이터 자체의 확률 분포 ?(?)*를 학습하는 데 중점을 둔다. 가령 고양이 이미지를 학습하는 생성형 AI 모델은 고양이 이미지가 가질 수 있는 다양한 특징들(예: 고양이의 생김새, 색상, 자세, 배경 등)에 대한 확률 분포를 학습하는 식이다. 특히 라벨 사용이 필수인 판별 AI 모델과 달리, 생성형 AI 모델은 라벨 없이 데이터 학습이 가능하다. 예를 들어 이미지 데이터를 학습할 때는 이미지 자체만을 사용하고, 언어 모델의 경우 텍스트만으로 학습할 수 있다. 그래서 생성형 AI 모델은 대규모 데이터를 활용한 학습이 가능하다.

* ?(?): 조건 없이 특정 데이터 X가 발생할 확률

생성형 모델은 모든 데이터가 경쟁하며 그 확률을 예측한다. 이 과정에서 학습 데이터와 크게 다르거나 새로운 유형의 데이터를 낮은 확률로 예측하게 되며, 이를 통해 이상치(Outlier) 등을 예측하는 데 사용할 수 있다.

생성형 AI의 원리

생성형 AI는 새로운 데이터를 생성하기 위해, 기존 데이터를 학습하여 데이터의 분포를 파악하는 ‘학습 단계’와 이를 기반으로 새로운 데이터를 생성하는 ‘샘플링 및 생성 단계’를 거친다. 아래에서는 몇 가지 예시를 통해 대표적인 방법을 살펴보고자 한다.

(1) 잠재 변수 모델 (Latent Variable Models)

생성형 AI 모델은 데이터를 생성할 때, ‘잠재 변수’라는 개념을 사용한다. 잠재 변수는 데이터로부터 직접적으로 관찰되지 않지만, 생성형 모델을 통해 학습할 수 있으며, 이 정보를 활용하여 새로운 데이터를 생성할 수 있다. 예를 들어 사진 속 사람의 얼굴을 생성할 때, 그 사람의 눈, 코, 입의 위치와 얼굴 모양을 결정하는 것이 바로 잠재 변수다. 즉, 잠재 변수는 복잡한 데이터 분포를 단순화하고 데이터의 구조를 이해하여 맥락과 스타일을 갖춘 새로운 데이터를 생성하는 데 중요한 역할을 한다. 다음은 잠재 변수를 활용하여 데이터를 생성하는 대표적인 모델이다.

▲ 잠재 변수를 활용하는 대표적인 모델들. x는 입력, z는 잠재 변수를 뜻한다(출처: )

1) Generative Adversarial Networks (GANs)

GANs는 생성기(Generator)와 판별기(Discriminator)가 경쟁적으로 학습하여 기존의 데이터와 유사한 새로운 데이터를 생성하는 모델이다. 먼저 생성기는 무작위로 선택된 잠재 변수(z)를 사용해 가짜 데이터를 생성하고, 판별기는 생성기가 만든 가짜 데이터와 실제 데이터를 구별하도록 훈련한다. 이 두 네트워크는 상호 경쟁하며 학습을 진행하고, 그 결과 생성기는 점점 더 실제 데이터와 유사한 데이터를 생성하게 된다.

2) Variational Autoencoders (VAEs)

VAEs는 인코더(Encoder)와 디코더(Decoder)로 구성된 모델이다. 인코더는 고차원의 입력 데이터를 저차원의 잠재 변수(z)로 변환하고, 디코더는 이 잠재 변수를 다시 원래의 고차원 데이터로 복원하여 새로운 데이터를 생성한다. 인코더는 잠재 변수의 평균과 표준 편차를 예측하며, 이를 바탕으로 잠재 변수를 정규 분포에서 샘플링하여 출력한다. 이 과정을 통해 VAEs는 데이터의 저차원 표현을 학습하게 된다.

3) 확산 모델 (Diffusion Model)

확산 모델은 데이터에 노이즈를 추가하고 다시 복원하는 방식으로 새로운 데이터를 생성한다. 이 과정은 순방향 확산(Forward Diffusion)과 역방향 확산(Reverse Diffusion)을 통해 이루어진다. 순방향 확산에서는 데이터를 점진적으로 노이즈화하여, 원래의 입력 데이터(x0)를 완전히 노이즈화된 상태(xT)로 변환한다. 이후 역방향 확산에서 이 노이즈화된 상태를 단계적으로 원래의 입력 데이터와 유사한 새로운 데이터로 복원한다. 이 과정은 여러 번 반복되며 특히 이미지 생성에 유리하다. 최근에는 Latent Diffusion Model(LDM)span style=”color: red;”>*처럼 확산 모델과 VAE를 결합해 고품질의 이미지를 생성하기도 한다.

* Latent Diffusion Model(LDM): 인코더를 통해 실제 픽셀 공간이 아닌 잠재 공간에서 확산 작업을 수행하여, 빠르게 학습 및 이미지를 생성하는 모델

▲ LDM을 기반으로 개발한 Stable Diffusion (출처: stability.ai )

(2) 자기회귀 모델(Autoregressive Model)

자기회귀 모델은 과거에 입력한 데이터를 기반으로 미래의 값을 예측하는 모델이다. 이 모델은 시간 이나 순서에 따라 나열된 시퀀스 데이터 간의 확률적 상관관계를 분석하여 예측을 수행한다. 현재 값이 과거 값에 의존한다고 가정하기 때문에, 날씨나 주가 예측 뿐만 아니라 텍스트 데이터 예측에도 활용될 수 있다. 예를 들어, 여러 영어 문장을 학습한 자기회귀 모델이 ‘I’ 다음에 ‘am’이 자주 오는 패턴을 발견하면, ‘I am’이라는 새로운 시퀀스를 생성할 수 있다.

자기회귀 모델은 고품질의 생성물을 출력하지만, 이전 시퀀스에 의존해 한 단계씩 순차적으로 생성하기 때문에 병렬로 출력물을 생성할 수 없다는 단점이 있다. 그리고 이로 인해 생성 속도가 느릴 수 있다.

▲ Masked Self-Attention을 이용한 자기회귀 모델 예시. 현재까지 나온 단어 ‘I am a’를 기반으로 다음에 올 단어 ‘student’를 예측한다.

1) 언어 생성을 위한 자기회귀 모델

초기 언어 생성 모델(Language Recurrent Model)은 순환 신경망(Recurrent Neural Network, RNN)을 기반으로 했다. RNN은 텍스트나 음성 같은 시퀀스 데이터를 처리하는 데 적합하며, 이전 단계의 정보를 고려해 현재 단계의 출력을 생성함으로써 데이터 간의 관계를 파악한다. 그러나 RNN 모델은 시퀀스가 길어질수록 성능이 저하되는 장기 의존성(Long-Term Dependency) 문제*를 겪는다. 이를 해결하기 위해 최근에는 트랜스포머(Transformer)*와 같은 Self-Attention* 기법이 사용되고 있다.

* 장기 의존성(Long-Term Dependency) 문제: 시퀀스가 길어질수록 과거의 정보를 점점 잊어버리는 현상. 이로 인해 모델은 긴 시퀀스에서 예측 성능이 저하되는 문제를 겪는다.
* 트랜스포머(Transformer): 자연어 처리 분야에서 처음 제안되어 챗GPT(ChatGPT)를 비롯한 거대 언어 모델(Large Language Model, LLM) 등 최신 AI 모델의 근간이 되는 딥러닝 모델이다.
* Self-Attention: 데이터의 각 요소가 다른 요소들과 얼마나 관련이 있는지를 계산하여, 문맥을 더 잘 이해하고 출력을 생성할 수 있다. 예를 들어 ‘The cat sat on the mat’에서 ‘cat’이 ‘sat’과 얼마나 관련 있는지를 계산해, 문장의 의미를 더 잘 이해하도록 돕는 식이다.

특히, ‘Masked Self-Attention’ 기법을 통해 미래의 시퀀스를 보지 않도록 마스킹을 적용하여, 이전 시퀀스와의 관계만을 파악해 중요한 정보에 가중치를 부여한다. 이를 통해 모델은 과거 정보만을 바탕으로 다음 출력을 생성하게 되며, 긴 시퀀스에서도 중요한 정보를 잃지 않고 처리할 수 있어 정확한 예측이 가능하다. 이 방식은 RNN이 긴 시퀀스를 처리할 때 겪는 장기 의존성 문제를 해결하는 데 효과적이다.

2) 이미지 생성을 위한 자기회귀 모델

이미지 생성 모델인 PixelCNN은 이미지를 순차적으로 한 픽셀씩 생성하며, 각 픽셀은 이전에 생성된 픽셀들에 따라 결정된다. PixelCNN은 합성곱 신경망(Convolutional Neural Network)을 사용하며, Masked Convolution 기법을 통해 현재 생성 중인 픽셀이 이후에 생성될 픽셀에 영향을 주지 않도록 한다. 이는 언어 모델에 사용되는 Masked Self-Attention 기법과 비슷한 원리이다. PixelCNN은 픽셀 간의 복잡한 관계를 잘 포착해 고해상도의 이미지를 생성하는 데 뛰어난 성능을 발휘한다.

최근에는 LlamaGen과 같은 모델이 언어 모델에서 이용되는 트랜스포머를 이용해 이미지 생성 모델을 구현했다. 텍스트의 토크나이저(Tokenizer)* 대신 새로운 이미지 토크나이저를 제시하여 디퓨전(Diffusion) 모델*에 사용되는 VAE 등의 토크나이저보다 더 좋은 품질과 효율적으로 이미지를 생성할 수 있다.

* 토크나이저(Tokenizer): 텍스트를 문장, 단어, 혹은 토큰 단위로 나누는 과정 또는 도구로 자연어 처리(NLP)에서 문맥을 이해하기 위해 필수적으로 사용한다.
* 디퓨전(Diffusion) 모델: 데이터를 점진적으로 노이즈화하고 이를 역과정으로 복원하며 학습하는 생성 모델로 이미지 생성, 복원 등에서 높은 성능을 보인다.

생성형 AI의 데이터

생성형 AI에서 사용하는 데이터는 생성 결과물의 품질을 결정하는 핵심 요소다. 생성형 모델은 웹에서 수집한 대용량 데이터를 사용해 성능을 높일 수 있다. 하지만 웹에서 얻은 데이터는 노이즈나 저작권 등의 위험 요소도 있다. 따라서 데이터의 수집, 정제, 준비 과정에서 신중한 접근이 필요하다.

(1) 데이터의 종류

1) 텍스트 데이터

위키피디아, 뉴스 기사, 문학 작품, 블로그 포스트 등 다양한 형식의 텍스트가 포함된다. GPT 같은 언어 모델은 대규모 텍스트 말뭉치(Corpus)를 학습하여 문법, 어휘, 문장 구조 등 언어의 패턴을 이해하고 학습한다.

2) 이미지 데이터

웹에서 수집된 사진, 그림 등 시각적 데이터를 말한다. 이미지 생성 모델은 대규모 이미지 데이터 세트를 학습하여 이미지의 패턴, 스타일, 구성을 학습한다. 이 외에도 유튜브(YouTube) 등의 플랫폼에서 비디오 데이터를 대량으로 수집하여 비디오 생성 모델을 만드는 데에 사용하기도 한다.

3) 멀티모달(Multi Modal) 데이터

이미지-텍스트 멀티모달 모델을 학습하기 위해서는 이미지와 해당 이미지에 대한 텍스트 데이터를 쌍으로 필요로 한다. 이러한 데이터는 웹에서 수집될 수 있지만, 노이즈가 많을 수 있다. 실제로 웹에서 수집된 데이터의 노이즈를 제거하는 것을 목표로 하는 DataComp Challenge가 NeurIPS*에서 개최된 적이 있다. 이 외에도, 비디오-텍스트 멀티모달 데이터는 유튜브 등의 영상에서 얻어진 내레이션 등이 활용되기도 한다.

* NeurIPS: 인공지능(AI), 기계 학습(ML), 신경 과학 분야의 최신 연구를 다루는 세계적인 학술 대회. 학회에서는 연구 논문 발표 외에도 다양한 워크숍과 챌린지 대회가 열리는데, DataComp Challenge와 같은 대회도 개최되어 실질적인 문제 해결을 위한 연구와 실험이 이루어진다.

(2) 데이터 수집과 정제

생성형 AI 모델의 성능은 데이터 세트의 크기가 커질수록 향상되기 때문에, 데이터를 수집하고 정제하는 방법이 매우 중요하다. 일반적으로 생성형 모델은 웹 크롤링을 통해 초기 데이터를 수집한 후, 필터링과 정제 과정을 거쳐 학습에 적합한 데이터를 확보한다. 이를 통해 고품질의 데이터 세트가 완성되며, 대표적으로 Pile, LAION 등이 있다.

1) Pile 데이터 세트

대규모 언어 모델 학습을 위해 설계된 고품질의 대규모 텍스트 데이터 세트다. Pile 데이터 세트는 최소 825GB(기가바이트)의 텍스트 데이터로 구성되어 있으며, 중복 제거, 에러를 포함한 텍스트 제거, 텍스트 길이를 이용한 필터링 등 전처리 과정을 거친다.

2) LAION 데이터 세트

LAION 데이터 세트는 이미지-텍스트 쌍으로 구성된 공개 데이터 세트로, 생성형 AI와 컴퓨터 비전 분야에서 널리 사용된다. LAION 데이터 세트는 이미지와 텍스트의 유사도, 이미지 해상도, 불안전한 콘텐츠 등을 필터링하여 정제된 데이터를 제공한다.

3) DataComp-1B 데이터 세트

DataComp-1B 데이터 세트는 1억 개의 데이터로 구성된 세트로, LAION 데이터의 노이즈를 제거하기 위해 개발되었다. ImageNet과 유사한 고품질의 이미지를 포함하며, CLIP 모델이라는 기술을 사용해 이미지-텍스트 쌍의 유사도를 평가하는 방식으로 필터링한다. DataComp는 판별 AI 모델에서 성능이 검증되었으며, 생성형 모델에도 긍정적인 영향을 줄 수 있다.

4) Recap-DataComp1B 데이터 세트

기존의 데이터 정제 방식은 주로 노이즈를 제거하는 것에 중점을 두어 고품질의 데이터를 확보하는 데는 한계가 있었다. 최근 제안된 Recap-DataComp1B는 Llama3 모델을 사용해 이미지를 설명하는 새로운 텍스트를 자동으로 생성한다. 즉, AI가 더 정확하게 이미지를 설명하는 고품질의 텍스트를 만들어 기존 데이터를 대체하는 방식이다.

▲ Recap-DataComp1B 데이터 예시. 웹에서 얻은 텍스트(Original) 보다 고품질의 텍스트를 생성하여 좋은 학습 데이터를 만들어 낼 수 있다.

※ 본 칼럼은 반도체/ICT에 관한 인사이트를 제공하는 외부 전문가 칼럼으로, SK하이닉스의 공식 입장과는 다를 수 있습니다.

[SK하이닉스 41주년] “빛나는 40+1” 40년 기술력 다져 No.1으로 우뚝 서다

SK하이닉스 — Wed, 09 Oct 2024 15:00:00 +0000

지난 1983년 반도체 사업을 시작한 SK하이닉스는 40년간의 끊임없는 노력과 혁신을 통해 글로벌 No.1 AI 메모리 컴퍼니(Global No.1 AI Memory Company)로 도약했다. 기술력으로 일군 40년을 갈무리하고 새로운 1년을 달린 올해, 회사는 1등 리더십을 공고히 하며 ‘40+1 르네상스 원년’을 만들어 가고 있다. 그리고 그 배경에는 HBM, PIM, CXL 등 첨단 공정과 패키징 기술이 집약된 AI 메모리가 자리 잡고 있다. SK하이닉스 창립 41주년을 맞아, 이들 혁신 제품에 담긴 역사와 기술력, 구성원들의 노력을 되짚어본다.

HBM, AI의 등장과 HBM으로 우뚝 선 SK하이닉스의 위상

SK하이닉스가 글로벌 AI 메모리 시장에서 No.1으로 자리 잡은 배경에는 ‘인공지능(AI) 산업의 성장’이 큰 역할을 했다. 2022년 생성형 AI의 등장 이후 다양한 제품과 서비스가 AI 중심으로 재편됐고, AI 기술은 빠르게 발전했다. 이에 따라 대용량 데이터를 처리하고 빠른 학습과 추론을 지원하는 고성능 메모리의 필요성도 크게 증가했다. SK하이닉스는 이 같은 시장 변화에 발맞춰 고성능 메모리 솔루션을 제공하며 AI 산업 발전에 핵심적인 역할을 수행했다.

SK하이닉스는 AI 흐름이 본격화하기 전부터 고대역폭으로 대용량 데이터를 빠르게 전달하는 ‘HBM(High Bandwidth Memory)’ 개발에 집중하며 내실을 다졌다. 특히 HBM2E를 통해 시장 주도권을 잡고 영향력을 확장했으며, AI 및 고성능 컴퓨팅(HPC)에 최적화된 HBM3로 큰 주목을 받았다. 무엇보다 회사는 이 메모리를 엔비디아에 공급하며 AI 및 데이터센터 시장의 핵심 파트너로 자리매김했다. 이 무렵 SK하이닉스는 HBM 시장 점유율 50%*를 달성하며, HBM 강자로서 위상을 확립했다.

AI 메모리 시장에서 SK하이닉스의 위상은 2024년에도 이어졌다. 회사는 2023년 최고 성능의 ‘HBM3E(5세대)’를 개발했으며, 올해부터 글로벌 탑 IT 기업에 제품 공급을 시작했다. 초당 1.2TB(테라바이트)의 데이터를 처리하는 이 제품으로 SK하이닉스는 글로벌 No.1로서의 입지를 더욱 확고히 다졌다.

15년 갈고 닦은 HBM 기술력과 Next HBM

SK하이닉스의 ‘HBM 성공신화’는 2009년으로 거슬러 올라간다. 당시 회사는 TSV*와 WLP* 기술이 메모리 성능의 한계를 극복해 줄 것으로 판단하고 본격적인 개발에 착수했다. 그로부터 4년 후, 이 기술을 기반으로 한 고대역폭 메모리, 1세대 HBM을 출시했다. 이 제품은 혁신적인 메모리로 주목받았지만, 시장의 폭발적인 반응을 얻지는 못했다. HBM이 널리 쓰일 만큼 고성능 컴퓨팅 시장이 무르익지 않았기 때문이다.

* TSV(Through Silicon Via): D램 칩에 수천 개의 미세 구멍을 뚫어 상하층 칩의 구멍을 수직 관통하는 전극으로 연결하는 기술
* WLP(Wafer Level Packaging): 웨이퍼를 칩 단위로 잘라 칩을 패키징하는 기존의 컨벤셔널 패키지(Conventional Package)에서 한 단계 발전한 방식으로, 웨이퍼 상(Wafer Level)에서 패키징(Packaging)을 마무리해 완제품을 만드는 기술

그럼에도 SK하이닉스는 멈추지 않고 후속 개발에 매진했다. 목표는 ‘최고 성능’이었다. 이 과정에서 회사는 열 방출과 생산성이 높은 MR-MUF(Mass Reflow Molded UnderFill) 기술을 HBM2E에 적용해 시장 판도를 바꿨다. 이후 얇은 칩 적층, 열 방출, 생산성이 모두 탁월한 어드밴스드(Advanced) MR-MUF 기술을 개발해 HBM3와 HBM3E에 적용했다. 이 기술을 바탕으로 2023년에는 HBM3 12단(24GB)을, 2024년에는 HBM3E 12단(36GB) 양산까지 성공하며 ‘업계 최고 성능’이란 신기록을 잇달아 달성했다[관련기사].

이 같은 성과의 배경에는 AI 붐이라는 시대 흐름을 절묘하게 포착한 전략이 있었다. SK하이닉스는 AI 메모리를 적기에 출시하며 시장 요구를 완벽히 충족했다. 이는 단순한 우연이 아니었다. 15년 간의 연구·개발을 통해 축적한 기술력과 이에 대한 전 구성원의 믿음, 그리고 미래를 내다 전략적 투자가 있었기에 가능한 결과였다.

올해도 SK하이닉스는 AI 리더십을 공고히 하기 위한 전략적 행보를 이어갔다. 4월에는 미국 인디애나주(州)에서 어드밴스드 패키징 생산기지 건설을 위한 투자 협약을 체결했다. 차세대 HBM을 비롯한 AI 메모리가 이곳에서 집중 생산될 계획이다. 같은 달, TSMC와의 기술 협약 또한 체결했다. 이로써 회사는 고객·파운드리·메모리 간 3자 협업 체계를 구축, 메모리 성능의 한계를 넘어서고 AI 시장에서 우위를 가져간다는 계획이다.

With HBM, 끊임없는 혁신과 AI 메모리 라인업 강화

SK하이닉스의 도전과 혁신은 메모리 전 영역에서 이뤄지고 있다. 회사는 ‘메모리 센트릭*’을 비전으로 삼고, 40년간 축적해 온 기술력을 바탕으로 다양한 AI 메모리를 개발하는 중이다. 특히 올해는 PIM, CXL, AI SSD 등으로 라인업을 더욱 강화하며 르네상스의 원년을 만들어가고 있다.

* 메모리 센트릭(Memory Centric): 메모리 반도체가 ICT 기기에서 중심적인 역할을 하는 환경

PIM(Processing-in-Memory)은 SK하이닉스가 주목하는 지능형 메모리 반도체로, 저장과 연산의 경계를 허문 혁신 제품이다. 연산용 프로세서를 집적한 이 메모리는 AI 연산에 필요한 데이터를 생성하고 전달하는 역할을 한다. SK하이닉스는 자사 PIM 제품인 ‘GDDR6-AiM(Accelerator-in-Memory)’을 이미 출시한 바 있고, 이 제품 여러 개를 연결해 성능을 높인 가속기 카드 ‘AiMX(AiM based Accelerator)’도 지난해 선보였다[관련기사]. 올해는 용량을 2배 늘린 AiMX 32GB 제품을 공개하며 업계의 주목을 받았다[관련기사].

또한, SK하이닉스는 CXL(Compute eXpress Link)에도 적극 투자하고 있다. CXL은 CPU, 메모리 등 장치별로 다른 인터페이스를 통합하는 기술이다. 이를 활용하면 메모리 대역폭과 용량을 쉽게 확장할 수 있다. 회사는 올해 5월 DDR5 대비 50% 넓은 대역폭, 100% 늘어난 용량을 제공하는 ‘CMM(CXL Memory Module)-DDR5’를 선보였다[관련기사]. 9월에는 CXL 최적화 소프트웨어인 ‘HMSDK*’의 주요 기능을 오픈소스 운영체제 리눅스(Linux)에 탑재, CXL 기술 활용의 표준(Standard)을 정립했다[관련기사].

* HMSDK(Heterogeneous Memory S/W Development Kit): SK하이닉스 고유의 이종(異種) 메모리 소프트웨어 개발 도구. 효과적인 메모리 제어로 CXL 메모리를 포함한 이종 메모리 시스템의 성능을 향상시켜줌

SK하이닉스는 AI 서버 및 데이터 센터용 초고속·고용량 eSSD를 개발하는 데도 힘쓰고 있다. 대표적인 예로, 솔리다임과 합작해 개발한 ‘60TB QLC(Quad Level Cell) eSSD’를 들 수 있다. 이 제품은 셀당 4bit(비트)를 저장하면서 전력 소모가 적은 것이 특징이다. 이 외에도 2025년 출시를 목표로, 무려 300TB 용량의 eSSD 개발을 계획하고 있다.

온디바이스 AI에 대응하기 위한 라인업도 탄탄하다. SK하이닉스는 AI 스마트폰의 성능을 높여줄 저전력 D램 ‘LPDDR5X’를 2022년 11월 출시했고[관련기사], 이 제품의 업그레이드 버전인 ‘LPDDR5T’를 2023년 1월 출시했다[관련기사]. 같은 해 11월에는 LPDDR5X를 모듈화한 제품 ‘LPCAMM2’를 공개했다[관련기사]. LPCAMM2는 AI 데스크톱 및 노트북에서 탁월한 성능을 낼 것으로 기대된다. 올해는 AI PC용 고성능 cSSD인 ‘PCB01’[관련기사], AI용 모바일 낸드 솔루션 ‘ZUFS(Zoned UFS) 4.0’ 또한 개발을 마쳤다[관련기사].

Total AI Memory, SK하이닉스가 그려나갈 미래 ‘The Heart of AI’

2024년 현재 우리는 AI로 보고서를 작성하고, 이미지를 디자인하며, 다양한 창작물까지 만들고 있다. 의료업에선 AI의 조언을 받아 진단을 내리고, 교육업에선 AI가 보조교사 역할을 하고 있다. 앞선 사례는 더는 특별한 것이 아니며, AI 기술 발전에 따라 더 무궁무진한 미래가 펼쳐질 것으로 예상된다.

그리고 이 중심에 AI 메모리가 있다. HBM, PIM, CXL, SSD 등 다양한 AI 메모리는 더 넓은 대역폭으로 대용량 데이터를 빠르게 전달하거나 직접 연산한 결괏값만 프로세서로 전달, 병목 현상을 최소화해 AI 학습 및 추론 성능을 높인다. 나아가 AI 시스템의 에너지 효율까지 개선해 친환경적 AI 인프라를 구축하는 데도 기여한다. 이러한 AI 메모리 발전은 자율주행, 헬스케어 등 더욱 다양한 산업에 적용되어 더 빠르고 효율적인 AI 서비스를 제공할 것으로 전망된다.

이러한 미래를 현실화하기 위해 SK하이닉스는 기술적 한계를 끊임없이 극복해 나가고 있다. 다변화한 AI 서비스에 발맞춰 각 고객에 최적화된 맞춤형(Custom) AI 메모리를 개발하는 데 집중하고 있고, 혁신 소자 기반의 차세대 이머징 메모리* 또한 개발 중이다. 이렇듯 기술 개발에 끊임없이 투자 중인 SK하이닉스는 보다 앞선 기술로 차별화된 경쟁력을 확보, 미래 시장에서의 우위도 확보하겠다는 목표다.

* 이머징 메모리(Emerging Memory): 기존 D램이나 낸드와 같은 전통적인 메모리 기술과 비교해 새로운 형태나 원리를 기반으로 하는 메모리 기술을 의미. ReRAM*, MRAM*, PCM* 등이 대표적인 기술
* ReRAM(Resistive RAM): 소자 안에 필라멘트가 있는 간단한 구조로, 여기에 전압을 가하는 방식으로 데이터를 저장하는 메모리 반도체. 공정 미세화에 따라 정보 저장량이 늘어나며, 전력 소모가 적다는 특징이 있음
* MRAM(Magnetic Random Access Memory): 전하와 스핀을 동시에 이용해 스핀의 방향에 따라 소자의 저항이 변화하는 방식으로 구현된 메모리 반도체
* PCM(Phase-Change Memory): 특정 물질의 상(Phase)변화를 이용해 데이터를 저장하는 메모리 반도체(상변화 메모리). 전원을 꺼도 정보가 지워지지 않는 플래시 메모리(Flash Memory)의 장점과 처리 속도가 빠른 D램의 장점을 모두 갖고 있음

세계반도체무역통계기구(WSTS)는 올해 반도체 시장이 지난해 대비 16% 확대될 것으로 내다봤다. 특히 메모리 반도체의 경우 무려 76.8%의 성장*을 전망했다. HBM 등 AI 메모리의 폭발적 수요 증가가 성장 요인이라는 분석이 나온다.

이처럼 AI라는 거대한 흐름의 선두에 선 SK하이닉스는 지난 역사를 바탕으로 또 한 번의 도약을 준비하고 있다. 41주년을 맞은 회사는 HBM 1등 리더십을 지키는 가운데, 차세대 반도체 시장에서도 주도권을 확보, 모든 제품이 AI의 핵심 동력으로 작동하는 ‘The Heart of AI’ 시대를 선도해 나가고자 한다.

FMS 2024 찾은 SK하이닉스 “낸드·D램 전 분야 아우르며 AI 리더십 보여줬다”

SK하이닉스 — Wed, 07 Aug 2024 21:00:00 +0000

▲ FMS 2024 SK하이닉스 부스 전경

SK하이닉스가 6일부터 8일까지(미국시간) 3일간 캘리포니아주 산타클라라(Santa Clara)에서 진행된 FMS(Future of Memory and Storage) 2024에 참가해 첨단 낸드플래시(NAND Flash, 이하 낸드) 솔루션과 D램(DRAM) 메모리를 총망라해 소개했다.

FMS는 Flash Memory Summit(플래시 메모리 서밋)이란 이름으로 지난 18년간 이어져 온 낸드 전문 포럼이다. 올해부터 주최 측은 Future Memory and Storage(미래 메모리 및 저장장치)로 행사명을 새로 정의하고, 포럼 범위를 D램을 포함한 메모리와 스토리지 전 영역으로 확장했다.

SK하이닉스는 ‘MEMORY, THE POWER OF AI’란 슬로건을 내걸고, 낸드와 D램을 아우르는 제품과 솔루션을 대거 공개했다. 특히 회사는 기조연설, 발표 세션과 전시를 연계한 구성으로 눈길을 끌었다. 또한, 고객사 시스템에 주력 제품을 적용한 협업 사례를 공개하며, 글로벌 파트너사와의 공고한 파트너십도 강조했다.

AI 시대를 위한 낸드·D램 총망라… 꽉 찬 구성으로 독보적인 전시 경험 선사해

이번 행사에서 SK하이닉스는 낸드 솔루션과 D램 메모리를 통해 AI 시대의 페인 포인트(Pain Point)를 해결하고 지속적인 AI 발전을 도모한다는 내용으로 전시관을 꾸렸다. ▲AI Memory & Storage ▲NAND Tech, Mobile & Automotive ▲AI PC & CMS 2.0 ▲OCS, Niagara & CXLxSSD 4개 섹션으로 부스를 구성하고 39종 이상의 제품을 선보였다.

▲ AI Memory & Storage 섹션에 전시된 낸드 솔루션과 D램 제품

AI Memory & Storage 섹션에서는 PCIe* Gen5 인터페이스를 지원하는 ‘PS1010 E3.S(이하 PS1010)’를 2U 서버 시스템과 함께 선보였다. PS1010은 초고성능 기업용 SSD(Enterprise SSD, eSSD)로, 176단 4D 낸드를 다수 결합한 패키지 제품이다. PE8110 PCIe Gen4 대비, 읽기/쓰기 속도가 최대 150% 이상 향상됐고, 100% 이상 개선된 전성비를 갖췄다. 이 제품은 서버 운영에 최적화돼 머신러닝 성능 향상은 물론 운영비 및 탄소 배출량 감소에도 도움을 줄 것으로 기대를 모은다.

이 섹션에서 회사는 동일 인터페이스에 238단 4D 낸드를 적용하여 폼팩터를 확장한 라인업 ‘PEB110 E1.S’와 솔리다임의 ‘QLC* 고용량(60TB) eSSD’도 주력 낸드 제품으로 내세웠다.

* PCIe(Peripheral Component Interconnect Express): 디지털 기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스
* QLC(Quadruple Level Cell): 낸드플래시는 데이터 저장 방식에 따라 ▲셀 하나에 1비트를 저장하는 SLC(Single Level Cell) ▲2비트를 저장하는 MLC(Multi Level Cell) ▲3비트를 저장하는 TLC(Triple Level Cell) ▲4비트를 저장하는 QLC로 구분됨. 동일한 셀을 가진 SLC 대비 QLC는 4배 더 많은 데이터를 저장할 수 있어 고용량을 구현하기 용이하고, 생산원가 효율성도 높음

▲ AI Memory & Storage 섹션에 전시된 D램 제품

D램으로는 AI 최적화 8U 서버인 HGX부터 최신 GPU까지 다양한 고객사의 시스템을 전시하고, 인증된 자사의 DDR5 DIMM과 HBM3E를 소개했다. 아울러 초당 최대 1.2TB(테라바이트) 데이터를 처리하는 현존 최고 성능의 AI 메모리 ‘HBM3E 12단’부터 저장과 연산을 동시에 수행하는 ‘GDDR6-AiM’*, 초당 9.6Gb(기가비트) 동작 속도를 내는 모바일 D램 ‘LPDDR5T’, 고성능 서버용 모듈 ‘MCRDIMM’*, DDR5와 장착해 기존 시스템 대비 최대 50%의 대역폭, 최대 100%의 용량 확장 효과를 내는 ‘CMM(CXL*® Memory Module)-DDR5’ 등을 한데 모아 섹션을 장식했다.

* AiM(Accelerator-in-Memory): SK하이닉스의 PIM* 반도체 제품명, GDDR6-AiM이 이에 포함됨
* PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* MCRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module): 여러 개의 D램이 기판에 결합된 모듈 제품으로, 모듈의 기본 정보처리 동작 단위인 랭크(Rank) 2개가 동시 작동되어 속도가 향상된 제품
* CXL(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 구축하기 위한 PCIe 기반 차세대 인터커넥트 프로토콜. 기존 D램 제품과 함께 서버 시스템의 메모리 대역폭을 늘려 성능을 향상하고, 쉽게 메모리 용량을 확대할 수 있는 차세대 메모리 솔루션

▲ NAND Tech, Mobile & Automotive 섹션에 전시된 321단 웨이퍼와 4D 낸드(앞장), ZUFS 4.0(가운데)과 Automotive용 메모리 제품(뒷장)

NAND Tech, Mobile & Automotive 섹션에서는 세계 최고층 ‘321단 웨이퍼’와 ‘321단 TLC 및 QLC 4D 낸드 패키지’ 샘플을 전시했고, 모바일향 ‘UFS 4.1’과 ‘ZUFS’* 4.0 샘플 또한 공식적으로 처음 선보였다[관련기사]. 업계 최고 성능의 ZUFS 4.0은 스마트폰 등 모바일 기기에서 온디바이스 AI를 구현하는 데 최적화된 메모리로 평가받고 있다.

* ZUFS(Zoned Universal Flash Storage): 디지털카메라, 휴대전화 등 전자제품에 사용되는 플래시 메모리 제품인 UFS의 데이터 관리 효율이 향상된 제품. 이 제품은 유사한 특성의 데이터를 동일한 구역(Zone)에 저장하고 관리해 운용 시스템과 저장 장치 간의 데이터 전송을 최적화함

▲ AI PC & CMS 2.0 섹션에 전시된 PCB01(앞장)과 CMS 2.0(뒷장)

AI PC & CMS 2.0 섹션에서는 PCIe Gen5 소비자용 SSD(Client SSD, cSSD)인 ‘PCB01’을 공개했다[관련기사]. 이 제품은 초당 14GB의 연속 읽기, 초당 12GB의 연속 쓰기 속도를 자랑하며, 이전 세대 대비 30% 개선된 전력 효율을 보여준다. 압도적인 성능을 갖춘 PCB01은 온디바이스 AI PC에 장착돼 대규모 AI 연산 작업을 효율적으로 해낼 것으로 기대를 모으고 있다.

이 섹션에서 SK하이닉스는 CXL 메모리에 연산 기능을 더한 차세대 메모리 솔루션 ‘CMS(Computational Memory Solution) 2.0’도 전시했다[관련기사]. 특히 CPU와 동등한 데이터 처리 성능을 보여준 실증·평가를 공개하며 관람객의 눈길을 사로잡았다.

▲ OCS, Niagara & CMMxSSD 섹션에 전시된 낸드 솔루션

OCS, Niagara & CMMxSSD 섹션에서는 미국 로스앨러모스 국립 연구소(Los Alamos National Laboratory, LANL)와 공동 개발한 ‘객체 기반 컴퓨팅 스토리지(Object Based Computational Storage, OCS)’를 소개했다. OCS는 컴퓨팅 노드의 도움 없이 스토리지 자체적으로 데이터 분석을 수행해 결과 값만 서버에 전송하는 솔루션이다. 이를 활용하면 방대한 양의 데이터를 이동시켜 분석하는 기존 시스템 대비 데이터 분석 성능을 크게 향상할 수 있다.

이외에도 회사는 여러 호스트(CPU, GPU 등)가 용량을 나눠 쓰도록 설계한 CXL 풀드 메모리(Pooled Memory) 솔루션 ‘나이아가라(Niagara) 2.0’을 공개했다. 이 솔루션은 유휴 메모리를 없애고 전력 소모를 줄여, 향후 AI 및 HPC(고성능 컴퓨팅) 시스템에 쓰일 것으로 전망되는 호스트들의 성능을 향상시켜 줄 것으로 기대된다.

이와 함께 CMM-DDR5를 지원하는 소프트웨어로, 자체 개발한 ‘HMSDK’도 소개했다. 시스템 대역폭과 용량을 확장해 주는 이 솔루션은 일반 D램 모듈과 CMM-DDR5 간의 효율적인 인터리빙을 통해 대역폭을 넓히고, 데이터 사용 빈도에 따라 적합한 메모리 장치로 데이터를 재배치해 시스템 성능을 개선해 준다. 최근에는 리눅스 커널을 포함한 여러 오픈소스 프로젝트에 성공적으로 반영돼, 전 세계 데이터 센터에서 CMM-DDR5가 효율적으로 사용될 수 있는 기반을 만들었다고 회사는 강조했다.

SK하이닉스는 이 섹션에서 선보인 OCS, 나이아가라 2.0의 성능 실증을 발표 세션에서 공개하고, CXL AI Memory & Storage 섹션에서 소개한 제품을 기조연설과 연계하여 설명하는 등 보다 입체적인 전시 경험을 제공하며 많은 호응을 이끌었다.

기조연설·발표 주도한 SK하이닉스… AI 메모리 리더로서 인사이트 제공해

SK하이닉스는 이번 행사에서 주요 연사로 참여하며 AI 메모리 리더로서의 면모를 보여주기도 했다.

▲ FMS 2024에 참석해 기조연설을 진행한 SK하이닉스 권언오 부사장(앞장)과 김천성 부사장(뒷장)

첫날 기조연설에는 권언오 부사장(HBM PI 담당)과 김천성 부사장(WW SSD PMO)이 무대에 올랐다. 두 임원은 ‘AI 시대, 메모리와 스토리지 솔루션 리더십과 비전(AI Memory & Storage Solution Leadership and Vision for AI Era)’을 주제로, 낸드와 D램 전 분야에서 두각을 드러내고 있는 SK하이닉스의 기술력과 비전을 공유했다.

이튿날까지 이어진 발표에도 구성원들이 주요 강연자로 참석해 반도체 공정 기술, OCS 개발 방향, 나이아가라 2.0의 특장점, HyperScale Data Center 메모리 기술 혁신을 발표했고, SOLAB 김호식 담당은 AI, HPC 및 인 메모리 데이터베이스 애플리케이션 대응하는 CXL 메모리에 대한 패널 토크에 참여했다.

특히 OCS, Niagara & CMMxSSD 섹션에서 전시한 솔루션들의 실증 발표가 많은 관심을 받았다. 관련해 정우석 팀장(Memory Systems Research)은 “고성능 컴퓨팅(HPC)의 데이터 분석 가속을 위한 객체 기반 컴퓨팅 스토리지(OCS) 표준화”를 주제로, OCS가 실제 빅데이터 응용에서 어떻게 데이터 분석 성능을 향상시킬 수 있는지에 관해 LANL과 공동 발표를 진행했다.

최정민 TL(Memory Systems Research)은 CXL을 활용해 분리된 메모리 자원을 여러 호스트가 효율적으로 공유할 수 있는 솔루션인 나이아가라 2.0에 대해 발표했다. 그는 이 솔루션을 통해 현재 데이터센터가 직면한 문제를 해결하고, 동시에 시스템의 성능까지 개선할 수 있다고 설명했다.

▲ FMS 슈퍼우먼 컨퍼런스에 참석해 기조연설을 펼친 오해순 부사장

한편, 회사는 ‘FMS 슈퍼우먼 컨퍼런스’에 공동 후원자로 나서며 ESG 활동에도 힘썼다. 이 컨퍼런스는 여성 기술 리더의 공적을 치하하고, 다양성을 지원하고자 마련한 프로그램이다. 회사가 처음 후원하는 이 프로그램에는 오해순 부사장(Advance PI 담당)이 참석해 기조연설을 펼쳤다. 오 부사장은 ‘SK하이닉스의 미래 기술 혁신과 다양성(Diversity)에 대한 이해’를 주제로 해, 여성 기술 리더들에게 응원의 메시지를 던졌다.

이번 행사를 통해 회사는 자사의 제품을 폭넓게 전시하고, 메모리 및 스토리지 기술 역량을 효과적으로 알린 것으로 평가하고 있다.

앞으로도 SK하이닉스는 AI 시대가 요구하는 스펙에 발맞추어 지속적인 기술 개발을 펼치고, 낸드와 D램을 아우르는 독보적인 AI 메모리 리더로서 입지를 굳건히 하겠다는 계획이다.

[2024 임원 좌담회] SK하이닉스의 AI 메모리 경쟁력과 미래 시장 트렌드

SK하이닉스 — Wed, 29 May 2024 15:00:00 +0000

AI 학습 및 추론을 지원하는 고성능 반도체 수요가 지속적으로 늘어나고 있다. 특히 SK하이닉스가 경쟁우위를 확보한 HBM(D램 적층 고대역폭 메모리)이 AI 시스템에 가장 적합한 솔루션으로 떠오르면서, 올해 D램 시장 규모는 지난해 대비 65% 가까이 성장해 117조 원에 달할 것으로 예상되고 있다.

뉴스룸에서는 이처럼 급변하는 환경 속에서 SK하이닉스가 ‘글로벌 No.1 AI 메모리 기업’의 위상을 얻게 된 배경과 경쟁력에 대해 진단하고, 앞으로 나아가야 할 방향에 대해 논의하기 위해 SK하이닉스 신임임원들을 초청해 좌담회를 진행했다.

이 자리에는 ‘뉴스룸 2024 임원 인터뷰 시리즈[관련기사]’에 함께한 권언오 부사장(HBM PI), 길덕신 부사장(소재개발), 김기태 부사장(HBM S&M), 손호영 부사장(Adv. PKG개발), 오해순 부사장(낸드 Advanced PI), 이동훈 부사장(321단 낸드 PnR), 이재연 부사장(Global RTC)이 참석했다. 좌담회 사회는 원정호 부사장(Global PR)이 맡았다.

▲ 좌담회에 참석한 SK하이닉스 임원들. 왼쪽부터 권언오 부사장(HBM PI), 김기태 부사장(HBM S&M), 이동훈 부사장(321단 낸드 PnR), 오해순 부사장(낸드 Advanced PI), 길덕신 부사장(소재개발), 손호영 부사장(Adv. PKG개발), 이재연 부사장(Global RTC)

▲ 왼쪽부터 이재연, 원정호(Global PR), 권언오, 이동훈 부사장(첫 번째 사진), 손호영, 오해순 부사장(두 번째 사진) 길덕신, 김기태 부사장(세 번째 사진)

AI 시대를 이끌어가는 SK하이닉스의 경쟁력은 어디서 왔나?

① 시장이 열리기 전부터 HBM에 대한 장기간 끈질긴 연구개발과 투자
② 고객에 대한 깊은 이해와 긴밀한 협업
③ 분야 간 벽이 허물어지는 이종 융합의 미래 준비

SK하이닉스는 지난 3월부터 AI 메모리인 HBM 5세대 제품 HBM3E를 세계 최초로 양산하며 시장을 이끌어가고 있다. 또 회사는 다음 세대 제품인 HBM4의 양산 시점을 내년으로 앞당기고 글로벌 투자와 기업간 협력을 통해 차세대 기술력을 확보해 나가는 등 AI 메모리 업계 위상을 강화하고 있다. 좌담회에서는 SK하이닉스가 선도적인 입지를 다지게 된 배경에 대한 논의부터 진행됐다.

▲ 권언오 부사장

권언오: “시장이 열리기 전부터 오랜 시간 동안 끈질기게 이어져 온 AI 메모리에 대한 투자와 연구가 회사 성장의 밑거름이 됐다. 이를 바탕으로 우리는 AI 인프라에 필수적인 HBM과 함께, 다양한 분야에서 쓰이게 될 고성능 메모리를 개발하는 등 기술력과 양산 노하우를 선제적으로 확보하면서 탄탄하게 경쟁력을 축적해 올 수 있었다.”

김기태: “항상 고객과의 최접점에서 협업을 하고, 고객에 대한 높은 이해도를 기반으로 그들의 요구사항을 충족시키는 것이 SK하이닉스의 강점이다. 또, HBM을 적기에 공급하면서 대규모 양산 경험을 보유한 것도 우리가 높은 신뢰를 받는 이유라고 볼 수 있다.”

손호영: “HBM의 성공은 고객과의 협력은 물론, 내부 부서간 협업 과정에서도 이전보다 열린 방식으로 일해왔기에 가능했던 일이다. 앞으로 더 다양해질 시장의 요구에 부응하려면 고객과 한 차원 더 높은 협력 관계를 맺고, 메모리와 시스템, 전공정과 후공정의 경계가 허물어지는 이종간 융합을 위한 협업을 준비해야 한다.”

이어 고용량 낸드 솔루션에 대해서도 이야기가 오갔다.

▲ 이동훈 부사장

이동훈: “AI에 필요한 대량의 데이터를 축적하기 위해서는 낸드 기반의 고용량 SSD 제품이 필수적이다. SK하이닉스는 낸드의 초고층 데이터 저장 영역을 안정적으로 구현하는 멀티 플러그(Multi-Plug) 기술과 제품 크기를 줄여 생산성을 높여주는 올(All) PUC(Peri. Under Cell) 기술 등을 업계에서 가장 먼저 확보해 이 분야 경쟁력을 높이고 있다.”

오해순: “낸드 적기 개발은 물론 원가 경쟁력 측면에서도 SK하이닉스는 세계 최고 수준이 됐다. 우리는 낸드 분야에서도 고객의 다양한 요구에 맞춰줄 수 있는 역량을 갖춰나가고 있다.”

AI 인프라의 핵심인 메모리, 향후 중요성 더 커질 전망

AI 메모리가 이처럼 각광을 받게 된 데 대해 임원들은 HBM, CXL*, eSSD*, PIM* 등 고성능 솔루션들이 기존 메모리의 데이터 병목 현상을 해결하고, AI의 동작 속도를 높여주고 있기 때문이라고 진단했다. 또 이들은 앞으로 AI 활용 분야가 더 확대되면 고성능·고용량 메모리 수요는 계속 증가할 것이라고 입을 모았다.

* CXL(Compute eXpress Link): 메모리와 다른 장치들(로직, 스토리지 등)을 연결하는 인터페이스를 하나로 통합해 효율성을 높이고 고대역폭과 고용량을 구현해 주는 기술
* eSSD(enterprise Solid State Drive): 낸드와 컨트롤러가 결합된 스토리지 솔루션 제품이 SSD이며, eSSD는 기업용 SSD를 의미함
* PIM(Processing-In-Memory): 메모리에 프로세서의 연산 기능을 탑재한 차세대 지능형 메모리

김기태: “생성형 AI 기술이 교육, 의료 등 공공 서비스뿐만 아니라 B2C 시장에서 주요 소비자층 분석, 상품·서비스 개발 및 마케팅, 공급망 관리에까지 폭넓게 활용되고 있어 메모리의 활용도는 더욱 높아질 것으로 보고 있다.”

▲ 길덕신 부사장

길덕신: “생성형 AI 기술 자체도 중요하지만 이 기술을 얼마나 많은 응용 분야에 접목해 소비자에게 제공할 수 있는지가 중요하다. 향후 온디바이스, 자율주행, 그리고 로봇 산업과 AI간 융합이 반도체 시장의 변화와 성장을 주도하게 될 것이다.”

이동훈: “AI 기술이 더 발전하게 되면 메타버스가 실제 현실에 가까울 정도로 고도화되는 미래도 생각해볼 수 있다. 빅테크 기업들이 이 분야를 선점하려는 과정에서 여기에 탑재되는 메모리 수요가 커질 수 있다.”

▲ 오해순 부사장

AI 산업이 확장되면서 새로운 메모리 시장이 열리고 있다는 분석도 나왔다.

오해순: “그동안 AI 산업에서 낸드에 대한 주목도가 높지 않았지만 대용량 AI 서버 수요가 늘면서 eSSD와 같은 낸드 솔루션이 각광받기 시작했다. 여러 분야에서 신시장이 열리고 있는 만큼, 다양한 메모리 제품들이 주목받고 있는 상황이다.”

손호영: “당초에는 AI 메모리 시장이 지금과 같은 양상으로 전개될지 예견하기 어려웠다. 지금은 업계가 다양한 미래 가능성을 고려해 고객 맞춤형 메모리 솔루션을 확보하는 데 집중하고 있다.”

이재연: “차별화된 기술력을 갖추기 위해 기존 메모리의 한계를 뛰어넘는 이머징(Emerging) 메모리에 대한 관심도 커지고 있다. 특히 기존 D램의 고속 성능과 낸드의 고용량 특성을 동시에 갖춘 MRAM(자기 저항 메모리)*, RRAM(저항 변화 메모리)*, PCM(상변화 메모리)* 등이 주목받고 있다.”

* MRAM(Magnetic Random Access Memory): 자기(磁氣) 스핀의 운동 방향에 따라 소자의 저항이 바뀌는 현상을 이용해 데이터의 저장 유무를 구분하는 메모리
* RRAM(Resistive RAM): 소자 내 필라멘트에 전압을 가해 생기는 저항차에 따라 데이터를 저장하는 메모리
* PCM(Phase-Change Memory): 특정 물질에 전압을 가하면 상태(Phase)가 변하는 현상을 이용해 데이터를 저장하는 메모리

미래 시장 변화에 따른 SK하이닉스의 우선 과제는?

미래 산업과 기술 변화상에 대해 선제적으로 대응하기 위해 회사가 주목해야 할 부분에 대해서도 임원들은 다양한 의견을 제시했다. 우선, 기술 우위를 지키기 위해 고객관계 강화, 글로벌 협력이 중요하다는 의견이 나왔다.

▲ 김기태 부사장

김기태: “AI 서비스가 다변화해도 지금의 폰노이만 방식(로직 반도체와 메모리가 분리된 형태)의 컴퓨팅 구조가 지속될 때까지는 메모리에 요구되는 최우선 스펙은 ‘속도’와 ‘용량’이 될 것이다. SK하이닉스가 HBM을 비롯해 AI 메모리 기술 우위를 유지하려면 전공정의 설계·소자·제품 경쟁력뿐만 아니라 현재 독보적인 역량을 확보한 후공정의 고단 적층 패키징 기술력도 계속 강화해야 한다.

또, 현재 시장 상황을 보면, 빅테크 고객들이 AI 시장 주도권을 확보하기 위해 신제품 출시 시점을 앞당기고 있다. 이에 맞춰 우리는 차세대 HBM 제품 등을 적기에 공급할 수 있도록 올해에 이어 내년까지의 계획을 미리 논의하는 중이다.”

권언오: “다음 세대 제품인 HBM4는 메모리에 로직 반도체 공정을 도입하는 첫 제품이 될 것이다. 신공정을 도입하는 일은 고객들이 원하는 수준 이상의 스펙을 구현하는 것 외에도, 관련 업계와의 협업으로 이어져 새로운 기회를 만들어줄 것으로 전망된다.”

▲ 손호영 부사장

손호영: “기존 메모리의 성능을 높이고, 메모리와 비메모리 등 이종 간 집적을 구현하려면 어드밴스드 패키징 기술을 고도화해야 한다. 이를 위해서는 다양한 분야의 글로벌 산학연(産學硏) 주체들과 함께 기존 메모리 분야에서부터 융복합 반도체에 이르기까지 협력을 강화해야 한다.”

이와 함께, 소재 개발을 통한 품질 강화, AI용 고성능 낸드 기술력 제고, 차세대 메모리 연구개발 등에 대해서도 임원들은 중요성을 강조했다.

길덕신: “새롭게 등장하는 AI와 반도체 시장을 예의주시하고, 급변하는 상황에 유연하게 대응할 수 있는 개발 환경을 조성해야 한다. 반도체 소재의 혁신을 통해 공정 단순화, 불량률 제어, UPH(Unit Per Hour, 라인에서 시간당 생산하는 제품의 수량) 등을 개선하고, 최근 중요성이 커지고 있는 패키징 분야에서는 수율과 방열 특성을 높여 제품 성능과 품질을 강화하는 소재를 개발하는 것이 중요하다.”

이동훈: “기하급수적으로 늘어나는 데이터를 제한된 공간 안에 최대한 많이, 작은 전력으로 저장하는 능력이 중요해지고 있다. 이를 위해서는 고용량·저전력 eSSD가 필수적이며, 여기에 들어가는 낸드에 300단 이상의 초고층 저장영역을 구현할 때 필요한 성능·품질·신뢰성을 확보해야 한다.”

오해순: “고용량에 특화돼 있으면서 읽기/쓰기 속도까지 보완한 QLC(Quadruple Level Cell)* 기술은 TCO(총소유비용) 절감이라는 장점을 가지고 있어 최근 AI 서버에서 QLC 기반 eSSD 사용량이 증가하고 있다. 관련 시장을 공략하기 위해 적기에 제품을 개발하도록 힘쓸 것이다.”

* 낸드 셀 한 개의 용량이 1bit면 SLC(Single Level Cell), 2bit는 MLC(Multi Level Cell), 3bit는 TLC(Triple Level Cell), 4bit는 QLC(Quadruple Level Cell)

▲ 이재연 부사장

이재연: “우리가 예상하는 변화가 먼 미래에 일어날지, 곧바로 눈 앞의 현실이 될지 예측하기 어려울 정도로 글로벌 환경이 빠르게 변하고 있다. 앞서 언급한 MRAM, RRAM, PCM 외에도 우리는 초고속·고용량·저전력 특성을 동시에 지닌 SOM(Selector Only Memory)*, Spin Memory*, Synaptic Memory* 등 이머징 메모리에 주목하고 있으며, 앞으로도 다양한 미래 기술에 대한 연구개발을 지속 강화할 필요가 있다.”

* SOM(Selector-Only Memory): 기존 메모리의 캐패시터(저장영역)와 트랜지스터(제어영역)(=셀렉터) 기능을 단일 소자에 구현한 메모리로, 기존 PCM의 미세공정 한계를 극복할 수 있음

* Spin Memory: 전자가 갖는 스핀 운동 특성을 응용해 데이터의 저장 유무를 구분하는 메모리로, 대표적으로 MRAM이 있음

* Synaptic Memory: 인공 신경망 소자를 기반으로 한 메모리로, 인간 두뇌와 유사한 고효율 컴퓨팅 구조를 구현해 기존 컴퓨팅 구조(직렬 처리 방식)의 한계인 데이터 병목 현상 등을 해결함

[2024년 신임임원 인터뷰 7편] SK하이닉스 글로벌 RTC 이재연 부사장 “미래 반도체의 새로운 패러다임을 제시하다”

SK하이닉스 — Sun, 21 Apr 2024 15:00:00 +0000

SK하이닉스는 지난 연말 있었던 2024년 임원 인사에서 차세대 반도체를 연구·개발하는 조직인 ‘글로벌 RTC(Revolutionary Technology Center)’의 신임임원으로 이재연 부사장을 선임했다. 이 부사장은 DRAM 선행 프로젝트 연구를 시작으로 ReRAM*, MRAM*, PCM*, ACiM*을 비롯한 이머징 메모리(Emerging Memory)* 개발을 이끌어온 반도체 소자 전문가다.

* ReRAM(Resistive RAM): 소자 안에 필라멘트가 있는 간단한 구조로, 여기에 전압을 가하는 방식으로 데이터를 저장하는 메모리 반도체. 공정 미세화에 따라 정보 저장량이 늘어나며, 전력소모가 적다는 특징이 있음
* MRAM(Magnetic Random Access Memory): 전하와 스핀을 동시에 이용해 스핀의 방향에 따라 소자의 저항이 변화하는 방식으로 구현된 메모리 반도체
* PCM(Phase-Change Memory): 특정 물질의 상(Phase)변화를 이용해 데이터를 저장하는 메모리 반도체(상변화 메모리). 전원을 꺼도 정보가 지워지지 않는 플래시 메모리(Flash Memory)의 장점과 처리 속도가 빠른 D램의 장점을 모두 갖고 있음
* ACiM(Analog-Compute in Memory): 컴퓨팅과 메모리 사이의 경계를 없애는 차세대 AI 반도체를 위한 기술
* 이머징 메모리(Emerging Memory): 기존의 D램이나 낸드 플래시와 같은 전통적인 메모리 기술에 비해 새로운 형태나 원리를 기반으로 하는 메모리 기술을 의미. RRAM, MRAM, PCM, FeRAM 등이 대표적인 기술

특히, 이 부사장은 국내외 반도체 기업, 대학, 연구기관과의 풍부한 협업 경험을 토대로 ORP(Open Research Platform)*를 구축하는 등 회사의 글로벌 경쟁력 향상을 위한 주춧돌을 마련하는 데 크게 기여했다는 평가를 받고 있다.

뉴스룸은 그를 만나 미래 메모리 반도체와 ORP에 관해 이야기를 나눴다.

* ORP(Open Research Platform): 기술 혁신 파트너십 강화를 통해 선제적 연구·개발 생태계를 구축하기 위한 플랫폼. 글로벌 RTC는 현재 연구하고 있는 미래 기술에 대한 인사이트를 공유하고, 다양한 글로벌 연구 조직과의 적극적인 소통을 위해 ORP 대표 채널인 ‘Research Website()’를 운영하고 있다.

“이머징 메모리, 세대를 초월하는 가치 창출할 것”

“글로벌 RTC는 미래 반도체 산업이 진화해 나갈 패러다임을 제시하고자 합니다. 구체적으로 보면, 다음 세대 기술의 가치를 창출할 수 있는 이머징 메모리를 개발하고, 기존 반도체 기술의 한계를 극복할 차세대 컴퓨팅에 대한 기반 연구를 이어가고 있습니다. 저는 새로운 임원으로서, 미래 연구 개발의 성과를 앞당겨 회사가 기술 리더십을 탄탄히 할 수 있도록 하겠습니다.”

이 부사장은 이머징 메모리가 AI 시대를 이끌 새로운 패러다임을 제시할 것이라는 기대감을 내비쳤다.

이머징 메모리는 기존 메모리의 한계를 돌파할 새로운 솔루션으로 주목받고 있다. SK하이닉스는 현재 SOM*, Spin*, 시냅틱(Synaptic)* 메모리, ACiM 등을 통해 이머징 메모리 솔루션을 구현하고 있다.

* SOM(Selector-Only Memory): 메모리와 셀렉터(Selector)**역할을 모두 수행할 수 있는 두 개의 전극과 듀얼 기능 재료(Dual Function Material, DFM)로 구성된 반도체
** 셀렉터(Selector): 워드(Word) 라인과 비트(Bit) 라인 사이에 전압에 따라 반응하는 장치로, 양 끝에 걸리는 전압의 차이에 따라 메모리 셀에 데이터를 기록하거나 삭제할 수 있음
* Spin: 전자가 갖는 스핀 운동 특성을 반도체에 응용하는 기술로 초고속·초저전력 특성을 가진 다양한 형태의 메모리 및 소자가 있음
* 시냅틱(Synaptic): 인간 두뇌의 신경망을 모사할 수 있는 소자로 기존의 컴퓨터 구조로 발생하는 문제를 해결하고 고효율 컴퓨팅 구조를 구현함

“SOM[관련기사]은 데이터를 빠르게 처리하는 D램과 데이터를 저장하고 삭제할 수 있는 낸드플래시의 특성을 모두 보유하고 있습니다. 이는 격변할 D램과 낸드 시장에서 중요한 역할을 할 것으로 기대되고 있습니다. 이와 함께 글로벌 RTC 조직은 자성(磁性)의 특성을 이용해 이머징 메모리 중 가장 빠른 Spin 소자의 동작을 구현하는 등 미래를 위한 다양한 기술을 개발하고 있습니다.”

이 부사장은 “사람의 뇌를 모방한 AI 반도체인 시냅틱 메모리 분야의 연구 역시 발 빠르게 진행 중”이라고 설명했다. 그는 또 “AI 연산 시 메모리와 프로세서 사이의 데이터 이동을 줄이고 에너지 사용을 절감할 수 있는 ACiM 역시 우리의 연구 분야이며, 이 기술은 최근 학계와 산업계에 큰 관심을 받고 있다”고 말했다.

“글로벌 시장에서 더욱 빛나는 SK하이닉스 만들어야”

이 부사장은 급변하는 글로벌 시장에서 SK하이닉스가 경쟁력을 높이기 위해서는 세계 각계각층과 협업 체계를 강화해야 한다고 강조했다.

“글로벌 RTC는 개방형 협력 연구 플랫폼인 ORP를 구축하고 있습니다. 이는 다양한 미래 기술 수요에 대응하기 위한 협력의 장(場)으로, 우리는 현재 외부 업체, 연구 기관과 협업을 논의하고 있습니다.”

이 부사장은 “미래 반도체 시장에서는 단일 회사만의 노력으로는 성공할 수 없을 것”이라며, “산·학·연 등 다양한 기관과의 협업이 필수적이고, 환경 변화에 맞춰 유연한 논의가 가능한 새로운 체계가 중요하다”고 설명했다. 이를 통해, 다양해지는 요구에 맞춘(Customized) 메모리 반도체를 연구하겠다는 것이다. 또, 이 부사장은 글로벌 반도체 업계의 리더로서 가져야 할 책임감에 대해서도 강조했다.

“AI, 클라우드 컴퓨팅과 같은 기술의 성장으로 인해 방대한 양의 데이터가 발생하고 있고, 이와 함께 늘어나는 전력 사용에 대한 고민이 많습니다. 이에 글로벌 RTC는 넷제로(Net Zero) 달성을 위해 효율적인 에너지 사용에 대한 연구와 고민을 지속하고 있습니다.”

미래를 위한 패스파인딩(Pathfinding), 도전정신이 중요해

“최근 챗GPT로부터 시작된 AI 열풍은 메모리 반도체 분야에도 큰 기회가 되고 있습니다. 이러한 거대한 움직임에서 우리는 미래 먹거리를 위한 패스파인딩에 집중할 때입니다.”

이 부사장은 다운턴 위기를 기회로 바꾼 HBM의 TSV* 기술처럼 미래를 위한 다양한 요소 기술*개발이 중요하다고 언급했다.

* TSV(Through Silicon Via): D램 칩에 수천 개의 미세 구멍을 뚫어 상하층 칩의 구멍을 수직 관통하는 전극으로 연결하는 기술
* 요소 기술: 제품의 특성 변화와 개선을 구현하는 데 필요한 핵심적인 기술

“HBM의 중요 요소 기술인 TSV는 15년 전 미래 기술 중 하나로 연구가 시작됐습니다. AI 시대를 예견하고 개발한 기술은 아니지만, 오늘날 대표적인 AI 반도체 기술로 손꼽히고 있죠. 이처럼 우리는 어떻게 급변할지 모르는 미래를 대비해 또 다른 멋진 요소 기술 개발에 힘써야 합니다.”

끝으로 이 부사장은 구성원들에게 당부의 말을 전했다.

“우리 구성원 모두의 땀과 노력으로 회사는 다운턴 위기를 기회로 바꾸어 냈습니다. 하지만 여기에 만족할 수는 없습니다. 새로운 것을 두려워하지 않는 도전정신이 있다면 우리는 지금까지의 성공보다 더 큰 성공을 이룰 수 있을 것입니다. 서로 소통하고 신뢰하며, 배려해서 모두가 함께 도전해 나갔으면 합니다.”

[2024년 신임임원 인터뷰 6편] SK하이닉스 권언오 부사장 “차세대 HBM은 Specialized + Customized”

SK하이닉스 — Wed, 27 Mar 2024 15:00:00 +0000

SK하이닉스는 지난 연말 시행한 2024년 조직개편 및 임원인사에서 AI 인프라 시장 경쟁력 강화를 위해 ‘AI Infra’ 조직을 신설했으며, 산하에 HBM* PI담당 신임임원으로 권언오 부사장을 선임했다.

* HBM(High Bandwidth Memory): 여러 개의 D램 칩을 TSV(Through Silicon Via, 수직관통전극)로 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)를 거쳐 현재 5세대(HBM3E)까지 개발됨. HBM3E는 HBM3의 확장(Extended) 버전으로 SK하이닉스는 세계 최초로 이 제품 양산을 시작함

권 부사장은 D램 개발 연구위원으로 있던 2022년 세계 최초로 모바일용 D램인 LPDDR에 HKMG* 공정을 도입했으며, 초고속·초저전력 특성을 동시에 구현한 LPDDR5X와 LPDDR5T 개발을 성공적으로 이끌었다. 그는 공로를 인정받아 지난해 ‘SUPEX추구상*’을 수상했다.

* HKMG(High-K Metal Gate): 유전율(K)이 높은 물질을 D램 트랜지스터 내부의 절연막에 사용해 누설 전류를 막고 정전용량(Capacitance)을 개선한 차세대 공정. 속도를 빠르게 하면서도 소모 전력을 줄일 수 있음
* SUPEX추구상: SUPEX추구상은 SK그룹 내 가장 권위 있는 상으로 새로운 도전을 두려워하지 않고, 혁신을 이뤄낸 멤버사 구성원들에게 수여됨

올해 권 부사장은 기술 역량을 바탕으로 SK하이닉스 HBM의 기술 로드맵을 완성하는 중책을 맡았다. 뉴스룸은 그를 만나 차세대 HBM 기술 개발 비전과 AI 시대에 대비한 전략에 관해 들어봤다.

HBM에 집중하는 ‘HBM Business’ 조직 신설 통해 개발 효율성 높여

AI 기술 진화와 함께 AI 메모리를 대표하는 HBM 수요 역시 급성장하고 있다. 권 부사장은 “SK하이닉스의 HBM 제품에 대한 모두의 기대가 큰 시점에 중책을 맡게 되어 자부심과 동시에 큰 책임감을 느낀다”며 “세계 최고의 HBM을 개발한 우리 구성원들의 경험과 도전 정신을 바탕으로 차세대 기술 혁신을 이뤄낼 수 있도록 최선을 다하겠다”고 포부를 밝혔다.

회사는 지난 연말 HBM 개발부터 제품화, 사업화까지 전 과정에 걸쳐 효율성과 완성도를 높이기 위해, 부문별로 흩어져 있던 기능을 한데 모아 ‘HBM Business’ 조직을 신설했다. 제품을 중심으로 조직을 구성하는 것은 흔치 않은 사례로, HBM 선도 기업 지위를 지키겠다는 회사의 의지가 담겨 있다.

권 부사장은 HBM Business 조직의 가장 큰 강점으로 높은 효율성을 꼽았다. 개발 초기 의사결정 과정을 단축해 빠른 조율과 실행이 가능하며, 개발 단계에서부터 직접 고객의 목소리를 듣고 고객이 원하는 가치를 반영할 수 있다는 것이다.

“HBM이라는 하나의 목표를 공유하는 HBM Business 조직이 구성된 덕분에 기술 역량을 집중해서 발휘할 수 있는 환경이 마련됐으며, 구성원들 역시 목표 지향적인 시야를 가질 수 있게 됐다고 생각합니다. 저 역시도 사업 관점에서 기술에 필요한 흐름을 읽을 수 있게 되었으며, 이를 통해 더 많은 부분에 기여할 수 있을 거라 기대하고 있습니다.”

압도적인 반도체 요소 기술 역량, HBM 기술 혁신 위해 펼칠 계획

권 부사장은 자신의 경력 중 가장 의미 있는 성과로 LPDDR에 HKMG 공정을 도입한 사례를 꼽았다. HKMG는 반도체 요소 기술*의 대표적인 혁신 사례 중 하나다. HKMG 공정은 시스템 반도체에는 더 일찍 적용되었지만, 메모리 반도체 중에서도 누설 전류를 제어해 전력 소모를 최소화해야 하는 모바일용 D램에서는 구현되기가 쉽지 않았다.

* 요소 기술: 제품의 특성 변화와 개선을 구현하는데 필요한 핵심적인 기술

그는 과거 글로벌 빅테크 기업에서 시스템 반도체에 HKMG 공정을 성공적으로 적용한 경험을 바탕으로 모바일용 D램에서의 기술 장벽을 돌파해냈다. 권 부사장은 “메모리 회로 구조의 패러다임을 바꾼 기술적 성과를 SK하이닉스 구성원들과 함께 만들어냈다는 데 큰 의미가 있다”고 밝혔다.

그는 또, “HBM은 어렵고 복잡한 선행 기술의 제품으로, 가장 기술집약적인 D램이라 할 수 있다”며, “시스템 반도체에서 메모리 반도체로의 도전을 감행하게 된 계기도 바로 HBM이라는 제품 때문이었다”고 덧붙였다. 시스템과 메모리의 융합을 촉발시킨 HBM에 매료되었던 권 부사장은 이제 본격적으로 또 한번의 기술 혁신을 위해 자신의 역량을 펼칠 계획이다.

“오랫동안 이어져온 미세화(Tech Scaling) 기반 성능 개선을 넘어, 시스템 반도체와 메모리 반도체의 구조와 소자, 공정이 융합하며 기술이 발전하는 시대가 올 것이라고 예상했습니다. 그리고 메모리 반도체가 주도하는 혁신의 기회가 있을 것이라고 생각했고, 그 혁신의 시작이 HBM이라 확신했습니다. 제가 쌓아온 경험이 SK하이닉스의 HBM 기술력에 더 큰 시너지를 만들 수 있도록 최선을 다하겠습니다.”

AI 시대 빠른 변화 앞에 자부심 가지고 도전할 것

권 부사장은 앞으로의 HBM 시장에 대해 “고객이 원하는 가치를 담은 제품으로 전문화(Specialized)되고, 고객 맞춤화(Customized)될 것”이라고 예측했다. 그리고 이를 위해 그는 차세대 HBM은 기능적 우수함은 기본이고, 고객별로 차별화한 스페셜티(Specialty) 역량과 메모리 이상의 역할을 할 수 있는 형태로 진화돼야 한다고 강조했다.

“AI 시대에 들어서며 그동안 겪어보지 못한 수준의 빠른 변화가 이어지고 있습니다. 변화를 예측하고 유연하게 대응하는 것이 무엇보다 중요한 때인데요. AI 시대를 선도하고 1등 기술력을 이어가기 위해 HBM PI 조직 역시 요소 기술의 혁신과 빠른 제품화를 위한 기술 개발에 힘쓰고 있으며, 고객 및 외부 파트너와 적극적으로 소통하며 협업을 진행하고 있습니다.”

권 부사장은 단순히 변화를 받아들이는 것을 넘어 시야를 넓히고 적극적으로 도전하는 자세가 중요하다는 소신을 밝혔다.

“향후 AI용 메모리는 현재와 같은 데이터센터향(向) 외에도 특정 목적에 맞춰 성능과 효율성을 높인 ASIC(Application Specific Integrated Circuit)* 형태나 고객의 제품에 최적화한 온디바이스(On Device) 형태로 확대될 것입니다. HBM뿐만 아니라 다양한 종류의 D램이 AI용 메모리로 사용될 것이고, 전통적인 특성 외 다양한 조건으로 특화된 소자 개발이 필요할 것입니다. 이러한 격변기에는 여러 기술을 융합하여 시너지를 낼 수 있도록 시야를 넓히고, 과감히 도전하며 실패하더라도 그 경험을 바탕으로 다시 도전하는 자세가 중요하다고 생각합니다.”

* ASIC(Application Specific Integrated Circuit): 특정 목적을 위해 설계된 집적 회로. 주문형 반도체라고도 함

끝으로, 권 부사장은 구성원들에게 AI 시대의 변화를 끌어간다는 자부심을 가질 것을 당부했다.

“그동안 수많은 기술 변곡점이 있었지만, AI가 만드는 변화는 그 어느 때보다 크고 거셉니다. SK하이닉스가 압도적인 기술 경쟁력을 바탕으로 현재의 기술 변화를 주도하고 있다는 사실을 잊지 마십시오. 모든 구성원이 AI 시대의 주역입니다. 저 역시 그러한 자부심과 책임감을 가지고 HBM 기술력을 높여 가겠습니다.”

[2023 AI 메모리 결산] HBM·PIM·CXL 라인업 ‘탄탄’ SK하이닉스, Global No.1 AI Company로 도약한다

SK하이닉스 — Tue, 19 Dec 2023 15:00:00 +0000

2022년 혜성처럼 등장한 챗GPT는 생성형 인공지능* 열풍을 일으키며 지난 1년 새 많은 것을 바꿔놓았다. 거대언어모델(Large Language Model, LLM)에 기반해 사람의 말을 알아듣는 이 AI는 ICT 분야를 넘어 교육·의료·서비스 등 수많은 영역으로 확장하며 우리 삶을 새롭게 정의하고 있다.

반도체 산업도 생성형 AI 열풍에 발맞춰 숨 가쁜 한 해를 보냈다. 특히 AI 연산에서 메모리의 역할이 더더욱 중요해지며, 메모리 기업들은 AI용 반도체를 개발하는 데 많은 시간과 노력을 쏟았다.

그 가운데서도 SK하이닉스는 올해 AI 메모리 시장에서 가장 큰 두각을 보였다. ▲글로벌 1위 HBM(High Bandwidth Memory)을 필두로 ▲PIM(Processing-In-Memory) 반도체 GDDR6-AiM 기반의 가속기 카드 ‘AiMX’ 시제품을 선보였고 ▲차세대 메모리 솔루션 ‘CXL(Compute Express Link)’ 상용화에도 힘썼다.

뉴스룸은 SK하이닉스 AI 메모리 3종의 한 해를 정리했다. 주요 성과부터 로드맵까지 한눈에 살펴보자.

* 생성형 인공지능(Generative AI): 딥 러닝 모델을 사용하여 대량의 데이터를 학습, 이용자의 요구에 따라 능동적으로 결과를 생성하는 인공지능 기술

SK하이닉스, 적재적소 활용 가능한 AI 메모리 라인업 구축

성과에 앞서 SK하이닉스의 AI 메모리 3종을 자세히 알아보자. 특징과 활용도가 어떻게 다르기에 각각 개발에 나서는 것일까?

▲ SK하이닉스가 2023년 8월 공개한 HBM3E 제품

먼저, HBM은 여러 개의 D램을 수직으로 연결해 데이터 처리 속도를 높인 초고성능 D램을 말한다. 고속 병렬 연산에 적합하도록 메모리 대역폭*을 극대화한 것이 특징이다.

HBM은 모든 AI 분야에 활용할 수 있지만, 특히 학습에 효과적이다. AI 학습 과정에서 GPU로 전달하는 데이터가 가장 크고 많기 때문이다. 소프트웨어(SW) 개발이 함께 필요한 PIM 대비 비교적 빠르고 효과적으로 연산 성능을 높일 수 있어 현재 가장 각광받는 AI 메모리로 꼽힌다.

* 대역폭(Bandwidth): 데이터가 지나는 통로를 의미하며, 대역폭이 넓을수록 한 번에 입출력하는 데이터의 양이 많다.

▲ GDDR6-AiM을 여러 개 모아서 개발한 PIM 가속기 카드 AiMX

PIM은 메모리 반도체에 연산 기능을 더한 지능형 메모리 반도체다. 이는 GPU와 CPU가 메모리에서 데이터를 불러와 연산하는 폰노이만 구조와 달리 메모리 내부에서 연산하는 것이 특징이다.

PIM은 메모리 반도체 내부 저장 공간(뱅크, Bank)마다 전용 내부 데이터 경로의 대역폭을 활용해 연산 속도를 높이며, 연산을 마친 소량의 데이터만 xPU로 전달하기에 병목 현상*과 데이터 이동 거리를 획기적으로 줄여 전력 소모량을 절감하는 효과도 있다.

특히, PIM은 AI 연산 중 추론 영역에 특화된 제품이다. 학습은 시간당 얼마나 많은 데이터를 처리하는지가 중요하고, 추론은 데이터를 지연시간(Latency) 없이 얼마나 빠르게 처리하는지가 사용자의 요구 사항을 충족하기 위한 핵심 요소이기 때문에, 메모리가 연산한 값을 신속히 전달할 수 있는 PIM은 추론에 더 효과적인 것이다.

* 병목 현상: 다음에 처리해야 할 데이터가 메모리에서 도달하지 못해 컴퓨팅 장치가 대기하는 상황이 발생하는 현상

▲ SK하이닉스가 2022년 공개한 DDR5 96GB CXL 2.0 메모리 샘플

CXL은 PCIe* 기반으로 CPU, GPU, 가속기 등 여러 장치와 메모리를 연결하는 통합 인터페이스 기술이다. AI 연산을 위해선 메모리 용량과 대역폭 확장이 필수인데, 기존 시스템에서는 한계가 있다. CPU마다 확장할 수 있는 D램 개수가 제한적이고, 확장한다 해도 대규모 데이터를 처리하는 데는 역부족이기 때문이다.

PCIe 기반의 CXL을 사용하면 모듈을 추가하는 방식으로 메모리 용량과 대역폭을 크게 늘릴 수 있다. 여러 장치에 CXL 메모리를 효율적으로 나눠 쓸 수 있고, 가속기를 붙여 연산에 활용할 수도 있다.

즉, 기존 시스템 변형 없이 성능을 높이고, 전체 메모리를 효율적으로 관리하는 수단을 제공하며, 공유 및 연산 기능으로 AI 데이터를 처리하는 단계별(학습·추론) 환경을 구축할 수 있게끔 도와주는 솔루션이 CXL인 것이다. 이를 위해 CXL 메모리 컨트롤러*가 적용되는데, 이는 여러 장치가 CXL 메모리를 공유할 수 있도록 해준다.

* PCIe(Peripheral Component Interconnect Express): 디지털 기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스
* CXL 메모리 컨트롤러: CPU 등으로부터 명령어를 받은 뒤 D램을 제어해 데이터를 읽고 쓰는 기능을 하는 시스템 반도체

이처럼 HBM, PIM, CXL은 AI 메모리로 불리지만, 저마다 특징과 쓰임이 모두 다르다. 이에 SK하이닉스는 고객이 필요에 따라 자사 환경에 맞는 메모리를 효과적으로 활용할 수 있도록 3종의 솔루션을 모두 개발하며 AI 메모리 라인업을 탄탄히 갖춰 나가는 중이다.

글로벌 1위 수성… HBM 경쟁 우위 굳건히 지켰다

SK하이닉스는 세계 최초로 TSV 기반 HBM 제품을 내놓은 이래 MR-MUF*, 어드밴스드 MR-MUF* 등의 선행 기술을 접목하며 지속적인 성능 향상에 나서고 있다. 2013년 회사는 TSV* 기술로 D램 칩 사이사이에 수천 개의 데이터 이동 통로를 만들어 고용량, 고대역폭 HBM을 구현했다. 이후 MR-MUF 기술로 D램 칩을 쌓고 포장해 생산성을 높였다. 최근에는 어드밴스드 MR-MUF까지 개발, 더 작은 크기로 고용량 패키지를 만들고 열방출 성능도 개선했다[관련기사].

* MR-MUF(Mass Reflow-Molded UnderFill): 매스 리플로우(MR)는 모든 범프를 한 번에 녹여 수직 적층된 칩을 연결하는 기술, 몰디드 언더필(MUF)은 적층된 칩 사이에 보호재를 넣은 후 전체를 한 번에 굳히는 기술로, 칩을 하나씩 쌓을 때마다 필름형 소재를 깔아주는 방식 대비 공정이 효율적이고 열 방출도 효과적이다.
* 어드밴스드 MR-MUF(Advanced MR-MUF): ‘웨이퍼 휨 방지 기술’로 더 얇은 칩을 더 많이 적층하고 ‘신규 보호재’로 언더필을 진행하여 열 방출 성능을 높이는 기술
* TSV(Through Silicon Via): D램 칩에 수천 개의 미세한 구멍을 뚫어 상·하층 칩의 구멍을 수직 관통하는 전극으로 연결하는 기술

이 같은 기술력을 바탕으로 올해 SK하이닉스는 24GB(기가바이트) 12단 HBM3(이하 12단 HBM3)를 개발했다[관련기사]. 지난 8월에는 세계 최고 성능의 HBM3E* 개발을 마쳤다[관련기사]. 이 제품의 핀당 처리 속도는 초당 9.2Gb 이상이며, 데이터 처리량은 초당 1.15TB(테라바이트)에 달한다. 용량은 12단 HBM3와 같지만, 층수는 8단으로 더 적다. 12단 개발 시 더 많은 용량을 확보할 수 있는 셈이다. 특히 이 제품은 고객 인증 과정에서 고사양 GPU의 성능을 최상위로 끌어올리는 것으로 밝혀져, 더 많은 기대를 받고 있다.

* 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)를 거쳐 5세대(HBM3E)까지 개발됨. HBM3E는 HBM3의 확장(Extended) 버전

HBM3E 개발을 성공적으로 마친 SK하이닉스는 국내외 행사에 참여하며 기술 리더십을 공고히 했다. 지난 10월 OCP 글로벌 서밋 2023에서 HBM3E를 세계 최초로 공개한 회사는 하반기 주요 행사에 참석해 HBM3E의 경쟁 우위를 널리 알렸다[관련기사].

경쟁 우위는 내년에도 지속된다. GSM 김왕수 팀장은 “내년에는 HBM3E의 양산·판매가 계획되어 있어, 자사의 시장 지배력이 다시 한번 극대화할 것”이라며 “후속 제품인 HBM4 개발도 본격화할 예정이기에 내년은 SK하이닉스의 HBM이 새로운 국면(Phase)을 맞는 한 해가 될 것”이라고 언급했다.

또 김 팀장은 “AI 산업이 빠르게 성장하는 만큼 HBM 제품도 현재 AI 서버에 국한된 것을 뛰어넘어 AI와 관련된 모든 영역으로 확장할 것”이라며 “이 시점에 자사의 HBM 제품은 AI 산업을 이끄는 매우 중요한 역할을 맡을 것”이라고 전망을 밝혔다.

저전력으로 10배 빠른 응답 속도… AiMX로 ‘눈도장’

SK하이닉스의 PIM은 GDDR6-AiM*을 시작으로 상용화에 한 발짝 다가서고 있다. GDDR6-AiM은 xPU와 함께 사용하는 지능형 메모리 반도체로, 그래픽 D램인 GDDR6에 가속기(Accelerator)*가 덧붙은 제품이다[관련기사].

* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨
* 가속기(Accelerator): 각종 정보 처리와 연산에 특화 설계한 칩(Chip)을 사용해 만든 특수 목적의 하드웨어(Hardware) 장치를 통칭

SK하이닉스는 지난 9월, 이 메모리를 기반으로 한 AiMX* 시제품을 공개하며 업계 관심을 한 몸에 받았다. AiMX는 GDDR6-AiM 여러 개를 연결해 성능을 높인 가속기 카드로, GPU 대신 AI 연산에 활용할 수 있다. LLM 추론 기반 서비스에 특화된 이 제품은 GPU 대비 빠른 응답 속도와 더 적은 전력으로 데이터를 처리한다.

* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

같은 달, 회사는 AI 하드웨어 & 엣지 AI 서밋 2023에서 AiMX 시제품의 실성능을 공개하기도 했다. AiMX 시제품을 탑재한 서버에서 메타(Meta)의 생성형 AI인 ‘OPT(Open Pre-trained Transformer) 13B(Billion)’ 모델을 시연한 것이다. 130억 개 매개변수를 가진 AI 모델로 추론을 진행했는데, AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르지만, 전력 소모는 1/5 수준이다[관련기사].

올 하반기 SK하이닉스는 각종 행사에 참여해 AiMX가 바꿔나갈 미래에 관해서도 중요하게 언급했다. 특히 AiMX가 빠른 응답 속도로 AI 서비스의 답변 속도를 높이고, 낮은 소비 전력으로 운영 비용을 크게 줄여준다고 강조했다.

본격적인 상용화를 위해 내년에는 성능과 활용 범위를 더욱 높일 계획이다. Solution개발 권용기 팀장은 “SK하이닉스의 AiM은 AI 추론 분야에서의 핵심인 가격 경쟁력을 갖춘 유일한 AI 솔루션”이라며 “데이터센터부터 온디바이스(On-Device) AI*를 탑재한 모바일까지 AI 추론 영역에서 폭넓게 활용될 것”이라고 이야기했다.

* 온디바이스(On-Device) AI: 인터넷 접속 없이 스마트폰과 같은 단말기 내에서 바로 AI 연산과 추론을 처리하여 효율을 높이는 개념

또, “수백 GB급 LLM에 대응하기 위해 스펙 향상을 진행한다”며 향후 로드맵을 언급했다. SK하이닉스는 고용량 AiMX 시제품을 내놓고, OPT 13B보다 더욱 큰 규모의 LLM을 시연한다는 계획이다.

CXL 상용화 초읽기… 다양한 AI 서비스에 최적화된 환경 제공한다

현재 SK하이닉스는 CXL 기반 3가지 솔루션으로 AI 메모리 시장을 공략하고 있다. ▲CXL 2.0 E3.S 메모리 확장 솔루션(Memory Expansion Solution, 이하 확장 솔루션) ▲CXL 풀드 메모리 솔루션(Pooled Memory Solution) ▲CMS(Computational Memory Solution) 2.0 등이다[관련기사].

확장 솔루션은 기존 서버 시스템의 메모리 용량을 확장하고, 대역폭을 높여주는 솔루션이다. SSD와 같은 EDSFF E3.S 폼팩터를 사용하고 PCIe 5.0을 지원해, 손쉽게 부착해 용량과 성능을 높일 수 있다[관련기사].

올해 SK하이닉스는 제품화를 위해 많은 고객과 검증 협업을 진행했다. 5월에는 실물 서버에 적용한 DDR5 96GB CXL 2.0 메모리를 공개, 상용화에 한 발짝 더 다가섰다. 적극적인 협업을 통해 고객사의 솔루션 채용을 이끌어낸 것은 올해 CXL 분야에서 거둔 가장 큰 성과다.

풀드 메모리 솔루션은 여러 개의 CXL 메모리를 묶어 풀(Pool)을 구성하고, 여러 호스트(CPU, GPU 등)가 용량을 나눠 쓰도록 해주는 솔루션이다. 유휴 메모리가 없도록 사용을 최적화하고, 전력 소모를 줄여 비용을 절감하는 효과가 있다. SK하이닉스는 이를 구현한 ‘나이아가라(Niagara): CXL 분리형 메모리 솔루션’ 시제품을 공개하며[관련기사], 메모리 확장에 이은 또 다른 경쟁력을 보여줬다.

CMS 2.0은 CXL 메모리에 연산 기능을 통합한 솔루션이다. 메모리 확장성이 높은 CXL의 장점에 머신러닝 및 데이터 필터링 연산 기능이 더해진 것이 특징이다. 지난해 10월 CMS 개발에 성공한 SK하이닉스[관련기사]는 올해 기술을 고도화하는 한편, 성능 시연에 나서며 경쟁력을 알렸다.

CXL 3종의 성능은 델 테크놀로지스 월드 2023[관련기사], 슈퍼컴퓨팅 2023[관련기사] 등에서 확인할 수 있었다. 이를 통해 회사는 메모리 확장 솔루션이 기존 시스템 성능을 얼마나 향상하고, ‘나이아가라’ 시제품이 인공지능과 빅데이터 처리 분산 시스템에서 메모리 성능을 어떻게 높이며, CMS 2.0이 데이터 처리 성능과 에너지 효율 향상에 얼마나 기여하는지 보여줬다.

내년에는 상용화에 주력한다. SK하이닉스는 메모리 확장 솔루션 제품화 및 양산에 나선다. GSM 최원하 TL은 “96GB와 128GB 제품을 중심으로 24년 상반기에는 고객 인증을 마치고, 하반기에 상용화할 예정”이라며 “CXL 2.0 메모리 확장 솔루션을 적용한 고객은 DDR5만 탑재한 기존 시스템 대비 최대 50% 대역폭 향상을 기대할 수 있고, 용량 확장도 최대 50~100%까지 가능하다”고 언급했다.

이제 하나의 서버에 고대역폭·고용량 메모리를 탑재하는 방식으로는 AI 시대에 대응할 수 없다. 미래의 AI 시스템은 HBM으로도 충족할 수 없는 대용량 메모리를 요구할 수도 있다. 그렇기에 확장 솔루션으로 메모리 용량을 늘리고, 풀드 메모리 솔루션으로 공유하며, AI 연산까지 가능한 CXL은 주목받을 수밖에 없다.

이에 최 TL은 “SK하이닉스는 공유, 연산 등 다양한 응용 사례를 창출하는 동시에 HBM이 주도하는 AI 시장에 더불어 더 많은 용량으로 유연하게 확장할 수 있는 CXL 제품을 개발할 것”이라고 계획을 밝혔다.

HBM으로 시장을 선도하는 가운데 AiMX, CXL 솔루션으로 AI 메모리 라인업을 탄탄하게 마련해 놓은 SK하이닉스. 내년 회사는 후속 제품들의 상용화를 본격화하며, Global No.1 AI Company의 지위를 더욱 굳건히 할 계획이다.

SK하이닉스, ‘SK 테크 서밋 2023’에서 AI 시대를 선도하는 차세대 메모리 기술 공개

SK하이닉스 — Mon, 20 Nov 2023 15:00:00 +0000

SK하이닉스는 지난 16~17일 서울 삼성동 코엑스에서 열린 ‘SK 테크 서밋 2023’에 참가해 인공지능(Artificial Intelligence, AI) 시대를 이끄는 첨단 메모리 제품과 기술을 선보였다.

올해로 8회를 맞은 SK 테크 서밋은 SK그룹의 기술 역량을 결집한 ICT 컨퍼런스 행사다. 올해는 ‘AI Everywhere for a better future’를 주제로 SK그룹 멤버사 17개사를 포함한 총 33개사가 115건의 발표와 103건의 전시를 선보이며 역대 최대 규모로 열렸다(이 중 SK그룹 발표 99건, 전시 93건). 특히, 이번 행사에는 아마존웹서비스(AWS), 구글(Google) 등 글로벌 빅테크 기업은 물론 SK텔레콤 주도로 운영되고 있는 AI 기술 협의체인 K-AI 얼라이언스(K-AI Alliance) 회원사 등도 파트너사 자격으로 참여했다.

▲ 곽노정 SK하이닉스 대표이사 사장이 ‘SK 테크 서밋 2023’ 행사장 내 SK하이닉스의 전시관을 참관하고 있다.

현장을 찾은 SK하이닉스 곽노정 대표이사 사장은 SK하이닉스의 HBM을 포함한 총 11개 전시 부스를 둘러보며 SK그룹이 AI를 통해 만들어가는 현재와 미래의 모습을 확인했다.

SK하이닉스, 글로벌 No.1 AI 메모리 기업의 기술 역량 선보여

SK 테크 서밋 2023의 전시 부스가 준비된 코엑스 1층 그랜드볼룸에는 SK그룹 멤버사 17개사를 포함한 총 33개사가 AI, AR/VR, 빅데이터, 블록체인, 클라우드, ICT 융합 등 6개 기술 영역에서 103건의 다양한 기술들을 선보였다.

SK하이닉스는 AI 구현의 핵심인 차세대 메모리 솔루션을 선보였다. 이 중 생성형 AI와 함께 가장 주목받고 있는 ▲고대역폭 메모리 HBM3* ▲지능형 메모리 AiM* ▲AI 가속 솔루션 시제품 AiMX* 전시에 많은 관객들이 몰리며, AI용 메모리에 대한 세간의 관심을 입증했다. 각 부스에서는 제품 전시와 성능 시연이 함께 진행됐다.

* HBM(High Bandwidth Memory): 여러 개의 D램 칩을 TSV(Through Silicon Via, 실리콘 관통 전극)로 수직 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품
* AiM(Accelerator in Memory): SK하이닉스의 PIM(Process In Memory)** 반도체 제품명, GDDR6-AiM이 이에 포함
** PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 개발한 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속 솔루션 시제품

특히, 엔비디아의 인공지능용 그래픽처리장치(GPU)인 ‘H100’에 탑재된 SK하이닉스의 HBM3는 회사의 기술력과 함께 인공지능용 서버에 최적화된 제품임을 보여주며 관람객의 시선을 끌었다.

또, 고성능 컴퓨팅(High-Performance Computing, HPC) 시장에서 각광받는 ▲메모리 대역폭을 늘려 효율적인 컴퓨팅을 가능하게 하는 CXL* 솔루션 ▲세계 최고속 서버용 D램인 DDR5 MRDIMM*도 관객들의 이목을 집중시켰다.

* CXL(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 구축하기 위한 PCIe 기반의 차세대 인터커넥트 프로토콜. 기존 D램 제품과 함께 서버 시스템의 메모리 대역폭을 늘려 성능을 높이고, 쉽게 메모리 용량을 확대할 수 있는 기능을 지원함
* MRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module): 여러 개의 D램이 기판에 결합된 모듈 제품으로, 모듈의 기본 정보처리 동작 단위인 랭크(Rank)** 2개가 동시 작동되어 속도가 향상된 제품임
** 랭크(Rank): D램 모듈에서 CPU로 내보내는 기본 데이터 전송 단위의 묶음. 보통 64바이트(Byte)의 데이터가 한 묶음 단위가 돼 CPU에 전송됨

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 전시한 고대역폭 메모리 HBM3가 탑재된 서버와 AI 가속 솔루션 신제품 AiMX의 모습

CXL 전시 부스에서 SK하이닉스는 ▲CXL 메모리에 연산 기능을 더한 CMS* ▲CXL 기반의 풀드 메모리(Pooled Memory) 솔루션*을 함께 소개했다. 특히, 제품 구동 시연과 함께 성능 및 에너지 효율 향상 사례를 공유하며 CXL 기반의 메모리 솔루션이 인공지능과 빅데이터 처리 분산 시스템에서 어떻게 메모리 성능을 높일 수 있는지 보여줬다.

이와 함께 전시된 세계 최고속 서버용 D램인 MRDIMM은 데이터를 버퍼에 모아 한꺼번에 전송하는 기능을 탑재해 속도를 높이는 방식을 적용, 기존 제품보다 약 55% 빠른 동작 속도를 선보이며 눈길을 끌었다.

* CMS(Computational Memory Solution): 고용량 메모리를 확장할 수 있는 CXL 메모리에 빅데이터 분석이나 AI와 같은 대용량 데이터가 필요한 응용 프로그램에서 주로 사용되는 연산 기능이 포함된 메모리 솔루션
* 풀드 메모리(Pooled Memory): 여러 호스트가 동시에 접속할 수 있는 대용량의 CXL 메모리를 묶어 풀(Pool)을 만들고 이를 각 호스트가 효과적으로 메모리 용량을 나누어 사용할 수 있도록 해 유휴 메모리가 없도록 사용량을 최적화하여 비용을 절감하고 공유 메모리 제공을 통해 시스템의 성능을 개선하는 기술

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 전시한 CXL과 세계 최고속 서버용 D램인 DDR5 MRDIMM의 모습

차세대 메모리 모듈 LPCAMM2(Low Power Compression Attached Memory Module 2)도 전시됐다. LPCAMM2은 LPDDR5X 기반의 모듈 솔루션 제품으로 기존 DDR5 SODIMM* 2개를 LPCAMM2 1개로 대체하는 성능 효과를 가지면서 공간 절약뿐만 아니라 저전력과 고성능 특성을 구현한 것이 특징이다. 향후 LPCAMM2는 노트북 시장을 시작으로 저전력, 고성능 특성이 요구되는 서버, 데이터 센터, 엣지 컴퓨팅 등 적용 분야가 점차 확대될 것으로 보인다.

* SODIMM: 데스크탑 및 노트북 등 PC에서 사용되는 메모리 모듈을 통칭하는 개념. SODIMM(Small Outline DIMM)은 PC에서 사용되는 초소형 모듈로 전체 길이가 짧음

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 전시한 차세대 메모리 모듈 LPCAMM의 모습

이 밖에도 SK하이닉스는 고성능 AI센서가 탑재된 보안 카메라, 반도체 센서를 적용한 바이오 제품 등 SK그룹 ICT위원회 산하에서 진행 중인 다양한 협업 성과도 공개했다. 한 예로 SK하이닉스의 CXL 기반 차세대 연산 메모리 솔루션인 CMS를 SK텔레콤의 데이터 분석 플랫폼인 라이트닝 DB(Lightning DB)*에 적용하여 지도상의 유동 인구 정보를 분석하는 과정이 소개됐다. 이는 세계 최초 NMP*를 적용한 CXL 메모리 솔루션으로 빅데이터 분석 분야에서 성능과 에너지 효율 개선이 가능함을 보여준 사례가 됐다.

* 라이트닝 DB(Lightning DB): SK텔레콤은 대용량의 데이터를 효율적으로 처리하기 위해 인-메모리 데이터 분석 플랫폼(In-Memory Data Analytics Platform) ‘라이트닝 DB’를 자체 개발, 다양한 상용 서비스에 적용해 왔다. 해당 플랫폼은 실시간 데이터 처리에 특화된 메모리 중심 설계로, 대용량 데이터를 작은 단위로 분할 저장 후, 최적화된 병렬 처리를 통해 높은 데이터 분석 성능을 자랑함
* NMP(Near-Memory Processing): CPU-메모리 간 데이터 이동 시 발생하는 병목 현상을 해결하고, 처리 성능 향상을 위해 메모리 주변에서 연산 기능을 수행하는 차세대 메모리 아키텍처

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 시연한 CXL 기반 CMS

더 큰 시너지를 만드는 최첨단 기술 공유의 장

행사는 전시 외에도 강연과 발표·토의 세션, 체험 및 네트워킹 이벤트 등으로 다채롭게 꾸며졌다. SK그룹 관계사 구성원들이 연사로 참여해 반도체, 빅데이터, 클라우드 등 AI 관련 기술과 산업에 관한 주제로 총 115건의 다양한 세션이 펼쳐졌고, 관객들과 토론하며 기술 교류의 장을 완성했다. SK하이닉스 구성원들 역시 ‘AI: 반도체’ 트랙 등 다양한 세션에 참여했다.

▲ ‘SK 테크 서밋 2023’에서 PIM, 4D NAND, CXL 등 회사 AI 기술을 소개 중인 Solution개발 김일곤 TL, NAND개발 박강우TL, DT 조국일 TL 그리고 메모리시스템연구소 이경수 TL

Solution개발 김일곤 TL은 ‘AiM 기반 생성형 AI 모델 가속 솔루션, AiMX’를 주제로 발표했다. 김 TL은 AI 서비스의 응답 속도를 근본적으로 개선하고 전력 소모를 줄여서 운영 비용을 크게 줄이는 AiMX 솔루션의 특장점을 소개했다. 또, 앞으로도 고효율 저비용을 추구하는 생성형 AI 솔루션 공급을 목표로 다양한 글로벌 회사들과 협업을 통해 기술 연구와 개발을 지속해 나갈 것이라고 밝혔다.

이어서 NAND개발 박강우 TL은 ‘멀티모달(Multimodal) AI* 시대를 준비하는 4D NAND 설계 기술’을 주제로 세션을 진행했다. 박 TL은 AI 기술이 많은 데이터를 동시에 처리하는 멀티모달로 진화하며, 이로 인한 메모리의 수요는 폭발적으로 증가할 것이라 예측했다. 그리고 그는 구동회로(Peri)를 셀 하부에 넣어 전체 면적을 줄이고 적층 수를 늘린 PUC(Peri Under Cell), 셀을 3개 그룹으로 분류해 데이터를 저장하여 셀의 분포를 개선한 트리플 검증 방식(Triple Verify Program, TPGM) 등 SK하이닉스의 최신 4D 낸드 설계 기술을 소개하며 칩 사이즈는 줄이면서도 성능을 높이며 회사 제품의 가격 경쟁력을 높일 수 있게 됐다는 점을 강조했다.

* 멀티모달(Multimoda) AI: 기존에 텍스트 기반으로 사용자가 원하는 질문을 답변할 수 있는 거대 언어 모델 AI를 넘어 이미지, 동영상, 소리 등을 이해하고 이를 텍스트로 해석 하여 변환하거나 반대로 텍스트에서 이미지나 소리를 생성할 수 있는 AI 모델을 의미함

AI 메모리 반도체 기술뿐만 아니라 반도체 산업에서의 AI 기술 활용에 대한 흥미로운 발표도 이어졌다. DT 조국일 TL은 AI로 웨이퍼 불량을 학습하여 산업용 이상 탐지 시스템으로 활용할 수 있는 자체 개발 솔루션인 WINGS(Wafer Image Normality Grading System)를 소개했다. 조 TL은 이 솔루션을 통해 업무 효율 향상과 사고 예방 및 품질 개선에서 효과를 보고 있는 활용 사례를 통해 산업 전반에서 활용할 수 있는 가능성을 시사하며 회사의 AI 알고리즘 기술력도 소개했다.

이 밖에도 메모리시스템연구소 이경수 TL과 오세진 TL은 CXL 기반 플랫폼의 특장점과 메타(Meta)에서 개발한 소프트웨어 엔진인 캐시립(CacheLib), 데이터 처리 플랫폼 업체인 헤이즐캐스트(HazelCast)의 IMDG* 플랫폼에서의 적용 사례를 발표했다. 회사는 고객의 요구 사항에 맞춰 독자적으로 높은 대역폭과 용량을 확보할 수 있는 CXL 확장 솔루션을 개발하고, 이를 상용화된 기술에 적용한 사례를 시연하며 확장성과 효율성을 강조했다.

* IMDG(In-Memory Data Grid): 웹 애플리케이션 서버 상에서 동작하는 데이터를 웹 서버와 동일한 공간에 배치하여 서비스 응답 속도를 향상시키는 분산 소프트웨어 솔루션. 하나의 컴퓨터 서버에서 제공할 수 있는 메모리보다 많은 메모리를 필요로 하는 대규모 애플리케이션들을 지원하기 위해 사용됨

이번 행사를 통해 SK하이닉스는 SK그룹이 공표한 AI 중심 성장 전략과 발맞춰, ‘글로벌 No.1 AI 메모리 솔루션 공급자’로서 혁신적인 기술 연구와 개발을 지속해 나갈 것이라고 밝혔다.