컴퓨텍스는 대만 대외무역발전협회(TAITRA)와 대만컴퓨터협회가 공동으로 주최하는 아시아 최대 ICT 박람회다. 과거에는 개인용 컴퓨터(PC) 중심의 박람회였지만, 최근에는 AI, HPC(고성능 컴퓨팅) 등으로 영역이 확대되며, 참여 기업들의 첨단 기술을 선보이는 장(場)이 되고 있다.

‘Connecting AI’를 주제로 한 올해 컴퓨텍스에는 1,500여 개 기업이 참여했으며, 6가지 테마로 꾸며진 4,500여 개 부스가 관람객을 맞았다.

▲ 대만 타이베이에서 개최된 ‘컴퓨텍스 2024’에 참여한 SK하이닉스

SK하이닉스는 이번 컴퓨텍스에서 ‘Memory, The Power of AI’를 주제로 부스를 설치하고 ▲AI 서버 ▲AI PC ▲Consumer SSD 등 3개의 섹션으로 나눠 자사의 AI 메모리 솔루션을 전시했다.

AI 서버 솔루션 중에서는 HBM*의 5세대 제품인 HBM3E가 관람객의 이목을 끌었다. 이 제품은 초당 1.18TB(테라바이트)의 데이터를 처리할 수 있는 압도적인 속도와 대용량, 우수한 열 방출 성능을 보여주며, AI 서버에 최적화된 제품이라는 평가를 받았다.

▲ 컴퓨텍스 2024에 전시된 HBM3E

▲ 컴퓨텍스 2024에 전시된 서버 모듈 제품군과 CMM(CXL® Memory Module)-DDR5

▲ 컴퓨텍스 2024에 전시된 eSSD 제품군

DDR5 기반의 메모리 모듈로 CXL®* 메모리 컨트롤러를 장착한 CMM(CXL® Memory Module)-DDR5도 전시됐다. 이 제품은 CXL® 장착을 통해 기존 시스템보다 대역폭은 50% 향상되고 용량은 100% 확장된 제품이다. 이밖에도 데이터 버퍼(Buffer)*를 사용해 D램 모듈의 기본 동작 단위인 랭크 2개가 동시 작동하도록 설계한 ‘128GB TALL MCRDIMM’을 처음 선보였으며, 고성능 ‘DDR5 RDIMM’ 등 다양한 AI D램 제품을 확인할 수 있었다.

* HBM(High Bandwidth Memory): 여러 개의 D램을 수직관통전극(TSV, Through Silicon Via)으로 연결해 고대역폭을 구현한 메모리로, 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전
* CXL®(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 활용하기 위한 차세대 인터페이스
* 버퍼(Buffer): D램 모듈 위에 같이 탑재돼 D램과 CPU 사이의 신호 전달 성능을 최적화하는 부품. 고성능과 안정성이 요구되는 서버용 D램 모듈에 주로 탑재된다.

부스에서는 빠른 연속 읽기 속도와 연속 쓰기 속도로 AI를 위한 빅데이터, 머신러닝에 특화된 ‘PS1010’ ‘PE9010’과 같은 eSSD* 제품들도 모습을 보였다. 특히, 솔리다임의 주력 제품인 ‘D5-P5430’과 61.44TB의 초대용량을 자랑하는 ‘D5-P5336’도 함께 전시되며, 많은 관심을 끌었다.

* eSSD(Enterprise Solid State Drive): 기업용 SSD, 주로 서버나 데이터센터에 탑재된다.

▲ 컴퓨텍스 2024에 전시된 PCB01, LPCAMM2, DDR5 SODIMM, GDDR7

SK하이닉스는 AI 시대를 맞아 온디바이스* AI PC에 최적화된 메모리 솔루션도 선보였다. SK하이닉스의 cSSD*인 5세대 PCIe* ‘PCB01’은 연속 읽기 속도가 초당 14GB(기가바이트), 연속 쓰기 속도는 초당 12GB로 업계 최고 속도를 자랑한다. 특히, 이전 세대 대비 전력 효율이 30% 향상돼, 대규모 AI 연산 작업에서 속도와 전력 효율을 크게 높일 수 있다.

이외에 여러 개의 LPDDR5X 패키지를 묶은 최신형 메모리 모듈인 LPCAMM2와 DDR5 SODIMM*, 차세대 그래픽 D램 GDDR7 등도 함께 전시됐다.

* 온디바이스(On-Device) AI: 클라우드 기반 AI 서비스와는 달리, 스마트폰이나 PC와 같은 단말 내에서 바로 AI 연산과 추론을 수행하는 개념
* cSSD(Client Solid State Drive): 소비자용 SSD, 주로 PC, 태블릿 등 개인용 전자기기에 탑재됨
* PCIe(Peripheral Component Interconnect Express): 디지털 기기의 메인보드에서 사용하는 직렬 구조의 고속 입출력 인터페이스
* SODIMM(Small Outline DIMM): 데스크탑 및 노트북 등 PC에서 사용되는 메모리 모듈을 통칭하는 개념

▲ 컴퓨텍스 2024에 전시된 플래티넘(Platinum) P51, 플래티넘(Platinum) P41, 비틀(Beetle) X31

Consumer SSD 섹션에서는 SK하이닉스의 소비자용 SSD인 플래티넘(Platinum) P41과 플래티넘(Platinum) P51을 만나볼 수 있었다. 이미 많은 소비자에게 호응을 얻고 있는 Platinum P41의 경우, 4세대 PCIe 기반 NVMe(Non-Volatile Memory Express) SSD 중 최고 사양을 자랑하는 제품이다. P41의 성능 향상 버전인 Platinum P51은 열 발생을 줄여 전력 효율을 30% 개선한 제품으로 많은 관람객의 관심을 끌었다. 이와 함께, 외장형 SSD 제품인 비틀(Beetle) X31*[관련기사]’의 용량을 2TB로 늘린 업그레이드 버전도 공개했다.

* 비틀(Beetle) X31: SK하이닉스의 첫 외장형 SSD로 우수한 성능과 편리한 휴대성, 감각적인 디자인으로 관심을 끌고 있는 제품. USB 3.2 Gen2 10Gbps 등의 성능을 제공한다.

게다가, 이번 컴퓨텍스에서는 SK하이닉스와 HLDS(Hitachi LG Data Storage)가 공동으로 개발한 스틱형 SSD ‘튜브(TUBE) T31’이 HLDS 부스에 전시되기도 했다. SK하이닉스 최초의 스틱형 SSD인 TUBE T31은 케이블 없이 컴퓨터에 직접 연결할 수 있는 외장형 SSD로 Platinum P41용 방열판 ‘Haechi H02’와 함께 세계 3대 디자인상 중 하나인 ‘레드닷 디자인 어워드(RedDot Design Award)’ 수상 제품이다.

부스 한편에서는 SK하이닉스의 ESG 활동도 함께 선보였다. 2030 RM(Recycled/Renewable Materials, 재활용/재생 가능 소재) 로드맵을 포함한 저전력 제품 개발과 물 재활용 등 회사의 주요 ESG 목표와 실적을 공개했다.

SK하이닉스는 이번 행사와 관련해 “‘토털 AI 메모리 프로바이더’로서 지위를 공고히 하기 위해 컴퓨텍스에 처음으로 참여하게 됐다”며 “HBM3E, TALL MCRDIMM, PCB01 등 업계 최초, 최고의 제품들을 통해 AI 시대를 이끄는 진정한 퍼스트 무버(First Mover)가 될 것”이라고 밝혔다.

▲ FMS 전시장 내 SK하이닉스 부스 모습

8월 8일부터 10일(이하 현지시간)까지 사흘간 열린 이번 행사에 회사는 “기술로 하나가 되다(United Through Technology)”라는 슬로건과 함께 혁신적인 메모리 솔루션을 공개했다.

멀티모달 AI 시대의 핵심, 업계 최고의 4D 낸드 솔루션

▲ FMS 2023에서 기조연설하는 SK하이닉스 최정달 부사장(NAND개발 담당)

▲ FMS 2023에서 기조연설하는 SK하이닉스 안현 부사장(솔루션개발 담당)

행사 첫날인 8일, 최정달 부사장(NAND개발담당)과 안현 부사장(솔루션개발담당)은 “멀티모달 AI(Multimodal AI)* 시대를 구현하는 업계 최고의 4D 낸드 기술 및 솔루션”이라는 주제로 기조연설을 진행했다.

최정달 부사장은 이번 기조연설에서 “당사는 4D 낸드 5세대 321단 제품을 개발해 낸드 기술 리더십을 공고히 할 계획”이라며 “AI 시대가 요구하는 고성능, 고용량 낸드를 시장에 주도적으로 선보이며 혁신을 이끌어가겠다”고 말했다.

안현 부사장은 이를 기반으로 개발한 데이터센터 및 PC용 초고성능 UFS 4.0 및 PCIe 5세대(Gen5) SSD 제품을 소개했다. 멀티모달 AI가 다양한 플랫폼에서 방대한 데이터를 분석하고 계산하기 위해서는 SSD 제품이 필수적인 스토리지(Storage) 솔루션이 될 것으로 전망하며 지속적인 발전의 필요성을 강조했다.

이를 위해 진일보한 회사의 자체 솔루션 개발 기술력을 바탕으로 SK하이닉스는 UFS 5.0 및 PCIe 6세대 SSD 등을 개발하여 업계 기술 트렌드를 선도하겠다고 밝혔다.

한계를 뛰어넘다: 선도적인 세계 최고 4D 낸드 기술력과 SSD 솔루션 공개

▲ SK하이닉스 4D 낸드 솔루션 제품 전시 모습

SK하이닉스는 4D 낸드 기술의 성능과 신뢰성을 기반으로 신제품 개발을 이어가고 있다. 2018년 CTF* 기반의 업계 최초 96단 4D 낸드 개발에 이어, 4년 뒤 238단 4D 낸드를 개발하며 혁신의 발판을 마련했다.

이번 전시에서는 321단 1Tb(테라비트) TLC*(Triple Level Cell) 4D 낸드 개발 경과를 발표하고 개발 단계의 샘플을 공개했다. 현재까지 300단 이상 낸드의 개발 경과를 공개한 것은 SK하이닉스가 처음이며, 이전 세대인 238단 512Gb(기가비트) 대비 생산성이 59% 높아졌다. 데이터를 저장하는 셀을 더 높은 단수로 적층, 한 개의 칩으로 더 큰 용량을 구현할 수 있어 웨이퍼 한 장에서 생산할 수 있는 전체 용량이 늘었기 때문이다.

SK하이닉스는 전시 부스를 통해, 321단 낸드 개발 샘플 외에도 다양한 제품을 선보였다. 이 중 V7 낸드를 활용한 PCle* 5세대 eSSD(enterprise SSD, 기업용 SSD)인 PS1030이 관람객들의 눈길을 끌었다. 시연을 위해 슈퍼마이크로 서버에 적용된 PS1030의 순차 읽기(Sequential Read) 속도는 14,800MB/s로 업계에서 가장 빠른 속도를 구현했다. 또한, 고성능 eSSD로서 3,300kIOPS*의 랜덤 읽기(Random Read) 성능도 보여주었다.

이외에도 V8 낸드 기반 cSSD(client SSD, 일반 고객용 SSD) 중 첫 번째 제품인 PCIe 4세대 PC811과 고사양의 Platinum P41, 높은 전력 효율을 보여준 Gold P31, SK하이닉스 최초의 일반 소비자용 포터블(Portable) SSD인 비틀(Beetle) X31 등 다양한 SSD를 선보였다.

KV-CSD를 활용한 HPC의 강력한 성능

▲ SK하이닉스 정우석 PL(메모리시스템솔루션)이 KV-CSD의 성능 발표하는 모습과 전시된 시연 제품

SK하이닉스는 지난해 FMS에 이어 올해도 주문형 키값 저장소 전산 저장장치(Key Value Store Computational Storage Device, KV-CSD)의 시연을 진행했다. KV-CSD는 회사와 미국 로스앨러모스국립연구소(Los Alamos National Laboratory, LANL)가 공동 개발한 제품으로, 고성능 컴퓨팅(HPC)의 읽기 및 쓰기 성능을 향상시키는 차세대 지능형 스토리지 제품이다.

관련하여 정우석 PL(메모리시스템솔루션)은 10일 열린 세션에 참석하여 KV-CSD의 성능에 대해 발표했다. “HPC 시스템에서 쿼리를 가속하는 KV-CSD 아키텍처(Architecture of a Query Accelerating KV-CSD in a HPC System)”을 주제로 KV-CSD가 소프트웨어 키 값 저장장치의 한계를 어떻게 극복하는지 공개했다.

고성능 모바일 및 오토모티브 솔루션

▲ SK하이닉스 모바일 및 오토모티브 기술 제품 전시 모습

SK하이닉스는 ‘모바일 및 오토모티브 기술’도 공개했다. 이번에 전시된 V7 512Gb(기가비트) 범용 플래시 스토리지(UFS) 제품군에는 UFS* 2.2, UFS 3.1 및 UFS 4.0 기반 제품도 포함됐다. 향상된 대역폭 속도와 전력 효율을 제공하는 최신 사양 제품이다. 또한, 모바일 D램 LPDDR과 UFS를 결합한 uMCP(Universal Multichip Package)* 제품도 선보였다.

오토모티브 솔루션 부스에서는 모바일 D램 LPDDR5X와 HBM2E가 ADAS*(첨단 운전자 보조 시스템)의 필수 구성 요소로 전시되었다. 특히 SK하이닉스는 모빌리티 산업을 위해 HBM 제품군을 개발한 ‘유일한’ 회사로 HBM2E는 이러한 강점을 여실히 보여주었다.

ADAS 관련 기술 외에도 차량 내 연결을 지원하는 eMMC 5.1 내장형 멀티미디어 카드, 차량 내 인포테인먼트 및 스토리지에 적용되는 UFS 3.1 기반 SSD 제품 등 다양한 모빌리티 솔루션을 선보였다.

미래를 향한 멈추지 않는 혁신

FMS 2023에서 보여준 성과가 증명하듯, SK하이닉스는 미래를 위해 끊임없이 도전하고 있다. 업계를 선도하는 다양한 메모리 솔루션을 제공하고 있는 현재에 안주하지 않고 멈추지 않는 혁신으로 고성능 메모리 제품군의 선도적 기술 입지를 공고히 할 것이다.

이번 연재물에서는 컴퓨터와 반도체의 관점에서 인공지능을 살펴볼 것이다. 인공지능으로 바뀌면서 ‘0’과 ‘1’이 구체적으로 어떻게 변화되어 응용되는지를 알아보고, 이때 반도체는 어떤 역할을 해야 하는지 확인해볼 것이다. (필자 주)

빅데이터, 낸드플래시 시대의 도래

2010년만 해도 데이터 저장소(Storage)의 대명사는 하드디스크(HDD)였다. 하지만 하드디스크의 경우, 기계장치라는 특성과 구조상의 한계로 인해 데이터 처리 속도를 향상하는 데 큰 어려움이 있었다. 반면 낸드플래시*는 개별 칩의 반응 속도가 빨랐을 뿐만 아니라, 칩 여러 개를 사용하면 개수에 비례해 성능을 높일 수 있었다.

* 낸드플래시(NAND Flash Memory) : 전원이 꺼지면 저장된 자료가 사라지는 D램과 달리 전원이 없는 상태에서도 메모리에 데이터가 계속 저장되는 플래시 메모리의 일종

▲ 그림 1 : 낸드플래시가 적용된 SSD*, eMMC*, UFS* 등 SK하이닉스의 제품들

이러한 이유로 하드디스크는 메모리 회사들의 eMMC, UFS와 같은 낸드플래시 기반 제품에 자리를 내주어야 했다. 그리고 낸드플래시 메모리가 필요한 곳이 또 하나 생겨나기 시작했다. 바로 인공지능 데이터 학습이다.

* SSD(Solid State Drive) : 반도체를 이용해 정보를 저장하는 장치. 순수 전자식으로 작동하므로 기계식인 HDD보다 긴 탐색 시간, 반응 시간, 기계적 지연, 오류율, 소음을 크게 줄여준다.
* eMMC(Embedded Multi Media Card) : 데이터 고속 처리를 위해 모바일 기기에 내장되는 메모리 반도체. 모바일 기기의 보조 데이터 저장 공간으로 사용되는 탈착형 외장 메모리 카드(SD카드 등)와 달리, eMMC는 컨트롤러와 낸드플래시 메모리가 패키지로 통합돼 모바일 기기에 내장된다.
* UFS(Universal Flash Storage) : eMMC의 뒤를 이어 탄생한 저장 장치로 읽기와 쓰기가 동시에 가능한 초고속 플래시 메모리

학습 서버와 데이터

우리는 지난 2편(HBM 편)[관련기사]에서 GPU 내부에서 GPU 칩과 HBM이 어떻게 통신하고, HBM 안에 무엇이 들어 있는지 확인했다. 이제 우리의 이해를 조금 더 넓힐 시간이다. 거대 인공신경망을 학습하는 시스템이 어떤 모습일지 대략 살펴보자.

▲ 그림 2 : 신경망을 빠르게 학습시키기 위해 수많은 GPU가 탑재된 서버들이 연결된 인프라의 예시

<그림 2>를 통해 인공신경망을 학습시키기 위한 대략적인 과정을 살펴보자. 가장 먼저 1)네트워크나 CCTV 등 다양한 곳에서 데이터 소스가 발생해 원본 데이터가 저장소(Storage)에 저장된다. 2)해당 데이터 소스는 데이터 작업자에게 이동하며, 3)데이터 작업자는 데이터를 가공해 다시 저장소(Storage)에 저장한다. 이렇게 형성된 데이터 소스는 4)학습 서버로 이동해 인공지능 학습이 이뤄진다. 학습 서버 1개 내에는 여러 개의 GPU가 연결돼 있다. 필요한 경우 학습 서버까지도 여러 개 연결해 더욱 빠르게 학습시키기도 한다.

예를 들어, 2020년 공개된 인공지능 언어 모델 GPT-3*가 데이터를 학습하기 위해 사용된 데이터셋(Dataset)*의 크기는 약 680GB이고, 데이터를 학습하기 위한 총계산량은 3.114E23 FLOPS(FLoating-point Operations Per Second, 1초당 수행할 수 있는 연산 횟수) 정도로 엄청난 수치임을 고려하면, 이러한 GPU 간의 연결을 넘어 여러 GPU가 탑재된 학습 서버 간의 연결은 당연한 모습임을 알 수 있다.

* 최근 공개된 GPT-3.5와 GPT-4의 경우 데이터셋 정보가 공개되지 않아 정확한 데이터 크기를 알 수 없어 불가피하게 GPT-3에 적용된 데이터셋 크기로 표기
* 데이터셋(Dataset) : 머신러닝 알고리즘 등에 사용(처리, 분석)하기 위해 특정 주제나 분야에 관련성을 가지는 데이터들을 모아놓은 것

이번 편에서 우리가 생각할 부분은 두 가지다. 첫 번째는 GPU에 장착된 HBM 내 학습 데이터는 어디서 온 것이냐는 것이다. 학습 서버에 탑재된 GPU는 학습을 위해 데이터가 저장된 저장소(Storage)에서 데이터를 가져와야 한다. 이 저장소(Storage)는 학습에 필요한 데이터를 가능한 한 많이 탑재할 수 있어야 하므로 용량이 클수록 유리하다. 그뿐만 아니라 대용량의 학습데이터를 HBM으로 전송해야 하므로 속도도 빨라야 한다.

두 번째는 인공신경망 학습에 활용하기 전 데이터를 만들어서 어디에 어떻게 보관하는지다. 인공신경망을 학습하기 위해서는 데이터와 정답이 조합된 데이터가 필요하다. 그래야 인공신경망이 오답을 냈을 경우 좀 더 정답에 가까워지도록 학습할 수 있기 때문이다. 따라서 데이터는 가공하기 전 원본을 함께 보관해 두는 것이 좋은데, 이를 위해서는 더 많은 데이터를 저장하고 송수신하기 위해 대용량과 빠른 속도를 가진 저장소(Storage)가 필요하다.

위 두 가지 문제는 신경망 학습에 필요한 데이터가 커질수록 현실적으로 다가오게 된다. 한글, 영어 등의 대화 같은 자연어 인공신경망은 그나마 문제가 간단하다. 자연어 인공신경망을 기반으로 서비스되고 있는 GPT-3의 학습 데이터 크기는 680GB로 일반 PC에 탑재되는 SSD에도 모두 저장할 수 있을 만큼 데이터의 용량이 크지 않기 때문이다. 하지만 신경망이 학습해야 하는 자료의 종류가 음성이나 이미지 등일 경우에는 자연어 대비 수십 배 큰 데이터를 저장소(Storage)에 저장해야 하므로 용량에 부담이 생길 것이다. 특히 음성, 동영상 등의 데이터를 모아둔 뒤, 당장 어디에 쓸지 정하지 못한 상황이라 계속 데이터가 누적되는 상황이라면 저장소(Storage)는 더욱 중요할 것이다.

▲ 그림 3 : 최근 인공신경망은 다양한 데이터를 학습하고 있다.

실제로 2021년 구글은 인공신경망에 음성, 언어, 이미지 등을 한 번에 학습시킨 패스웨이(Pathway)*라는 차세대 인공지능 모델을 공개했다. 이러한 추세를 볼 때 앞으로 더욱 크고 다양한 형태의 데이터가 필요해질 것이며, 이는 데이터 처리 및 보관, 전송 등의 문제에 메모리 회사들이 중요한 역할을 하게 된다는 것이다. 바로 낸드플래시 때문이다.

* 패스웨이(Pathway) : 2021년 구글이 발표한 자체 인공지능 모델로 영상, 음성, 언어, 이미지 등 다양한 데이터 형태를 동시에 학습할 수 있는 다중 학습 모드를 지원하는 것이 특징이다.

고속 저장소와 인공지능 인프라

낸드플래시는 인공지능 학습 과정에서 발생하는 두 가지 문제를 해결해 준다. 데이터 접근 과정에서 발생하는 병목현상과 GPU의 데이터 처리 속도 대비 느린 저장소(Storage)의 데이터 전송 속도 문제이다. GPU가 신경망을 학습하는 데 필요한 데이터의 크기가 클 경우, 데이터를 불러오는 과정에서 발생하는 병목현상 때문에 학습 속도가 현저하게 느려진다. 학습에 필요한 데이터가 더 커져 서버 저장소(Storage)에 보관할 수 없는 수준이 되면 더욱 큰 성능저하가 나타난다.

▲ 그림 4 : 외부 저장소(Storage)에서 불러오는 데이터 전송 속도보다 학습 서버 내의 데이터 전송 속도가 더 빠르기 때문에 GPU가 학습할 데이터가 부족해지는 문제가 발생한다.

<그림 4>와 같이 빅데이터 학습 시 서버 내 저장소 용량의 한계로 외부 저장소(Storage)를 함께 활용한다. 하지만 학습 서버 내 저장소(Storage)와 GPU 간의 데이터 전송속도 대비 외부 저장소(Storage)와 학습 서버 내 저장소(Storage) 간의 데이터 전송 속도가 느려 GPU가 학습할 데이터가 부족해지는 문제가 생길 수 있다.

전송 속도가 중요한 이유는 학습을 위해 이동한 데이터를 지속해 교체해 줘야 하기 때문이다. 혹자는 한번 이동한 데이터를 여러 차례에 걸쳐 오랫동안 학습시키면 되는 것 아니냐고 이야기하기도 한다. 하지만 이럴 경우 과적합(Overfitting)* 등 학습 결과에 문제가 발생할 수 있다. 이를 방지하기 위해 데이터를 수시로 교체하며 최대한 다양한 데이터를 학습시켜야 하는 것이다. 결국, HBM에 너무 많은 데이터를 저장하는 것보다, 전송 속도 문제가 해결된 저장소 활용을 극대화하는 것이 중요하다.

* 과적합(過適合, Overfitting): 인공지능이 특정 데이터를 지나치게 학습해 일어나는 현상. 인공지능이 문제의 답을 외워 버리듯 행동하게 되며, 실전에서 한 번도 보지 못한 입력값을 접할 경우 정확도가 낮아지게 된다.

낸드 플래시는 위와 같은 문제를 높은 전송 성능으로 해결한다. 더 나아가 학습 서버로 데이터를 더 빠르게 전송하기 위해 고성능 저장소(Storage)를 수십 개의 학습 서버들이 공유하는 형태도 생각해 볼 수 있다. 올 플래시*나 SSD를 여러 개 탑재해 네트워크로 연결한 NAS* 등이 그 예이다. 고성능 저장소(Storage)는 더 많은 데이터를 더 빠르게 처리할 수 있기 때문에, 원활한 데이터 수급이 가능하다. 위에서 언급했던 데이터 전송 속도 차이로 인해 발생하는 데이터 부족 문제를 해결할 수 있게 된 것이다.

* 올 플래시(All-Flash): 수많은 낸드플래시나 SSD를 엮어서 만든 초고속, 초고용량 저장소(Storage)
* NAS(Network Attached Storage): 네트워크로 연결 가능한 디스크 드라이브의 총칭

하지만, 고성능 저장소(Storage)의  뛰어난 성능만으로 이 문제가 모두 해결되는 것은 아니다. 데이터가 이동하는 케이블 역시 중요한 역할을 한다. 보통 낸드플래시 기반의 고성능 저장소(Storage)는 빠른 데이터 처리가 가능하기에 일반적으로 사용되는 인터넷 케이블 소재인 구리선이 아닌 광(光)속의 2/3 속도를 자랑하는 광(光)섬유를 사용한다. 구리선의 경우 최대 10Gbps 정도의 전송이 가능하지만, 이는 시중에서 판매하는 일반적인 SSD의 데이터 처리 속도 절반에도 미치지 못하는 속도이다.

광섬유를 통해 더욱 많은 데이터를 더욱 빠르게 처리할 수 있게 된 고성능 저장소(Storage)는 각각의 학습 서버들과 직접 접근할 수 있다는 장점이 있다. 이는 개별 저장소(Storage) 없이 네트워크를 통해 직접 저장소(Storage)에 접근해 데이터를 불러올 수 있다. 특히 고성능 저장소(Storage)는 빠른 속도를 기반으로 학습 데이터 취득, 가공, 학습을 하나의 저장소(Storage)가 관리할 수 있다.

고성능 저장소(Storage)가 등장하기 전 데이터가 유튜브나 CCTV 카메라에서 실시간으로 전달되는 스트리밍 영상 데이터라면 그 영상을 저장하고, 데이터 작업자가 가공하기 위해 요청한 동영상도 전송해야 하며, 학습 서버가 요구하는 가공이 끝난 학습 데이터도 전송해 줘야 하는 등 저장소(Storage)에 큰 부담이 됐다. 하지만 고성능 저장소(Storage)가 등장한 후에는 한 곳에서 관리되기에 이러한 문제가 사라졌다. 이는 클라우드 시대에 맞춰 SK하이닉스와 같은 반도체 회사들이 오랫동안 메모리와 저장소(Storage) 개발에 노력해 온 덕분이다.

인공지능보다는 인공지능 생태계를

인공지능 학습에서 가장 중요한 메모리를 꼽으라고 하면 다들 HBM을 꼽을 것이다. 인공지능 시대를 연 반도체는 GPU이며, GPU를 가장 가까운 곳에서 돕는 칩이기 때문이다. HBM은 인텔의 신형 CPU부터 각종 스타트업의 NPU 등 모두가 중요하게 여기는 메모리이다.

하지만 인공지능 개발은 학습 데이터를 GPU가 한두 번 학습하고 끝나는 것이 아니다. 인공지능을 개발하기 위해서는 신경망에 끝없이 다른 데이터를 새로운 형태로 가공해 학습시켜야 한다. 이는 마치 전선에서 싸우는 병사와 후방 보급부대의 관계와도 비슷하다. 병사가 최전선에서 싸우기 위해서 탄약과 식량이 필요하듯, 최전선에서 인공신경망을 학습시키기 위해서는 신경망에 맞는 대량의 데이터가 제시간에 만들어지고 학습용 서버에 탑재된 GPU에 들어와야만 제 역할을 할 수 있다. 이런 관점에서 보면 인공신경망 데이터의 저장과 이동을 책임지는 낸드플래시는 인공지능 반도체의 후방 보급부대라고 할 수 있다.

지난 두 편에서 우리는 인공지능 기술 발전으로 인해 프로그래밍 모델이 어떻게 변했고, 이 프로그래밍 모델이 반도체에 요구하는 것이 어떻게 바뀌었는지 살펴봤다. 이번 낸드플래시 역시 같은 시각으로 바라보면 된다. 인공신경망을 개발하는 방식의 특성상 원본 데이터 취득에도, 데이터 가공에도 높은 읽기, 쓰기 능력이 필요해졌다. 인공신경망을 학습시킬 때는 전 단계에서 만든 거대한 학습 데이터 중 원하는 것을 취한 뒤 그 데이터를 GPU가 학습할 수 있도록 전송돼야 하며, 이를 위해 역시나 고성능 저장소(Storage)가 필요해진 것이다.

※ 본 칼럼은 반도체에 관한 인사이트를 제공하는 외부 전문가 칼럼으로, SK하이닉스의 공식 입장과는 다를 수 있습니다.