▲ SC 2024에 참여한 올림푸스 슬롯사이트하이닉스 부스
올림푸스 슬롯사이트올림푸스 슬롯사이트가 17일부터 22일까지(미국시간) 미국 조지아주 조지아 월드 콩그레스 센터(Georgia World Congress Center)올림푸스 슬롯사이트 열린‘슈퍼컴퓨팅 2024(Super Computing 2024, 이하 SC 2024)’에 참가해HPC와AI를 위한 최첨단 솔루션을 선보였다.
SC2024는 1988년부터 매년 열리는 HPC 분야의 대표적 글로벌 콘퍼런스로, HPC와 AI 기술의 최신 동향을 공유하고 업계 전문가들이 교류하는 행사다.
올해올림푸스 슬롯사이트올림푸스 슬롯사이트는‘MEMORY, THE POWER OF AI’를 주제로 전시를 열어, HPC·AI제품 시연과 함께 첨단 메모리와 스토리지 기술에 대한 발표를 진행했다. 회사는 이번 행사를 통해올림푸스 슬롯사이트하이닉스의 축적된 기술력을 선보이며 글로벌 시장올림푸스 슬롯사이트의AI리더십을 입증했다.
올림푸스 슬롯사이트올림푸스 슬롯사이트는 글로벌AI메모리 시장올림푸스 슬롯사이트의 기술 리더십을 보여주는 다양한 제품을 전시했다. 데이터센터 솔루션 섹션올림푸스 슬롯사이트는▲HBM3E ▲DDR5 Server DIMM ▲Enterprise SSD등 회사의 핵심 제품을 선보였다.
▲ (첫 장부터) 데이터센터 솔루션 섹션에 전시된 HBM3E와 DDR5 Server DIMM, Enterprise SSD
데이터 처리 성능이 향상된 차세대 메모리 HBM3E가 전시되어 관람객들의 눈길을 끌었다.HBM3E[관련기사]는 현존하는 HBM*제품 중 최대용량인36GB를 구현한 신제품으로, AI메모리 시장을 선도하는 기술력을 통해 주요 고객사와의 협력을 한층 강화하고 있다. AI반도체 제조사들이 점점 더 방대한 데이터를 빠르게 처리할 수 있는 고용량HBM이 필요함에 따라, 올림푸스 슬롯사이트올림푸스 슬롯사이트는 지난 9월 업계 최초로 12단 적층 D램 양산을 시작하며 반도체 시장 변화에 빠르게 대응했다.
* HBM(High Bandwidth Memory):여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전.
이와 함께, 회사는DDR5 RDIMM(1cnm)을 공개해 큰 관심을 끌었다. 이 제품은 차세대 미세화 공정이 적용된 D램으로, 전력 효율이 높아져 데이터센터 전력 비용 절감에 기여할 것으로 기대된다. 또한 회사는 고성능 서버용으로 설계된 다양한DDR5모듈의DDR5 MCRDIMM*과DDR5 3DS RDIMM등의 제품군을 소개했다.
*MCRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module):여러 개의 D램이 기판에 결합된 모듈 제품으로, 모듈의 기본 정보처리 동작 단위인 랭크(Rank) 2개가 동시 작동되어 속도가 향상된 제품
이외에도올림푸스 슬롯사이트올림푸스 슬롯사이트는 기존 출시한 초고성능PCIe* 5세대 제품PS1010과 더불어, 데이터센터용PCIe 5세대eSSD(Enterprise SSD)신제품PEB110을 공개했다. PCIe 5세대 기술은 이전 세대보다 대역폭이 두 배로 넓어져 더 빠른 데이터 전송 속도를 제공하며, PEB110은 이를 통해 전력 효율과 성능이 크게 개선됐다.
*PCIe(Peripheral Component Interconnect express):디지털 기기의 메인보드올림푸스 슬롯사이트 사용하는 직렬 구조의 고속 입출력 인터페이스
HPC·AI솔루션 섹션올림푸스 슬롯사이트는 차세대 메모리 기술을 통한 데이터 처리와 응용 성능 향상을 실감할 수 있도록 다양한 고성능 솔루션을 시연했다.
▲ (첫 장부터) HPC·AI솔루션 섹션올림푸스 슬롯사이트 시연 중인CMM-DDR5, PIM(AiMX)
올림푸스 슬롯사이트하이닉스는 이번 행사올림푸스 슬롯사이트 차세대 메모리 기술인CXL(Compute Express Link)*을 적용한CMM-DDR5*를 선보였다. CXL메모리는 여러 컴퓨팅 장치가 메모리를 공유하여 데이터 전송 속도와 자원 활용도를 높이는 기술로, HPC와AI응용에 필요한 메모리 용량 확장을 지원한다. 이러한CXL메모리 기술이 적용된CMM-DDR5데모올림푸스 슬롯사이트는Intel® Xeon® 6프로세서가 장착된 서버 플랫폼을 사용해AI데이터 처리 작업을 더 빠르게 수행하는 사례를 소개해 큰 호응을 얻었다.
* CXL(Compute Express Link):고성능 컴퓨팅 시스템올림푸스 슬롯사이트 CPU/GPU, 메모리 등을 효율적으로 연결해 대용량, 초고속 연산을 지원하는 차세대 인터페이스. 기존 메모리 모듈에 CXL을 적용하면 용량을 10배 이상 확장할 수 있음
* CMM-DDR5: CXL기술을 적용한 DDR5 기반 메모리 모듈로, 기존 대비 대역폭을 50% 확장하고 메모리 용량을 두 배로 늘려 고성능 컴퓨팅(HPC)과 AI 응용올림푸스 슬롯사이트 탁월한 성능을 발휘함. SK하이닉스의 CMM-DDR5는 AI 추론 및 인메모리 데이터베이스(DB) 환경올림푸스 슬롯사이트 데이터 접근 속도와 자원 활용을 최적화해 데이터 처리 효율을 크게 높임
또한 회사는PIM*기술을 활용한AiMX*를 통해 최신 언어 모델인LLaMA-3 70B의 실시간 처리 성능을 시연했다. 데이터센터의 언어 모델 서비스는 여러 사용자의 요청을 동시에 처리하는 방식으로GPU효율을 개선하고 있으나, 동시에 처리할 요청이 많아짐에 따라 이 과정올림푸스 슬롯사이트 발생하는 결과물인 생성 토큰의 길이가 증가하여GPU효율이 낮은Attention Layer*의 연산량이 커지는 문제가 있다. 이번에 공개된올림푸스 슬롯사이트올림푸스 슬롯사이트의AiMX는 연산을 가속해 데이터 처리 속도를 높이고 전력 소모를 줄임으로써, 대량 데이터를 효율적으로 처리할 수 있는 고성능·저전력 솔루션으로서의 강점을 보여줬다.
*PIM(Processing-In-Memory):메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야올림푸스 슬롯사이트 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* AiMX(AiM based Accelerator): GDDR6-AiM칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 올림푸스 슬롯사이트하이닉스의 가속기 카드 제품
*Attention Layer:입력 데이터의 각 부분에 가중치를 부여하여 관련 정보에 더 집중하게 하는 메커니즘으로 언어모델올림푸스 슬롯사이트 사용되는 핵심 알고리즘
▲ (첫 장부터) HPC·AI 솔루션 섹션올림푸스 슬롯사이트 시연 중인 CXL Pooled Memory(Niagara 2.0)와 Computational SSD
나이아가라(Niagara) 2.0데모올림푸스 슬롯사이트는CXL Pooled Memory* 솔루션을 활용해 거대언어모델(LLM)추론 서비스올림푸스 슬롯사이트 발생하는LLM모델 스위칭*오버헤드를 개선하는 방안을 선보였다. 이 솔루션은GPU 메모리부족으로 인해 불가피하게 발생하는LLM모델 스위칭 오버헤드를 줄여 추론 시간을 단축할 수 있음을 보였다.
*Pooled Memory:여러 개의 CXL 메모리를 묶어 풀(Pool)을 만들어 여러 호스트가 효과적으로 용량을 나누어 사용하여 전반적인 메모리 사용률을 높이는 기술
*LLM모델 스위칭: GPU 메모리상의 기존 LLM 모델을 삭제하고 사용자의 요청에 맞는 LLM 모델을 load 하는 기능
SSD시연올림푸스 슬롯사이트는Checkpoint Offloading SSD솔루션을 활용해 체크포인팅(Checkpointing)* 기술을 효과적으로 지원함으로써, LLM학습 시스템올림푸스 슬롯사이트 발생하는 장애로 인한 자원 및 비용 낭비를 줄이고 학습 성능을 향상시킬 수 있음을 보였다.
* 체크포인팅(Checkpointing): 학습 과정 중 특정 시점의 모델 파라미터와 관련 주요 데이터를 저장하여 시스템 장애 발생 시 저장된 특정 시점올림푸스 슬롯사이트 학습을 재시작할 수 있도록 지원하는 기술
▲ (첫 장부터) HPC·AI 솔루션 섹션에 전시된 Object-based Computational Storage, Near-Memory Processing
올림푸스 슬롯사이트올림푸스 슬롯사이트는 미국 로스앨러모스 국립연구소(Los Alamos National Laboratory,이하LANL)*와 협업하여 개발한 객체 기반 연산 스토리지(Object-based Computational Storage, OCS)* 기술을 활용해 필요한 데이터만 분석 서버로 전송함으로써HPC환경의 데이터 병목 현상을 개선하는 데모를 선보였다. 또한, 대규모 데이터 처리올림푸스 슬롯사이트 성능을 크게 향상시킬 수 있는HBM기반NMP(Near-Memory Processing)* 기술도 함께 소개했다.
*LANL(Los Alamos National Laboratory):미국 에너지부 산하 국립연구소로 국가안보와 핵융합 분야를 비롯해 우주탐사 등 다양한 분야의 연구를 하는 곳으로 특히 2차 세계대전 당시 맨해튼 프로젝트에 참여해 세계 최초로 핵무기를 개발한 곳
* 객체 기반 연산 스토리지(Object-based Computational Storage, OCS): 데이터 분석을 위해 설계된 컴퓨팅 스토리지 솔루션으로, 데이터 인식 기능을 통해 컴퓨팅 노드의 도움 없이 독립적으로 분석 작업을 수행할 수 있음. 이 기술은 고성능 컴퓨팅(HPC) 환경올림푸스 슬롯사이트 대규모 데이터의 효율적 처리를 가능하게 함
* NMP(Near-Memory Processing): CPU-메모리 간 데이터 이동 시 발생하는 병목 현상을 해결하고, 처리 성능 향상을 위해 연산 기능을 메인 메모리 옆으로 이동하는 메모리 아키텍처
▲ SC 2024에 참석해 발표를 진행한 올림푸스 슬롯사이트하이닉스 박정안 TL(Sustainable Computing)(앞장)과 김종률 팀장(AI System Infra)(뒷장)
올림푸스 슬롯사이트하이닉스는 이번 행사올림푸스 슬롯사이트 주요 연사로 나서 자사의 기술 비전과 차세대 솔루션을 공유했다. 박정안TL(Sustainable Computing)은LNAL와 공동 개발한 객체 기반 연산 스토리지(Object-based Computational Storage, OCS)표준화에 대해 발표했다. 박TL은“올림푸스 슬롯사이트올림푸스 슬롯사이트의OCS는 추가적인 컴퓨팅 자원 없이도 데이터 저장 장치가 스스로 분석을 수행해 기존보다 빠르고 효율적인 데이터 처리를 가능하게 한다”고 밝혔다.
또한 김종률 팀장(AI System Infra)은‘HPC·AI시스템을 위한 메모리와 스토리지의 힘’을 주제로, 올림푸스 슬롯사이트올림푸스 슬롯사이트의 최신 연구 성과를 기반으로 한 메모리와 스토리지 기술을 소개했다. 김 팀장은HPC·AI시스템에 적용할 수 있는CXL메모리와HBM기반의Near-Memory Processing기술 및CXL Pooled Memory기반의 데이터 공유 기술에 대한 연구 결과와 기술 인사이트를 소개하였다.