SK하이닉스가 지난9일부터 나흘간 미국 캘리포니아주 새너제이(San Jose)에서 열린‘슬롯 사이트 Hardware & Edge 슬롯 사이트 Summit 2024(이하슬롯 사이트하드웨어 서밋)’에 참가했다. 슬롯 사이트하드웨어 서밋은 글로벌IT기업과 유망 스타트업 등이 참가해 최신 기술과 연구 결과를 공유하고 네트워킹을 통해 산업 내 협력 기회를 모색하는 자리다.
▲ 슬롯 사이트하드웨어 서밋에 설치된 SK하이닉스 부스 모습
회사는 이번슬롯 사이트하드웨어 서밋에서‘데이터센터부터 엣지 디바이스*까지, 슬롯 사이트성능을 가속하는슬롯 사이트M*(Boost Your 슬롯 사이트: 슬롯 사이트M is What You All Need From Data Center to Edge Device)’이라는 슬로건을 걸고, 가속기 카드인슬롯 사이트MX* 등 슬롯 사이트시대를 위한 기술을 선보였다.
*슬롯 사이트M(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, PIM은 메모리 반도체에 연산 기능을 더해 인공지능(슬롯 사이트)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
*엣지 디바이스(Edge-Device): 인간과 매일매일 접촉하며 데이터를 만들어내는 기기
*슬롯 사이트MX(슬롯 사이트M based Accelerator): GDDR6-슬롯 사이트M칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품
▲ 슬롯 사이트하드웨어 서밋에 전시된 슬롯 사이트M 칩과 슬롯 사이트MX 카드
이번 행사에서 선보인 슬롯 사이트M/슬롯 사이트MX은 최근 비약적으로 발전하고 있는 생성형슬롯 사이트를 위한 최고의 솔루션이다. 생성형슬롯 사이트에 활용되는 대규모 언어 모델(Large Language Model,이하LLM)의 크기가 지속적으로 증가하고 있으며, 이로 인한 데이터센터의 컴퓨팅 비용 역시 빠르게 상승하고 있다. SK하이닉스는 자사의슬롯 사이트M이 메모리 내에서 일부 연산을 수행해 기존 메모리 대비 높은 대역폭과 우수한 에너지 효율성을 보이며, LLM기반의 생성형슬롯 사이트가 요구하는 높은 컴퓨팅 성능을 더 경제적으로 구현할 수 있게 해준다고 설명했다.
▲ 슬롯 사이트하드웨어 서밋에서 슬롯 사이트MX 카드를 활용해 최신 LLM을 시연하고 있는 모습
전시 부스에서는 최신LLM인 ‘Llama3 70B*’ 활용해슬롯 사이트MX의 성능을 시연했다. 이번에 공개된슬롯 사이트MX는 메모리 용량이16GB에서32GB로 기존 대비 두 배 늘어 났으며, 여러 데이터 그룹을 동시에 처리하는 기법인Multi-Batch로 데이터를 처리해 업계 관계자들의 많은 관심을 받았다.
* Llama3(Large Language Model Meta 슬롯 사이트):메타의 최신 LLM 모델로 700억 개의 매개변수를 가짐
또한, SK하이닉스는 이번 행사에서 데이터센터뿐만 아니라 엣지 디바이스(온디바이스슬롯 사이트)에도 적용 가능한슬롯 사이트M솔루션을 공개했다. 회사는“기존 엣지 디바이스의 메모리 인터페이스를 변경하지 않고도 성능을 높일 수 있는 것이 이번 솔루션의 강점”이라며 “모바일D램을 자사의슬롯 사이트M으로 대체할 경우, 기존 대비 최대3배 이상의LLM속도 향상과 에너지 효율이 기대된다”고 밝혔다.
▲ 임의철 부사장이 데이터센터와 엣지 디바이스에서의 슬롯 사이트M 제품 개발 계획을 발표하고 있다.
한편, SK하이닉스는 세션 발표를 통해슬롯 사이트M솔루션의 미래 비전도 제시했다. 임의철 부사장(Solution AT 담당)은 ‘LLM서비스의 성능 향상(Accelerating LLM Services from Datacenter to Edge Device)’을 주제로 데이터센터부터 엣지 디바이스까지슬롯 사이트M기술이LLM서비스를 위한 핵심 솔루션임을 강조했다. 특히 모바일D램을 기반한 온디바이스슬롯 사이트용 슬롯 사이트M제품 개발 계획을 공유하며, 청중들의 이목을 끌었다.
SK하이닉스는 앞으로도 다양한슬롯 사이트M솔루션을 통해 글로벌 기업들과 협력해차세대슬롯 사이트가속기 생태계를 구축하고, 온디바이스슬롯 사이트시장에서도 리더십을 강화해 나간다는 계획이다.