제3시선, 최고가 최고를 만나다

‘제3시선, 최고가 최고를 만나다’는 최고의 ICT 업계 전문가들이 서로의 시선에서 공통의 주제를 이야기하며 세상을 바라보는 새로운 시선을 넓혀가는 연재 콘텐츠입니다. ICT 분야의 최고 전문가와 최고의 ICT 기술을 만들어 내는 SK하이닉스 구성원 간의 만남. 기존 인터뷰 콘텐츠에서 볼 수 없었던 이야기를 만나볼 수 있습니다.

이번 시리즈는 국내 최고의 인공지능 전문가인 정지훈 대구경북과학기술원(DGIST) 겸임교수와 SK하이닉스 구성원(권용기 PL, 김성재 PL, 류동일 TL, 주영표 부사장)들이 만나 미래를 변화시킬 인공지능 기술과 반도체를 주제로 총 4편으로 구성될 예정입니다.

지금까지 인공지능의 등장과 발전, 활용사례, 그리고 SK하이닉스의 인공지능 반도체에 대해 알아봤는데요. 이번 편은 정지훈 교수님과 함께하는 제3시선 마지막 편으로 지난 편에서 다루지 못한 이야기와 함께 다가올 인공지능 시대에 대한 간단한 전망을 나눠볼 계획입니다. SK하이닉스와 정지훈 교수가 나누는 인공지능과 인공지능 반도체에 관한 마지막 이야기, 지금부터 시작합니다. (편집자 주)

인공지능(AI, Artificial Intelligence)으로 변화할 우리의 미래, 정지훈 교수와 대담에 참여한 SK하이닉스 구성원들은 어떻게 생각하고 있을까?

지금까지 우리는 인공지능의 등장과 발전, 그리고 인공지능 반도체에 대한 이야기를 나눴다. 이를 통해 현재 우리의 삶 다양한 곳에서 인공지능이 적용되고 있으며, 더욱 많은 곳에서 인공지능이 활용될 것이라는 전망을 할 수 있었다. 공상 과학이나 영화 속 이야기들이 점차 현실이 되어가고 있는 상황에서 인공지능 산업 최전선에 있는 이들은 어떤 생각을 하고 있을까?

인공지능 전문가 정지훈 교수와의 마지막 대담에서는 인공지능 시대에 대비하는 SK하이닉스 구성원들의 이야기와 지난 콘텐츠에서 다루지 못했던 2022 SK 테크 서밋(이하 테크 서밋)에 대한 이야기를 나눠볼 예정이다.

▲ 테크 서밋에서도 인공지능은 핵심 비즈니스로 각광받았다.

인공지능을 위한 프로세서, NPU

정지훈 교수 지금까지 인공지능에 대한 많은 이야기들을 나눴는데요. 2022 SK 테크 서밋(이하 테크 서밋)은 SK하이닉스와 SK그룹이 다가올 인공지능 시대를 어떻게 대비하고 있는지 살펴볼 수 있는 좋은 자리였던 것 같습니다. 말로 설명하기 어려운 새로운 기술들을 이해하기 쉽게 전시한 것 역시 아주 인상적이었습니다.

앞에서 설명해주신 SK하이닉스의 인공지능 반도체(PIM, iCIS, HBM3, CMS-CXL)를 비롯해 SK그룹에서 준비하고 있는 다양한 인공지능 비즈니스들을 보면서 ‘SK그룹이 정말 인공지능에 진심이구나’라는 것을 느끼기도 했는데요. SK에서 준비하고 있는 인공지능 관련 비즈니스 중 앞에서 다루지 못했던 인공지능 비즈니스에 관해 설명해주실 수 있을까요?

김성재 PL 네. 저희 SK하이닉스는 인공지능에 대해 다양하게 접근하고 있지만, 저는 국내 인공지능 분야에서 선두에 있는 사피온*에 대해 이야기하고 싶습니다. 테크 서밋 전시에서도 살펴봤지만, 사피온 칩은 SK텔레콤과 SK스퀘어 그리고 SK하이닉스가 협력을 통해 개발한 국내 최초의 NPU* 인공지능 반도체인데요. 지난 2020년 11월, 국내 최초로 개발한 인공지능(AI) 반도체 상용제품인 ‘SAPEON X220’을 출시했습니다.

* 사피온(Sapeon): 국내 최초의 데이터센터용 비메모리 반도체 ‘사피온 칩’을 개발한 기업. ‘사피온 칩’은 SK텔레콤이 SK스퀘어, SK하이닉스와 함께 ‘SK ICT 연합’을 구성해 개발에 성공했다.
* NPU(Neural Processing Unit): 신경망처리장치로, 머신러닝 구동에 최적화된 프로세서. 소프트웨어를 통해 인공신경망을 만들어 학습해야 하는 GPU와 달리 하드웨어 칩 단위에서 인공신경망을 구현하고자 했다는 특징이 있다.

▲ 정지훈 교수와 SK하이닉스 구성원들이 국내 최초 인공지능 반도체 사피온 부스에서 데이터 처리방식에 있어 CPU, GPU와의 차이점에 관해 이야기 나누고 있다.

정지훈 교수 테크 서밋 전시 부스에서도 사피온에 관한 설명을 한참 들었던 기억이 나네요. 국내 최초의 NPU라는 점이 아주 인상적이었는데요.

김성재 PL인공지능을 위한 프로세서인 ‘NPU’에 대해 조금만 더 설명해 드리자면. 먼저 기계, 혹은 컴퓨터의 연산 처리 장치를 생각해보면 좋을 것 같아요. 보통 연산 처리 장치를 떠올리면 PC에 사용되는 CPU(중앙처리장치, Central Processing Unit)가 가장 먼저 생각나겠죠. 그리고 최근 비약적인 성능향상을 보여주며 인공지능 등 다양한 곳에서 활용되고 있는 GPU*도 떠오를 것 같아요. 다만, 한 가지 유념할 점은 GPU는 인공지능을 위한 반도체는 아니에요. 행렬 연산에서 CPU보다 유리하기 때문에 많이 사용돼 왔던 것이죠.

NPU는 GPU보다 더 빠르게 더 많은 데이터를 연산할 수 있는 진짜 ‘인공지능 반도체’입니다. 이름에서 알 수 있듯 NPU는 사람의 신경망을 본떠 인공 신경망을 구현하고자 한 프로세서거든요. 현재 사피온에서 개발한 SAPEON X220은 인공지능 환경에 최적화된 프로세서로 GPU와 비교하면 혁신적인 성능 향상을 이뤄냈습니다.

* GPU(Graphics Processing Unit) : 초기 GPU는 단순히 CPU의 연산 결과를 그림이나 글자 신호 등으로 변환해 송출하는 보조 부품으로 인식됐지만, 3D(3차원) 게임이 등장하면서부터 3D 그래픽의 전용 프로세서로 개발됐다. 더 빠르고 더 많은 3D 구현을 목적으로 병렬방식의 데이터 처리 성능이 향상되면서 지금은 그래픽 구현을 넘어 더 넓은 영역에서 활용되고 있다.

류동일 TL 실제로 지난 2022년 9월, 글로벌 인공지능 반도체 성능 테스트인 MLPerf(엠엘퍼프)에서 SAPEON X220은 비슷한 스펙의 GPU와 비교해 뛰어난 성능을 선보였는데요. 데이터센터 추론 벤치마크에서 GPU 대비 2.3배 이상 높은 성능을 기록했습니다. 성능뿐만 아니라 전력 효율성에서도 2배 넘는 효율을 보이면서 차세대 인공지능 반도체로서 존재감을 확실하게 드러냈죠.

정지훈 교수 앞서 이야기 나눴던 HBM3나 GDDR6-AiM과 같은 메모리 기반의 인공지능 반도체뿐만 아니라 프로세서 분야에서도 사피온과 SK하이닉스가 확실한 두각을 보이는 것이군요. 인공지능 반도체와 관련해 다양한 분야에서 활약할 SK하이닉스의 모습을 기대해 보겠습니다.

인공지능 시대 이끌어갈 SK하이닉스

정지훈 교수 마지막으로 이번 대담에 참여해주신 여러분의 이야기를 들어보면 좋을 것 같은데요. 앞서 많은 이야기들을 해주셨지만, 각자 마지막으로 하고 싶은 이야기들을 나누면서 이번 대담을 마무리하도록 하겠습니다.

주영표 부사장 보통 인공지능 관련 연구개발을 하고 있다고 하면, 일부만 생각하는 경우가 많은데요. 예를 들면, 특정 문제를 해결하기 위한 인공지능 개발, 기존에 나와 있는 인공지능의 성능 향상을 위한 솔루션 개발, 아니면 인공지능 알고리즘 그 자체를 연구하는 경우 정도로 국한하는 것이 일반적이죠. 이러한 접근방식으로 인해 우리는 결국 알고리즘이나 연산 장치에만 집중하게 되는데요. 실제로 인공지능을 위한 알고리즘과 연산 장치는 최근 비약적으로 발전하고 있고요.

저는 우리가 더 넓은 범위에서 인공지능을 바라봐야 한다고 생각합니다. 한쪽으로만 치우친 발전은 결국 시스템의 균형을 무너뜨릴 위험이 있기 때문이에요. GPU가 쉬지 않고 연산할 수 있도록 쉬지 않고 데이터를 넣어줄 수 있는 주변 시스템이 필요합니다. 데이터처리의 중요도가 높아지는 만큼 메모리 반도체의 발전 역시 중요해지겠죠. DRAM 메모리 반도체를 비롯해 NAND 메모리에서 절대 강점을 가지고 있는 우리 SK하이닉스는 인공지능 시대에 아주 큰 역할을 할 수 있으리라 생각합니다.

정지훈 교수 맞습니다. 더욱 뛰어난 인공지능을 위해선 보다 높은 품질의 많은 데이터가 필요하니까요. 수없이 많은 데이터를 처리하기 위해서 결국 메모리 반도체의 발전은 필수적이라고 생각합니다. 인공지능 시대는 SK하이닉스에는 새로운 기회가 될 수 있다고 생각해요.

류동일 TL 저는 아직 주니어로서 다가올 인공지능 시대에 대해서도, SK하이닉스에서 제가 해내야 할 일에 대해서도 기대감이 아주 큽니다. 개인적인 목표나 바람에 대해서 말씀드리자면, 우리가 앞으로 직면하게 될 많은 문제를 해결하는 과정에서 인공지능이 활용되는 사례가 많아지길 기대하고 그 안에서 제 역량을 십분 발휘하고 싶습니다.

SK하이닉스의 구성원으로 당연히 우월한 성능의 제품 개발과 양산이 주된 목표이지만, 더 나아가 저희가 개발하고 있는 제품들이 더욱 다양한 곳에 활용되며 인공지능 시대를 여는 데 이바지할 수 있으면 좋겠습니다. 현재 저희가 개발하고 있는 iCIS* 역시 인공지능을 더 넓은 영역에서 활용할 수 있게 하는 대표적인 사례가 될 것으로 예상합니다.

* iCIS(intelligent CMOS Image Sensor) : 카메라 센서인 CIS에 인공지능 기능을 도입한 차세대 CIS 제품

정지훈 교수 인공지능의 상용화를 생각해본다면 새로운 인공지능 반도체의 개발이 중요한 쟁점이 되겠네요.

류동일 TL 맞습니다. 저 역시 인공지능 상용화 관점에서 접근했을 때 가장 관심이 많은 분야 중 하나가 경량화된 인공지능이거든요. 별도의 연산 장치나 클라우드 등을 거치지 않고 디바이스 레벨에서 자유롭게 인공지능 연산이 가능한 모델이 더욱 많아져야 인공지능의 상용화도 가능하다고 생각합니다.

권용기 PL 앞으로 다가올 인공지능 시대를 준비하기 위해 저희가GDDR6-AiM을 개발했듯 다양한 분야에서 인공지능 시대에 대비하고자 하는 노력이 필요한 것 같습니다. 물론 정부 차원에서도 인공지능 시대를 준비하기 위한 다양한 지원 사업*들을 진행하고 있으며, 학계에서도 뉴로모픽 반도체*나 CIM(Computation in Memory)과 같은 다양한 연구들이 활발히 이어지고 있는 상황입니다.

저희가 샘플 개발에 성공한 GDDR6-AiM의 경우, 개발에 성공한 것 자체로 인공지능 시대를 위한 ‘큰’ 첫 발걸음으로 분명한 의미가 있지만, 아직은 시작 단계이므로 앞으로 할 일이 더욱 많다는 점은 분명할 것입니다. 우리가 개발한 지능형 반도체를 중심으로 변화할 컴퓨팅 패러다임과 완전히 새로워질 인공지능 시대를 만들어 나갈 수 있으면 좋을 것 같습니다.

* 정부는 인공지능 산업 육성을 위해 ▲차세대 지능형 반도체 사업단 조직 운영  ▲2029년까지 1조 원 규모의 사업비 투자 및 PIM 인공지능 반도체 사업단 운영 ▲2028년까지 4천억 원 규모의 사업비 투자를 진행하고 있다.
* 뉴로모픽 반도체 : 인간의 뇌 구조를 모방해 만든 반도체 칩으로 대용량 데이터를 병렬 처리해 적은 전력으로도 복잡한 연산, 추론, 학습 등이 가능하다.

김성재 PL 저는 이번 대담을 통해 느낀 점을 말씀드리고 싶은데요. 테크 서밋도 느꼈지만, 이렇게 다양한 부문의 구성원들과 만나 이야기해보니 우리 SK하이닉스가 정말 다양한 측면에서 인공지능을 준비하고 있다는 사실을 느낄 수 있었습니다. 사실 저희가 인공지능 관련 업무를 진행한다고 해도 하드웨어 부문에서 어떤 형태로 인공지능 비즈니스에 접근하고 있는지, 그리고 우리가 하는 일들과 어떤 협업 포인트를 찾을 수 있을지 잘 몰랐거든요.

이번 대담과 테크 서밋을 통해 정말 다양한 측면에서 다른 팀과 협업할 수 있고, 논의할 수 있겠다고 생각하게 됐습니다. 이후에도 다른 팀들과의 다양한 교류를 통해 더 나은 기술을 개발해 인공지능 시대를 여는 데 이바지할 수 있으면 좋을 것 같습니다.

정지훈 교수 저 역시 이러한 점을 인상 깊게 봤는데요. 다양한 분야에서 인공지능을 준비할 뿐만 아니라 부서 간 연계가 필요한 프로젝트들도 상당수 있었던 것 같아요. 특히 사피온처럼 SK그룹 내 계열사 간의 협업도 활발히 이뤄지고 실제로 성과도 보이는 것도 아주 놀라웠습니다.

특히, 개발단계에서 성과를 보이는 것에 더불어 상용화 단계까지 진입하고 있다는 점을 보면서 SK하이닉스를 종합 반도체 기업을 넘어 종합 인공지능 기업이라고 불러도 되겠다는 생각도 들었습니다. 지금까지 해왔던 것처럼 앞으로도 인공지능 시대를 선도하는 대표 기업으로 SK하이닉스가 우뚝 섰으면 좋겠습니다. 이상, 대담을 마치도록 하겠습니다. 감사합니다.

제3시선, 최고가 최고를 만나다

‘제3시선, 최고가 최고를 만나다’는 최고의 ICT 업계 전문가들이 서로의 시선에서 공통의 주제를 이야기하며 세상을 바라보는 새로운 시선을 넓혀가는 연재 콘텐츠입니다. ICT 분야의 최고 전문가와 최고의 ICT 기술을 만들어 내는 SK하이닉스 구성원 간의 만남. 기존 인터뷰 콘텐츠에서 볼 수 없었던 이야기를 만나볼 수 있습니다.

이번 시리즈는 국내 최고의 인공지능 전문가인 정지훈 대구경북과학기술원(DGIST) 겸임교수와 SK하이닉스 구성원(권용기 PL, 김성재 PL, 류동일 TL, 주영표 부사장)들이 만나 미래를 변화시킬 인공지능 기술과 반도체를 주제로 총 4편으로 구성될 예정입니다.

인공지능의 역사와 비즈니스 모델에 살펴본 지난 편에 이어 이번 편에서는 인공지능을 위한 반도체에 대한 이야기를 담았습니다. 상상으로만 가능했던 인공지능이 현실이 될 수 있게 만든 반도체는 무엇일까요? SK하이닉스와 인공지능, 그리고 인공지능 반도체에 대한 본격적인 이야기, 지금부터 시작합니다. (편집자 주)

현실이 된 인공지능, 이를 가능케 한 반도체

인공지능(AI, Artificial Intelligence)은 어떻게 대중적인 기술이 됐을까?

다양한 분야에서 활용되고 있는 인공지능이지만 불과 몇 년 전만 해도 인공지능이라는 기술은 공상과학과도 같았다. SF영화나 소설 속에서만 존재했던 인공지능이 불과 몇 년 지나지 않아 이처럼  다양한 분야에서 널리 사용될 것이라고 예상한 사람은 그리 많지 않을 것이다. 인공지능이 이렇게 빨리 스스로 문제의 답을 찾고 인간의 언어를 사용할 수 있게 된 비결 무엇일까? 이번 대담을 통해 그 답을 찾고자 한다.

우리는 앞선 대담을 통해 인공지능의 시작과 세 차례의 인공지능 붐에 대해 알아봤다. 1950년대 인공지능이라는 개념이 생겨난 이후 머신 러닝(Machine Learning)과 인공 신경망이 주목받는 등 인공지능에 대한 기대감이 컸던 시기가 있었다. 하지만 이 모든 시기에서 인공지능은 기술력 부족, 데이터 부족 등 한계에 부딪히며 침체기를 겪었다.

여러 차례의 침체기에도 불구하고, 오늘날 인공지능이 널리 사용될 수 있도록 만든 주요한 이유는 무엇일까? 정지훈 교수와 SK하이닉스 구성원들은 이에 대해 반도체 등 하드웨어의 발전이 큰 역할을 했다고 입을 모았다. 인공지능의 발전과 대중화를 만들고 있는 반도체에 대한 이야기, 함께 들어보자.

▲ 류동일 TL, 정지훈 교수, 권용기 PL, 주영표 부사장, 김성재 PL(좌측부터)이 인공지능의 발전과 반도체의 발전은 떼어놓을 수 없는 관계라는 이야기를 나누고 있다.

인공지능을 실현할 수 있었던, 기술 ‘반도체’

정지훈 교수 본격적으로 인공지능 반도체에 대한 이야기를 나눠볼까 합니다. 앞서 함께 ‘2022 SK 테크 서밋(이하 테크 서밋)’에서 SK하이닉스가 개발하고 있는 다양한 인공지능 반도체를 살펴봤는데요. 인공지능의 발전과 반도체의 발전이 떼어놓을 수 없는 관계라는 점을 생각해 봤을 때 개인적으로는 SK하이닉스가 개발하고 있는 다양한 제품들은 아주 흥미로웠습니다. 각자 생각하시는 인공지능 반도체에 대한 의견을 말씀해주시겠어요?

권용기 PL 인공지능을 발전시킨 다양한 기술이 있겠지만, 하드웨어 관점에서 접근해본다면 결국 더 많은 데이터를 더 빠르게 처리할 수 있도록 하는 반도체의 발전이 큰 영향을 끼쳤다고 볼 수 있습니다. 방대한 양의 데이터를 학습시키는 머신러닝과 머신러닝의 다양한 방법 중 하나이자 3차 인공지능 붐을 불러온 딥러닝을 구현하기 위해선 더 많은 데이터를 더 빠르게 처리할 수 있는 메모리 반도체는 꼭 필요했습니다.

정지훈 교수 맞습니다. 물론, 우리가 현재 컴퓨터나 스마트폰과 같은 모바일 디바이스에서 사용하는 D램과 낸드플래시가 그대로 인공지능에 사용되는 것은 아니지만, 지금의 인공지능이 구현되기까지 반도체의 발전이 중요했다는 것은 부정할 수 없습니다. 특히 최근에는 그래픽카드의 GPU*등이 빠르게 발전하면서 인공지능 붐을 이끌고 있다는 것만 봐도 인공지능의 발전에 있어 하드웨어가 얼마나 중요한지 알 수 있죠.

* GPU(Graphics Processing Unit) : 초기 GPU는 단순히 CPU의 연산 결과를 그림이나 글자 신호 등으로 변환해 송출하는 보조 부품으로 인식됐지만, 3D(3차원) 게임이 등장하면서부터 3D 그래픽의 전용 프로세서로 개발됐다. 더 빠르고 더 많은 3D 구현을 목적으로 병렬방식의 데이터 처리 성능이 향상되면서 지금은 게임을 넘어 더 많은 영역에서 활용되고 있다.

김성재 PL 그렇죠. 어떻게 보면 우연의 일치일 수는 있겠지만, GPU가 발전하면서 GPU를 활용하는 인공지능도 함께 발전했죠. 실제로 많은 GPU가 인공지능 알고리즘을 구현하기 위해 사용되고 있는 상황이기도 합니다.

주영표 부사장 GPU가 최근 주목받는 이유는 인공지능 알고리즘의 데이터 연산 방식의 영향 때문인데요. 인공지능 연산을 살펴보면, 방대한 데이터에 대한 수많은 계산들을 통해 의미 있는 결론을 도출하는 것이잖아요. 더 빠르게, 보다 정확한 결과를 도출하기 위해 최대한 많은 데이터를 동시에 처리하는 것이 중요하죠. 데이터 처리가 주 역할인 메모리 반도체가 중요할 수밖에 없는 이유입니다.

정지훈 교수 이와 관련해 최근 SK하이닉스에서 GPU의 성능을 끌어올릴 프리미엄 메모리 반도체 양산에 돌입했다고 알고 있는데요. 무엇인가요?

주영표 부사장 올해 중순부터 프리미엄 D럠인 HBM3*를 양산하기 시작했습니다. 해당 제품은 글로벌 GPU 기업인 엔비디아(NVIDIA)에 공급하고 있는데요. HBM은 여러 개의 D램을 수직으로 연결해 기존의 D램 대비 혁신적인 속도향상을 이끌어낸 제품입니다. HBM3는 이전 세대인 HBM2E(3세대)와 비교하면 무려 78%의 성능향상을 이뤄내기도 했죠.

* HBM3(High Bandwidth Memory 3): 4세대 HBM 제품으로 여러 개의 D램을 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올렸다.

인공지능 등장으로 변화하는 패러다임

정지훈 교수 앞서 GPU가 주목받는 이유에 대해 잘 설명해 주셨는데요. 사실 인공지능과 관련해 시장에서 GPU에 주목하는 이유는 단순히 빨라진 속도 때문만은 아닙니다. 3차원 그래픽을 연산하는 것과 딥러닝의 연산 구조는 결국은 행렬 연산이 핵심이니까요. 그 덕분에 그래픽을 처리하기 위해 행렬 연산에 특화된 반도체가 발전하게 됐고, 자연스럽게 비슷한 연산 방법을 사용하는 인공지능까지 발전한 것이죠. 농담 삼아 하는 이야기이긴 한데, 게이머들 덕분에 인공지능 혁명이 일어난 것 아닌가 생각이 들기도 합니다.

류동일 TL 정말로 그럴 수도 있겠네요. 인공지능에 대한 기대감이 높아지면서 반도체 분야에서도 새로운 패러다임이 나타나고 있는 것 같아요. 더 많은 데이터를 빠르게 처리할 수 있는 성능향상에 초점을 맞춘 형태와 반도체에 각각의 연산 기능을 담은 형태로 말이죠. 주영표 부사장님이 말씀해주신 HBM3가 혁신적으로 빠른 속도의 D램으로 ‘고성능’에 초점을 맞춘 반도체라면 더욱 넓은 영역에 인공지능을 활용할 수 있도록 만드는 다양한 형태의 ‘인공지능 반도체’가 개발되고 있는 상황입니다.

정지훈 교수 맞습니다. 인공지능이 중요해지면서 최근 ‘인공지능 반도체’라는 표현이 많이 사용되고 있잖아요. 인공지능 반도체라 하면 여러 종류가 있겠지만, 기존 컴퓨팅 시스템이었던 폰 노이만 구조*에서 벗어나 각각의 모듈에 연산 처리 기능을 도입한 반도체들을 예로 들 수 있을 것 같아요.

* 폰 노이만 구조 : 주 기억 장치, 중앙 처리 장치, 입출력 장치 등 3단계 구조로 이뤄진 프로그램 내장형 컴퓨터 구조, 오늘날 사용하고 있는 대부분 컴퓨터의 기본 구조로 나열된 명령을 순차적으로 수행한다. 메모리의 값을 읽고 쓰는 구조이기 때문에 메모리 장치에서 병목현상이 발생한다는 한계가 있다.

류동일 TL 맞습니다. 저희가 개발하고 있는 iCIS 역시 인공지능 반도체를 필요로 합니다. 앞서 설명 드리자면 CIS(CMOS Image Sensor)는 카메라 센서 반도체인데요. 카메라 센서는 인공지능의 발전과 함께 많은 주목을 받고 있는 분야입니다.

정지훈 교수 아무래도 최근 스마트폰이나 CCTV 등을 통한 얼굴인식이나 자율주행 자동차에 사용되는 차량 주변 물체 인식 등 최근 카메라가 활용되는 곳이 아주 많아졌기 때문에 고성능 카메라 센서에 대한 수요도 많아지기는 했죠.

류동일 TL 카메라 센서도 인공지능의 발전과 함께 빠른 속도로 발전하고 있는데요. 기존의 카메라 센서인 CIS에 인공지능 기능을 도입한 iCIS 역시 이런 발전의 일환입니다. 기존 카메라 센서의 경우 단순히 빛을 받아 디지털 신호로 바꿔 이미지를 만드는 기능만 수행했는데요. 저희가 개발하고 있는 iCIS는 카메라 센서 차원에서 인물의 얼굴을 인식한다거나 특정 모션을 분석하는 기능이 탑재된 제품입니다.

사실 ‘카메라 센서에 이런 인공지능 반도체가 왜 필요한가’라는 질문을 받기도 하는데요. 우리가 지금 인공지능을 구동할 GPU를 사용한다고 하면 컴퓨터에 들어있는 그래픽 카드는 아주 거대하거든요. 결국 인공지능을 구현하기 위해 거대한 GPU를 필요로 한다는 것은 인공지능 범용성의 한계로 작용할 것입니다. 이런 한계를 넘어서기 위한 방안 중 하나가 인공지능 반도체이고, 그렇기 때문에 ‘굉장히 작은 칩 안에서 인공지능 기능을 수행하는 iCIS’가 필요한 것이죠.

권용기 PL 아무래도 카메라는 스마트폰에 적용되든 CCTV에 적용되든 더 작고 더 가볍게 만들어야 하기 때문에 iCIS가 더 중요해지는 것이군요. 기존의 카메라처럼 더 좋은 이미지를 촬영하는 것은 기본이고, 이 이미지 데이터를 어떻게 더 스마트하게 처리할 수 있는가? 그리고 이러한 기능을 하면서도 경량화할 수 있는가에 초점이 맞춰져 있는 것이겠군요.

▲ 2022 SK 테크 서밋에서 iCIS 전시 제품을 살펴보고 직접 시연하고 있는 권용기 PL, 류동일 TL, 주영표 부사장, 정지훈 교수, 김성재 PL(좌측부터)

▲ 2022 SK 테크 서밋에 전시된 iCIS 제품

류동일 TL 맞습니다. 그뿐만 아니라 카메라 센서 자체에 인공지능 연산이 가능한 기능을 포함하면 아무래도 센서와 디바이스 사이에서 데이터가 이동해야 하는 일도 줄어들 것이고, 데이터의 이동을 최소화하면서 자연스럽게 저전력 반도체를 구현할 수도 있습니다.

정지훈 교수 인공지능이 방대한 양의 데이터를 처리해야 하는 기술이다 보니 기존의 컴퓨팅 기술로는 분명 한계가 발생하는 것이겠죠. 말씀해주신 iCIS 역시 이러한 이유로 더욱 주목받을 것 같네요. 수없이 많은 이미지 데이터를 연산 장치로 가져와 연산하고 결과를 도출하는 것보다 촬영과 동시에 데이터를 연산하는 것이 아무래도 효율적이니까요. 결국 인공지능 반도체는 각각의 반도체가 각자 연산하는 모습으로 구현되겠네요.

달라진 연산 방법, 인공지능 위해 메모리 반도체도 이젠 연산 필요해

▲ 차세대 메모리 PIM이 적용된 GDDR6-AiM의 뛰어난 기술력과 그 활용 가치에 대해 설명하고 있는 권용기 PL과 이야기를 듣고 있는 정지훈 교수, 김성재 PL

권용기 PL 올해 초 저희가 샘플 개발에 성공한 ‘GDDR6-AiM’ 역시 인공지능 반도체라고 부를 수 있을 것 같습니다. 차세대 메모리 반도체인 PIM*인 GDDR6-AiM(Accelerator in Memory)는 16Gbps의 속도로 데이터를 처리하는 GDDR6* 메모리에 연산 기능을 갖춘 아주 똑똑한 반도체입니다. GDDR6-AiM의 경우 제품명에서 알 수 있듯 그래픽 D램이긴 하지만 개발 단계에서부터 인공지능 응용을 목적으로 개발된 제품으로 GPU뿐 아니라 NPU*에서도 사용이 가능한 제품입니다.

* PIM(Processing In Memory): 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅 데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* GDDR(Graphics DDR): 국제반도체표준화기구(JEDEC)에서 규정한 그래픽 D램의 표준 규격 명칭. 그래픽을 빠르게 처리하는 데 특화한 규격으로, 3-5-5X-6 순으로 세대가 바뀌었다. 최근에는 그래픽을 넘어 인공지능, 빅데이터 분야에서도 가장 대중적인 메모리로 주목받고 있다.
* NPU(Neural Processing Unit): 신경망처리장치로, 머신러닝 구동에 최적화된 프로세서. 소프트웨어를 통해 인공신경망을 만들어 학습해야 하는 GPU와 달리 하드웨어 칩 단위에서 인공신경망을 구현하고자 했다.

정지훈 교수 테크 서밋에서 살펴봤던 그 제품이군요. 시연 제품을 보니 GPT-2*를 활용했을 때 일반 CPU와 비교해 2배 이상 빠르게 결과를 도출해내는 것을 확인했는데요. GDDR6-AiM은 어떻게 더 빠른 인공지능 구동에 도움을 줄 수 있는 것인가요?

권용기 PL 높은 대역폭 때문입니다. 보통 우리가 대역폭을 고속도로와 많이 비교하잖아요. 대역폭이 높을수록 차선이 많은 고속도로라고 이야기하는데요. 지금까지의 메모리 대역폭이 1차선 고속도로였다면 GDDR6-AiM은 16차선 고속도로 수준입니다. 동시에 전송할 수 있는 데이터의 수가 기하급수적으로 늘어났으니 당연히 데이터 처리도 빠를 것이고 병목 현상도 줄어들겠죠.

또한, GDDR6-AiM은 각 메모리 뱅크*마다 연산을 수행하는데요. 이로써 내부 대역폭을 활용한 독립적인 메모리 뱅크들의 병렬 연산이 가능해지는 것입니다. 엄청난 혁신이죠. 고속도로 차선이 늘어났다고 하더라도 사람 한 명당 차 한 대씩 타고 고속도로를 이용하면 결국 정체가 생길 수 있잖아요.

하지만 GDDR6-AiM은 각 뱅크에 연산기를 설치해 메모리 차원에서 데이터의 연산을 진행하고 연산이 된 결과 데이터를 묶어 한 번에 전송할 수 있습니다. 고속도로를 이용하는 사람들이 버스를 타고 한 이동하는 것이라고 생각하면 이해가 쉬울 것 같은데요. 모든 사람들이 버스를 타고 이동하면 그만큼 많은 사람이 정체 없이 이동할 수 있듯, GDDR6-AiM 역시 메모리 차원에서 병렬 연산을 통해 한 번에 많은 데이터를 전송하는 것입니다.

* GPT-2(Generative Pre-trained Transformer-2): OpenAI에서 만든 텍스트 생성 딥러닝 인공지능 모델. 제시된 단어를 고려해 다음 단어를 입력하여 문장을 만드는 것을 목적으로 훈련된 모델입니다. 이는 인공지능이 수많은 데이터를 학습하면 다양한 질문과 답변이 가능하여 대화형 인공지능 서비스에 활용됩니다.
* 메모리 뱅크(Memory Bank): 데이터가 프로세서에 지속적으로 전송될 수 있도록 순차적으로 작동하는 메모리 장치 내부의 분할된 구역. 메모리와 연산 장치 사이의 데이터 전송을 빠르게 하기 위해 사용된다.

▲ 2022 SK 테크 서밋에 전시되어 있는 GDDR6-AiM 제품

▲ GDDR6-AiM을 장착한 서버 PC에서 텍스트 생성 딥러닝 인공지능 모델인 GPT-2가 시연되는 모습

정지훈 교수 최대한 많은 데이터를 한 번에 많이 전송할 수 있다는 것이 강점인 것 같군요. 게다가 데이터가 하나씩 개별적으로 이동해 연산하는 것이 아니라 메모리 자체에서 연산할 수 있도록 했다는 점도 훌륭하네요.

주영표 부사장 저희는 조금 다른 관점으로 인공지능에 접근했는데요. 메모리 자체에 연산 기능을 도입하는 것이 아니라 메모리 컨트롤러에 연산 가속 기능을 넣는 쪽을 선택했습니다. 이러한 개발의 결과물이 오늘 함께 살펴본 CXL*과 CMS*입니다. 특히 CMS는 흔히 PNM*이라고 불리는 기술인데요. 이라는 새로운 인터커넥트 기술이 메모리 용량을 유연하게 증가시켜 메모리와 GPU, 인공지능 가속기 등을 모두 탑재할 수 있다는 점에 주목하고, “그들을 하나의 솔루션에 담으면 어떨까?”라고 접근한 것이죠.

CXL 인터페이스를 기반으로 개발한 CMS는 고용량 메모리를 확장할 수 있는 CXL의 장점에 빅데이터 분석이나 머신러닝과 같은 인공지능 분야의 연산까지 제공하기 때문에 인공지능 분야에서도 다양하게 활용될 수 있다고 생각합니다. GPU나 인공지능 가속기들과는 주력 기능이 다르기 때문에, 상호 보완적으로 적용도 가능할 것입니다.

* CXL(Compute eXpress Link): 메모리뿐만 아니라, GPU, AI 가속기와 같은 다양한 솔루션을 보다 효율적으로 통합, 활용할 수 있도록 만들어진 새로운 인터커넥트 기술로 ‘메모리 용량의 유연한 증가’가 장점
* CMS(Computational Memory Solution): 고용량 메모리를 확장할 수 있는 CXL에 빅데이터 분석 응용 프로그램이 자주 수행하는 머신러닝 및 데이터 분석 연산 기능도 함께 제공하는 솔루션
* PNM(Processing Near Memory): 메모리 칩 내부가 아닌 메모리 패키지에 별도의 연산 장치를 넣고 필요한 연산을 수행하는 메모리

▲ 2022 SK 테크 서밋 전시장에 전시되어 있는 CMS에 활용되고 있는 CXL의 기술력과 활용 가치에 대해 설명하고 있는 주영표 부사장

정지훈 교수 PIM 기반의 GDDR6-AiM이 메모리 자체에 연산 기능을 도입한 제품이라면 CMS는 메모리와 연산 장치를 통합한 솔루션이라는 것이군요.

주영표 부사장 네 맞습니다. CXL과 CMS는 PIM과 달리 메모리 연산의 포인트를 데이터의 ‘준비’ 과정에 맞추고 있는 것인데요. 많은 데이터 중 실제로 필요한 데이터만을 뽑아내는 일은 연산 장치 입장에서는 쉽겠지만 굉장히 비효율적인 일이잖아요. 데이터를 하나하나 확인하느라 대부분의 시간을 허비하게 되니까요. 그래서 메모리 차원에서 연산 장치가 필요한 데이터가 무엇인지 미리 찾아준다면, 연산 장치는 더 복잡하고 중요한 연산에 집중할 수 있게 되는 것이죠. 게다가 이러한 구조는 불필요하게 이동하는 데이터를 획기적으로 줄일 수 있는데요. 이는 결국 전력 소비를 절감하는데도 큰 효과를 보일 수 있습니다.

▲ 2022 SK 테크 서밋에 전시되어 있는 CXL

▲ 2022 SK 테크 서밋에 전시되어 있는 CXL을 활용한 솔루션과 CMS

정지훈 교수 이야기를 들어보니 SK하이닉스가 인공지능에 대해 얼마나 진심인지를 다시 한번 느끼게 됐습니다. 지금까지 말씀해주신 제품들 모두 다가올 인공지능 시대를 앞당기거나 인공지능 시대에 아주 중요한 역할을 하게 될 것임을 느낄 수 있었습니다.

특히 더 빠르고 정확한 인공지능을 위해 제품의 성능 향상만 시도하는 것이 아니라, 기존 메모리 제품에 확장성을 부여하거나 새로운 기능을 추가하는 등 다양한 측면에서 개발을 이어 나가고 있다는 점이 인상적이었는데요. 이러한 다양한 접근들로 인해 인공지능 시대를 꽃피우는 SK하이닉스가 됐으면 좋겠습니다.

이번 대담을 통해 우리는 다가오는 인공지능 시대를 준비하는 SK하이닉스의 모습을 살펴봤다. 다양한 종류의 ‘인공지능 반도체’를 개발하고 생산하는 SK하이닉스는 다양한 측면에서의 혁신을 이뤄내고 있었다. 다음 편에서는 지금까지 다루지 못했던 ‘2022 SK 테크 서밋’에 대한 이야기와 인공지능 시대를 선도하기 위한 SK의 노력을 살펴보고자 한다. 인공지능 분야에서도 최초와 최고의 가치를 만들어내고 있는 SK하이닉스의 이야기는 계속된다.

인공지능을 구현하는 길은 험난했다. 의사결정나무(Decision Tree), SVM(Support Vector Machine)*, 회귀(Regression) 등 인공지능을 만들기 위한 다양한 시도가 있었지만, 원하는 수준의 인공지능을 만들지는 못했다.

* SVM : 데이터의 분류를 위해 기준 선을 정의하는 모델. 데이터가 주어졌을 때, SVM 알고리즘은 기존에 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속할지 판단합니다.

▲ 상기 이미지는 이해를 돕기 위한 참고용 이미지로 실제로는 더 복잡한 구조를 가졌다.

그러던 2012년, 이변이 일어난다. ‘이미지넷(ImageNet)’ 사물 인식 대회에서 ‘알렉스넷(AlexNet)’이라는 인공지능 기반 알고리즘이 우승한 것이다. 알렉스넷은 인간의 뇌세포 구조를 이용해 제작된 인공지능으로, 기존 프로그램이 보여주지 못한 성능을 보여주었다. 이 성공으로 전 세계는 인공지능의 가능성을 깨닫게 되었고, 지금의 인공지능 붐(Boom)에 이르게 됐다.

▲ 알렉스넷의 구조도. 병렬적인 구조로 설계되었다는 점이 가장 큰 특징이다.(출처 : )

그런데 뭔가 이상하다. 인공지능을 만들려고 했으면 당연히 ‘인간’ 신경망을 본 뜬, 즉 ‘인공’ 신경망을 제일 먼저 만들어 봐야 했던 것 아닐까? 왜 60년이라는 먼 길을 돌아 이제서야 인공지능이 빛을 보게 된 것일까?

인공신경망, 반도체와 만나다

과학자들도 수십 년간 인간의 신경망을 따라 하려 시도했다. 문제는 인공신경망(Artificial Neural Network, ANN) 관련 이론적 발전이 더디고, 원리상 엄청난 연산 능력이 필요하다는 점이었다.

인공신경망 내에는 인간의 뇌세포에 해당하는 수백만 개에서 최대 수조 개의 값이 필요하다. 인공신경망을 학습시킨다는 것은 이 수많은 신경망 내의 값들을 하나하나 바꿔준다는 의미이다. 문제는 이 조정을 매우 자주 반복해야 한다는 것이다. 학습 1회(배치)마다 최대 수백만~수조개의 값을 바꿔줘야 하는데, 학습 횟수도 수만 회가 넘는 경우가 있다. 이러한 연산 능력 부족 문제는 1980년대까지 해결되지 않은 문제였다. 이 때문에, 2,000년대 이전까지는 당시 CPU 수준에서도 작동 가능한 SVM과 같은 대안 기술에 과학자들이 몰리게 되었다. 하지만 SVM과 같은 기술은 인공지능 기술 발전에 큰 성과를 내지 못했고, 인공지능 전반에 대한 관심이 줄어들었다. 연구비 또한 줄어들면서, 인공지능을 연구하는 사람들은 정부가 전폭적으로 인공지능 연구를 지원하는 캐나다로 이동하게 된다.

연산력 문제가 해결된 것은 2,000년대 후반 인공신경망이 반도체와 만나면서부터다. 특히, GPU(Graphics Processing Unit)가 연산 속도 개선에 중요한 역할을 한다. GPU는 원래 그래픽을 표시하는데 사용된다. 그래픽 연산은 CPU가 수행해야 하는 복잡한 연산들보다는 단순했으나, 대신 유사한 작업을 매우 반복해야 했다. 이런 이유 때문에 GPU는 CPU에 필요한 많은 회로들을 덜어내고, 대신 더 많은 연산 코어를 집적하는 방식으로 발전하였다. 연구자들은 이러한 GPU의 연산 능력이 인공신경망의 연산에 활용될 수 있음을 눈치챘다. 때 마침, GPU 제조사였던 엔비디아는 GPU 기반 프로그래밍을 도와주는 프레임워크 CUDA(Compute Unified Device Architecture)를 제공하고 있었다. CUDA는 GPU의 메모리 모델을 추상화해 좀 더 편하게 GPU를 이용할 수 있도록 도왔고, 과학자들은 GPU를 도입해 인공신경망을 수십 배 빠르게 구동할 수 있게 된 것이다.

▲ 인공신경망은 수백만 개의 인공 연결을 시뮬레이션 해야 한다

메모리 반도체 역시 인공신경망 발전에 큰 역할을 한다. 인공신경망 자체는 GPU에 들어갈 수 없으며, 반드시 메모리에 담아야만 한다. 하지만 인공신경망의 크기는 기존 소프트웨어들보다 거대하다. 게다가 빠른 인공지능 학습을 위해서는 신경망과 가까운 곳에 학습 데이터가 저장되어 있어야 한다. 메모리 반도체 회사들이 인공지능을 위한 고용량, 고대역폭 메모리를 제공했다.

반도체가 인공지능 기술의 동반자로 나선 것이다. GPU는 인공신경망 학습과 구동 속도를 높이고, 메모리 반도체는 더 많은 데이터를 담아 더 큰(깊은) 인공신경망을 만들어 볼 수 있게 된다. 이 같은 환경 변화의 결실이 2012년에 나타난 것이다.

인공지능 기술의 발전은 현재진행형이다

인공지능의 첫 성과 후 10년, 인공지능 기술은 우리 삶 곳곳에 자리 잡았다. 이제는 일상화된 안면 인식, 목소리를 통한 스마트폰 제어, 광학 문자판독(OCR), 실시간 번역 모두 인공지능 기술 덕분에 가능했다. 자율주행 자동차 상용화도 마찬가지다. 인공지능 기술의 발전은 여기에 머무르지 않고 창작의 영역에 도전 중이다. 네이버는 웹툰 자동 채색 서비스를 시범적으로 선보이기도 했으며, 오픈AI(OpenAI)는 인간이 요청한 대로 그림을 그릴 수 있는 인공지능 엔진 DALL-E를 공개했다.

▲ 유저가 요청한 “수프 한 그릇 + 괴물처럼 생긴 + 양털로 짠” 내용에 맞춰 그림을 그려 주는 DALL-E 2 (출처: )

이처럼 인공지능이 우리 삶에 깊이 파고들자, 다양한 반도체 분야가 인공지능 산업에 뛰어들었다. GPU는 인공지능 성능 향상의 핵심으로 자리 잡으며, 인공지능 반도체 분야에서의 입지를 더욱 키웠다. 현재, 메모리 반도체 회사들은 HBM(High Bandwidth Memory)과 같이 GPU의 잠재력을 끌어낼 수 있는 고용량 고대역폭 메모리 반도체를 만들고 있다. 엔비디아는 로드맵을 확장하여 감시용 카메라 등 더 작은 기기(Edge device)에 들어갈 인공지능 반도체도 만들기 시작했다. 인텔은 자신들이 점유한 CPU 시장 점유율을 바탕으로 CPU와 GPU의 장점을 결합해 연산력을 높인 단일칩을 출시해 시장에 도전장을 내밀기 시작했다.

▲ 세계 최초로 양산에 돌입한 SK하이닉스의 HBM3

인공지능 반도체에 직접적으로 관련이 없던 회사들의 진출도 시작되었다. 스마트폰 AP 회사들은 NPU(Neural Processing Unit)*라고 부르는 인공지능 연산 전용 부위를 추가해, 영상·이미지·음성 인식 등 스마트폰에 활용되는 인공지능 서비스를 고도화시켰을 뿐 아니라, 이미지 합성, AI 지우개 기능 등 기존 스마트폰에서는 가능하지 않던 재미있는 앱 개발을 가능하게 만들었다. 자동차 회사 테슬라는 자체 연산 칩을 설계하여 반(半)자율주행 알고리즘인 오토파일럿* 기능을 구현하였으며, 인공지능 학습에 사용될 자체 슈퍼컴퓨터 도조(Dojo)까지 만들었다.

* NPU : AI 기반 기술이 스마트폰에 필수적으로 쓰이게 되어 도입된 인공지능 처리 전문 반도체, 혹은 특정 칩에서 인공지능 연산을 담당하는 부분을 지칭하는 용어. 모바일 외에도 음성이나 영상 인식, 스마트 공장, 스마트 빌딩, 스마트 시티 등 다양한 곳에서 사용됩니다.
* 오토파일럿 : 테슬라에서 사용되고 있는 ADAS(Advanced Driver Assistance Systems, 첨단 운전자 지원 시스템) 시스템으로서, 자율주행 5단계인 ‘운전자 없는 자동차를 주행’ 하는 것을 목표로 하고 있습니다. 현재 자율주행 2단계에 속해 테슬라의 주행보조기능을 수행하고 있으며, 사람이 기능이 잘 작동하고 있는지 감시하는 단계의 자율주행 기술입니다.

또 다른 동반자를 찾아

반도체 기술과 인공지능 기술은 선순환의 관계를 가지게 되었다. 반도체의 도움으로 인공지능 기술이 꽃 필 수 있었다. 반도체 산업 역시, 인공지능의 가능성을 알게 된 수많은 플레이어들이 뛰어들며 산업 자체의 파이를 키울 수 있었다.

이러한 선순환 관계는 지속되어야 한다. 현재 인공지능 기술에서의 이슈 중 하나는 전력을 최소화할 수 있는 컴퓨팅을 실현하는 것이다. 이 분야에서도 반도체 회사들의 대결이 뜨겁다. 인텔은 현재의 인공신경망보다 좀 더 인간 신경망에 가까운 SNN(Spiking Neural Network)* 기반의 뉴로모픽 칩을 개발하였으며, 메모리 회사들은 AI 개발 속도는 높이면서 전력 소모를 줄이는 PIM 반도체 개발에 나서고 있다.

* SNN : 인간 두뇌의 생물학적 동적 구조를 모방한 컴퓨팅 기술. 뇌를 구성하는 뉴런(neuron) 과 시냅스(synapse)로 이루어진 신경망 구성방식으로 두뇌에서 정보가 전달, 가공, 출력되는 과정을 인공지능으로 구현하는 방식을 말합니다.

위의 수많은 대안 기술들 중, 혁신가가 어떤 정답을 찾을지는 모른다. 하지만 수많은 경쟁자 사이에서 우리의 반도체가 미래의 혁신가들에게 선택받기 위해서는, 엔비디아와 메모리 회사들이 어떻게 인공지능 연구원들을 도와주었는지 되새길 필요가 있다. 날이 갈수록 반도체를 사용하는 방법은 어려워지고 있다. 따라서 앞으로 반도체의 완성은 사용자가 ‘보고 따라 할 수 있는 매뉴얼과 소통 창구’ 등을 갖추는 것을 포함하게 될지도 모른다. 긴 이야기였지만, 결국 역지사지해야 한다는 이야기이다.

※ 본 칼럼은 반도체/ICT에 관한 인사이트를 제공하는 외부 전문가 칼럼으로, SK하이닉스의 공식 입장과는 다를 수 있습니다.