SK하이닉스가 9일부터 4일간 미국 캘리포니아주 새너제이에서 열린 'AI 하드웨어 & 엣지 AI 서밋 2024'에 참가해 자사의 AI 시대를 위한 첨단 기술을 선보였다고 19일 밝혔다. 이 서밋은 글로벌 IT 기업과 스타트업들이 최신 기술과 연구 결과를 공유하며, 산업 내 협력 기회를 모색하는 자리로 주목받는다.

이번 서밋에서 SK하이닉스는 '데이터센터부터 엣지 디바이스까지, AI 성능을 가속하는 AiM'이라는 슬로건을 내걸고, 가속기 카드 'AiMX'를 포함한 다양한 AI 솔루션을 전시했다.

SK하이닉스의 AiM은 PIM(프로세스 인 메모리) 기술을 기반으로 한 메모리 반도체 제품으로, 연산 기능을 메모리 자체에 더해 데이터 이동의 병목현상을 개선하는 차세대 기술이다. AiMX(AiM 기반 가속기)는 이러한 GDDR6-AiM 칩을 사용하여 대규모 언어 모델(LLM)에 특화된 가속기 카드 제품으로, 생성형 AI를 위한 최적의 솔루션으로 평가받고 있다. SK하이닉스는 자사의 AiM이 기존 메모리보다 높은 대역폭과 뛰어난 에너지 효율성을 제공하여, LLM 기반의 생성형 AI에 필요한 컴퓨팅 성능을 보다 경제적으로 구현할 수 있다고 강조했다.

이번 서밋에서 SK하이닉스는 전시 부스에서 최신 LLM 모델인 '라마(Llama)3 70B'를 활용해 AiMX의 성능을 시연했다. 공개된 AiMX는 기존 대비 메모리 용량이 16GB에서 32GB로 두 배 증가했으며, 여러 데이터 그룹을 동시에 처리하는 멀티 배치(Multi-Batch) 기능으로 업계 관계자들의 많은 관심을 받았다.

또한, SK하이닉스는 엣지 디바이스(온디바이스 AI)에도 적용 가능한 AiM 솔루션을 소개했다. SK하이닉스는 "이번 솔루션의 강점은 기존 엣지 디바이스의 메모리 인터페이스를 변경하지 않고도 성능을 향상시킬 수 있다는 점"이라며, "모바일 D램을 AiM으로 대체할 경우, 기존 대비 최대 3배 이상의 LLM 속도 향상과 에너지 효율을 기대할 수 있다"고 밝혔다.

임의철 SK하이닉스 솔루션AT 담당 부사장은 서밋에서 'LLM 서비스의 성능 향상(Accelerating LLM Services from Datacenter to Edge Device)'을 주제로 한 발표를 통해 데이터센터부터 엣지 디바이스까지 AiM 기술이 LLM 서비스를 위한 핵심 솔루션임을 강조하며, 모바일 D램 기반의 온디바이스 AI용 AiM 제품 개발 계획을 공유해 미래 비전을 제시했다.

박은지기자/2024.09.19

alska3421@naver.com

사진출처-나무위키 캡쳐