스스로 내용과 논리가 부실하다고 느끼는 글입니다.
추후 가능할 때 업데이트하도록 하겠습니다.
https://www.sedaily.com/NewsView/29YMFR9TU3 이 글에 정말 상세히 설명되어 있으니
위 글을 보시는 걸 추천드립니다.
개요
더 좋은 인공지능 모델을 학습, 활용하기 위해서는 더 많은 메모리가 필요합니다.
기존 메모리(DDR) 한계
DDR 으로 불리는 현재 가장 보편적으로 사용되는 메모리 형태는 명확한 한계가 있습니다.
[ 확장성 문제 ]
DDR 메모리는 램의 확장성에 제한이 있습니다. 개인용 컴퓨터에서는 32GB 또는 64GB의 램을 사용할 수 있지만, 대규모 인공지능 서비스를 운영하기에는 이러한 용량이 충분하지 않습니다.
[ 공유 문제 ]
DDR 메모리는 하나의 CPU에만 연결할 수 있습니다. 대규모 인공지능 서비스에서 여러 CPU가 유연하게 메모리에 접근하여 모델을 활용하는 데 제한을 초래합니다. 처리 속도가 느려질 수밖에 없습니다.
따라서 이러한 한계를 이론 상 해결할 수 있는 방법이 고민되기 시작했고, 그 결과로 CXL 메모리 기술이 부상하고 있습니다.
CXL 표준
CXL기술을 통해 이론 상 메모리를 무한대로 확장할 수 있습니다.
스위치, 풀링 등의 다양한 기술을 차례대로 접목시켜 24년 2월 기준 최근 3.0 표준까지 공개되어 있습니다.
다수의 CPU가 모든 메모리에 접근가능하게 되므로 (일반적으로 모델은 램에 올라간다.) 인공지능 서비스 운용에 매우 유리
참고 자료
'기타 > 기술' 카테고리의 다른 글
[데이터센터] 액체 / 액침 냉각 기술 Liquid Cooling (Direct to Chip, Rear Door, Immersion) (0) | 2024.09.24 |
---|---|
[반도체] HBM (High Bandwidth Memory) (3) | 2024.09.22 |