미국 주식 분류
KV 캐시 병목을 완화하는 기술: CXL
작성자 정보
- 오리아셋 작성
- 작성일
컨텐츠 정보
- 25 조회
- 0 추천
- 목록
본문
AI 메모리 수요가 증가하는 원인
AI가 빅데이터에서 돈이 되는 데이터를 찾아낸다.
사람이 만드는 데이터를 넘어서 AI가 생성하는 데이터까지 저장할 메모리가 필요해 진다.
▶ 더 좋은 AI는 더 많은 메모리가 필요하다.
메모리 수요 = AI 모델의 대형화 × 사용자 증가 × 사용자가 입력하는 데이터 증가 × AI 에이전트
각각 10배씩 증가하면 메모리 수요는 10 × 10 × 10 × 10 = 10000배 증가.
지금의 GPU는 HBM과 하나의 패키지로 만들어진다.
HBM은 물리적인 메모리이고, KV 캐시는 그 메모리 안에 할당되는 데이터이다.
KV 캐시는 AI가 GPU를 사용해서 한번 계산(이해)한 것을 메모리(HBM)에 저장해서 다시 계산하지 않고 활용하는 기술. → 메모리가 많을 수록 AI의 효율성이 높아진다.
GPU의 혁신은 HBM의 대역폭과 용량에 의존하고 있다. 그러나 HBM은 발열, 공간, 수율에 한계가 있다. → HBM 외부의 메모리가 필요해진다. → AI 데이터센터는 HBM뿐 아니라 DDR DRAM, SSD 등을 계층적으로 활용하는 메모리·스토리지 인프라로 발전.
광통신은 멀리 떨어진 서버/랙 사이 메모리의 데이터를 고속으로 전송하는 미래지향적 기술이다. 아직 시간이 더 필요함.
CXL은 지금의 KV 캐시 병목을 완화하는 기술이다.
네트워크 방식의 데이터센터 인프라의 문제점:
KV 캐시를 복사해야 하는 비효율 발생.
데이터 전송에 따라 GPU의 대기 시간이 발생.
사용자 증가시 GPU 서버를 추가해야 함.
CXL 공유 메모리의 장점:
서버 내에 KV 캐시를 저장할 수 있는 CXL 메모리를 추가할 수 있다.
서버끼리 CXL 메모리를 복사하지 않고 공유할 수 있다.
GPU 활용률이 높아진다.
유저 증가시 메모리만 증설하면 된다. (GPU 연산량이 병목이면 GPU도 추가해야 함)
클라우드 공급자는 메모리를 충분하게 확보하려고 하며, 사용자도 메모리를 충분하게 임대한다. → 클라우드 서버에서 실제 사용되는 메모리는 35%에 불과하다. → CXL로 70~80%까지 올릴 수 있다.
메모리는 CPU나 GPU에 비해 수명이 길다. CPU/GPU 교체시 버려지는 메모리를 CXL 메모리로 재활용할 수 있다.
Data Gravity
지금은 데이터가 너무 커져서 복제/전송에 비용이 너무 크다. → 데이터(메모리)를 중심으로 서비스(컴퓨팅/인프라)가 집중된다.
Near Data Processing
메모리 근처에 연산 기능 추가 → 메모리 근처에서 데이터를 처리해서 필요한 곳(CPU/GPU)으로 보낸다. → 데이터 이동 최소화/네트워크 부하 감소/에너지 절감
CXL 관련주
Marvell Technology, Inc. (MRVL)
Astera Labs, Inc. (ALAB)
참고: 천재 개발자의 경고 메모리 1만배 필요합니다 (엑시나 김진영 대표) | 언더스탠딩, 2026.9.20
관련자료
-
다음
댓글 0
등록된 댓글이 없습니다.
