|
제목
|
젠슨 황의 '신비로운' 메모리 플랫폼…삼성·SK 기회 잡나 [강해령의 테크앤더시티]
|
|
작성자
|
A
|
|
작성일자
|
2026-01-24
|
젠슨 황 CEO가 가리킨 것은 베라루빈 AI 연산 플랫폼의 한 구석을 차지한 검은 색깔의 랙이었습니다. 오늘 이야기의 주인공인 이 랙엔 엄청난 양의 저장 장치가 들어있습니다.우선 젠슨 황이 이걸 왜 소개했는지에 대한 설명부터 들려드리려고 합니다. 우리는 황 CEO가 공식 석상에서 자주 언급하는 'KV 캐시'부터 짚고 가야 합니다. 독자님들 요즘 GPU나 AI 하드웨어에 관한 기사 보실 때, KV 캐시에 대한 말을 많이 들어보셨을 겁니다.이 키워드는 AI 추론 시대에서 굉장히 중요한 키워드입니다. AI의 대화 맥락을 짚는 센스는 물론 효율적인 연산에 관한 이야기이거든요. 쉬운 예를 들어볼까요. 독자님이 오픈AI의 챗GPT·구글 제미나이를 열고 K팝 최고의 스타 지드래곤에 대해 질문한다고 가정해봅시다.사용자가 이 대화창에서 지드래곤의 음악·패션 ·경력 등 객관적인 정보를 묻는다면, AI는 학습된 정보로 답할 수 있죠. 그런데 사용자는 한참 얘기를 하더니 문득 "그럼 그 분은 왜 한 시대의 '아이콘'인거야?"라고 묻습니다. 마치 논술 문제 같이 딱 떨어지는 답을 낼 수 없는 질문을 한거죠. 이제부터 AI가 추론을 시작합니다.이때 KV 캐시가 중요합니다. Key와 Value. 일단 key는요. 우리야 금방 캐치할 수 있지만 AI는 지금 대화에서 질문의 '그 분'이 문맥 상 누구인지, 답변의 주어와 목표가 무엇인지 Key 벡터를 통해 명확히 파악해 조준하고요(Key). 사용자와 대화하면서 조사해뒀던 지드래곤에 관한 모델 내 중간 계산 값과 각종 데이터(Value)를 총동원해 가중치를 매기고, 추론을 하며용인출장샵 안양출장샵 답을 만들어 나갑니다.KV캐시 없이 질문이 나올 때마다 마치 처음인 것처럼 새롭게 연산하면 GPU도 일을 두번 세번 반복해서 효율성이 떨어지고요. AI의 환각 현상이 심해져 엉뚱한 대답을 할 수 있습니다.그러나 KV캐시로는 효율적일 수 있죠. 지금 이 순간 사용자와 한참동안 나눴던 대화에서 얻은 각종 데이터를 재사용해 여기서 가중치를 매겨쓰는 '어텐션(attention) 계산' 토대의 추론이 훨씬 빠르고 대화도 자연스럽습니다.
|
|
첨부파일
|
|
|
|
|
|
