소버린 AI 시대 에너지 난제...엔비디아·삼바노바·그록이 뚫는다

[ESG경제=이진원 기자] 전 세계적으로 ‘소버린 AI’ 구축에 대한 관심이 높아지고 있지만, 이를 추진하는 과정에서 막대한 에너지 소비라는 난제가 함께 부각되고 있다.

그러자 엔비디아, 산바노바(SambaNova) 그록(Groq) 등 AI 성능과 에너지 효율이라는 두 축을 모두 만족시키는 전략을 취하는 기업들의 기술에 대한 관심이 커지고 있다.

소버린 AI는 각국이 자국의 데이터 주권을 지키고, 외국 기술 의존도를 낮추기 위해 AI 인프라와 데이터를 자체적으로 보유하고 운영하려는 흐름이다.

국내에서는 ‘소버린 AI’의 중요성을 강조해온 하정우 네이버클라우드 AI이노베이션센터장이 대통령실 AI 미래기획수석으로 임명되면서 최근 더욱 큰 주목을 받고 있다.

그런데 소버린 AI를 구축하기 위해서는 고성능 그래픽 처리 장치를 보유한 데이터센터와 이를 뒷받침하는 전력망, 데이터 수급, 실제 서비스에 적용하는 과정이 필요하다. 특히 AI 모델을 학습시키고 실시간 추론을 가능하게 하는 데이터센터는 기존 IT 인프라보다 수배 많은 전력을 소비해 국가 전력망에 부담을 줄 정도다.

이로 인해 소버린 AI를 추진하는 국가들은 엄청난 에너지 비용뿐 아니라 탄소 배출 문제와 전력망 부담 문제를 해결해야 한다. 단순히 우수한 성능뿐 아니라 에너지 효율을 얼마나 확보할 수 있는가가 소버린 AI 구축에 중요한 화두가 되고 있는 이유다.

엔비디아, 에너지 효율 높은 GPU로 소버린 AI 시장 공략

최근 ‘소버린 AI’를 새로운 수익원으로 간주하며 시장 공략에 집중 나서고 있는 AI 칩 시장의 절대 강자 엔비디아 역시 이러한 문제를 잘 알고 해결에 적극 나서고 있다.

특히 몇 년 전부터 젠슨 황 CEO가 소버린 AI 구축의 필요성을 홍보하고 있는 유럽 지역을 중심으로 소버린 AI 시장 점유율을 더 높이려면 칩의 성능뿐 아니라 에너지 효율성을 높이는 것도 필요하다는 걸 잘 알고 있기 때문이다.

엔비디아는 현재 AI 가속기의 에너지 효율을 높이는 방향으로 R&D 전략을 조정하고 있다. 특히 최신 칩인 블랙웰의 에너지 효율성을 강조하는 데 집중하고 있다.

마이크로소프트의 한 전문가는 엔비디아 H100이 올해 말까지 피닉스시 전체의 전력 소비량과 맞먹는 전력을 소비할 것으로 추정했다. 하지만 엔비디아는 새로운 블랙웰 GPU의 판매 포인트로 ‘전력 효율성’을 강조하고 있다.

이에 대해 탄소분야 전문매체인 ‘카본크레딧닷컴’은 “엔비디아는 블랙웰의 에너지 효율성을 강조함으로써 AI의 경제적 비용과 탄소 배출량에 대한 우려를 해소하려는 목표를 추진 중”이라고 진단했다.

전통적으로 더 강력한 칩은 더 많은 에너지를 필요로 해왔다. 엔비디아도 주로 성능에 초점을 맞추고 에너지 효율성은 상대적으로 소홀히 해왔다는 평가가 많았다. 그러나 블랙웰을 공개하며 젠슨 황 CEO는 블랙웰이 H100 및 이전 A100 칩과 비교해 훈련 시 전력 소비를 크게 줄인다는 점을 강조했다.

소버린 AI 구축의 죽용성을 강조해온 그는 몇 년 전부터 프랑스, 독일, 이탈리아 등을 돌며 엔비디아 칩 기반의 자국 클라우드 구축을 촉진하고 있다. 그리고 실제로 이를 기반으로 한 주문이 급증하면서 엔비디아는 소버린 AI 수요에 힘입어 호실적을 이어가고 있다.

삼바노바, 적은 칩으로 고효율 AI 모델 구현

삼바노바는 RDA(Reconfigurable Dataflow Architecture)’라는 GPU 기반 AI에 대한 온프레미스(on-premises·자체 구축형) 방식의 대안을 제공한다.

즉, 데이터를 클라우드에 올리지 않고 기업이나 정부 기관 내부에 직접 설치해 대규모 AI 모델을 실행할 수 있게 해준다.

RDA는 기존 시스템보다 적은 수의 칩으로도 대규모 AI 모델을 구동할 수 있어 전력 효율성이 뛰어나다. 덕분에 전력 소모를 크게 줄이면서도 성능을 유지할 수 있다는 점에서 에너지 효율이 중요한 공공·민간 기관의 AI 활용에 적합하다.

또한 데이터가 외부로 나가지 않기 때문에 데이터 소유권을 100% 유지할 수 있다는 점도 큰 장점이다. 이러한 특성은 국방, 금융, 보건 분야처럼 민감하고 기밀성이 중요한 산업에서 특히 중요하다.

삼바노바는 자사 홈페이지에서 “우리는 소버린 AI 이니셔티브의 요구사항을 대규모로 충족시키는 완전한 솔루션을 제공한다”면서 “삼바노바의 소버린 AI 플랫폼은 인프라, CoE(Composition of Experts) 아키텍처 기반 모델, 모델 소유권 및 파트너십을 포함한다”고 말했다.

그록, 실시간 추론에 최적화된 저전력 AI 칩 공급

미국 반도체 스타트업 그록은 AI 추론 분야에서 전문성을 갖추고 있는 기업이다.

실리콘밸리에 본사를 두고 있으며, 구글의 모회사인 알파벳 출신의 AI 칩 엔지니어가 설립했다.

사전 훈련된 모델의 명령을 최적화된 속도로 실행하는 AI 추론 칩 생산을 전문으로 하며, 저지연 LPU(Language Processing Unit)을 활용해 기존 가속기보다 10배 더 높은 전력 효율성을 보이면서 실시간 처리를 제공한다.

그록은 지난 2월 사우디아라비아로부터 소버린 AI 구축에 필요한 첨단 AI 칩의 공급 확대를 위해 1억500만달러(약 2000억원)의 투자를 약속받았다.

AI의 급속한 글로벌 확산은 에너지 소비 급증을 초래하고 있다.

전 세계 탄소 배출량의 약 75%는 에너지 생산 및 소비에서 발생하며, 이는 주로 화석 연료의 연소로 인한 전기 생산이 주된 원인이다. 현재 연간 460 테라와트시(TWh)의 전력을 소비하는 데이터센터는 이 총량의 약 2%를 차지한다. 그러나 데이터센터가 계속 확장됨에 따라 이 비율은 2030년까지 약 3배 증가해 6%에 달할 것으로 예상되고 있다.

전문가들은 따라서 소버린 AI 시대에 AI 성능을 저하시키지 않으면서 지속 가능성을 확보하려면 비용과 에너지 사용을 모두 줄이는 효율적인 솔루션이 필요하다고 보고 있다.

벤처캐피털 회사인 메이필드의 상무이사인 나빈 차다와 뉴욕에 소재한 투자기술전략자문회사인 GGV의 사장인 마크 미네비치는 최근 ‘뉴스위크’에 기고한 글에서 "전문 AI 가속기는 전력 효율성을 최적화하는 데 핵심적인 역할을 하며, 국가들이 에너지망을 과부하시키지 않고 소버린 AI 인프라를 구축할 수 있도록 해야 한다”고 주문했다.