내 컴퓨터에서 돌아가는 AI, 클라우드 없이 얼마나 쓸 만한가

챗GPT나 클로드 같은 AI 서비스는 인터넷을 통해 수천 킬로미터 떨어진 거대한 서버와 대화를 주고받는 방식으로 작동한다. 그런데 최근 인터넷 없이도 AI를 쓰는 방법이 빠르게 확산되고 있다. 바로 '로컬 LLM'이다. 인터넷 연결 없이, 내 노트북이나 데스크톱 컴퓨터 위에서 직접 AI 언어 모델을 구동하는 방식이다.

기존 클라우드 AI는 수조 개의 연결 구조(파라미터)로 이루어진 초거대 모델을 기업의 서버에 올려두고, 사용자가 질문을 보내면 그 서버가 처리해서 답을 돌려보내는 구조다. 모든 데이터가 외부로 전송된다는 뜻이기도 하다.

로컬 LLM은 이와 반대다. 오픈소스로 공개된 언어 모델을 내 기기에 직접 설치해 돌린다. 질문이 네트워크를 타고 어딘가로 나가지 않는다. 대신 내 컴퓨터의 CPU나 GPU가 처리를 담당한다. 클라우드 AI가 수조 개의 파라미터를 자랑하는 반면 로컬 모델은 소비자용 하드웨어에 맞게 수십억 개 수준으로 압축된 형태로 배포된다.

인터넷도 없이 어떻게 AI를 운용할 수 있을까. 핵심은 압축 기술이다. 원본 AI 모델의 수치 정밀도를 낮추는 '양자화(quantization)'가 대표적이다. AI 모델은 수많은 숫자(가중치)로 구성되어 있는데 이 숫자 하나하나를 32비트 혹은 16비트로 저장하는 대신 4비트나 8비트 정수로 줄이는 방식이다. 

이렇게 하면 파일 크기는 대폭 줄고 처리 속도는 빨라진다. 130억 파라미터짜리 모델(Llama 2 13B)을 4비트 양자화하면 원래 26GB이던 파일이 7.9GB로 줄어든다. 처리 속도는 초당 8토큰에서 15토큰으로 두 배가 되고 품질은 원본의 95%를 유지한다. 32GB 이상의 RAM이 필요하던 모델을 12GB로 돌릴 수 있다.

양자화 방식은 크게 세 가지다. 먼저 GPTQ는 그래픽카드(GPU)에 최적화된 방식으로 2~8비트 수준으로 압축하면서도 처리 속도가 빠르다. AWQ는 압축하기 전에 어떤 숫자가 모델에서 더 중요한 역할을 하는지 먼저 분석한 뒤 중요한 것은 덜 압축하고 덜 중요한 것은 더 압축한다. 덕분에 정확도를 97~99%까지 지킬 수 있다. 

다음으로 GGUF는 그래픽카드 없이 일반 CPU로도 돌아가는 방식으로, 전용 그래픽카드 없이 보통 노트북이나 PC에서 쓰고 싶을 때 선택한다. 마지막으로 2026년에 엔비디아가 내놓은 NVFP4 방식은 메모리 사용량을 60% 줄이면서 처리 속도는 3배 높이는 성능을 보인다.

현 시점에 내 컴퓨터에서 직접 돌릴 수 있는 오픈소스 AI 모델의 수준은 불과 2년 전과 비교할 수 없을 만큼 높아졌다. AI 성능 비교 사이트인 BenchLM.ai의 종합 평가에 따르면 현재 가장 성능이 뛰어난 오픈소스 모델은 중국 AI 기업 Zhipu AI의 GLM-5(추론 특화 버전)이며 같은 중국 기업인 알리바바의 Qwen3.5와 DeepSeek이 그 뒤를 잇는다. 

2년 전에는 미국 메타(Meta)의 Llama 모델이 시장을 주도했지만 지금은 중국 연구소들이 상위권을 대거 차지하는 지형으로 바뀐 것이다.

눈에 띄는 사례도 있다. 마이크로소프트의 Phi-4 Reasoning은 파라미터(모델의 지식과 능력이 담긴 숫자의 개수)가 140억 개에 불과한 소형 모델인데 무려 6,710억 개짜리인 DeepSeek R1의 700억 개 축소 버전을 여러 성능 시험에서 앞선다. 

파라미터 수가 많을수록 보통 더 똑똑하다고 여겨지지만 잘 만들어진 소형 모델이 단순히 크기만 큰 모델을 이길 수 있다는 뜻이다. 더 작은 버전인 Phi-4-mini-reasoning(38억 파라미터)은 스마트폰에서도 구동될 만큼 가볍다.

코딩 작업만 놓고 보면 Qwen 2.5 Coder 14B가 HumanEval이라는 코드 생성 정확도 시험에서 85%를 기록했는데 이는 Llama 3.3 8B의 68%를 크게 앞서는 수치다.

로컬 LLM은 어떤 상황에서 쓸모가 있을까. 철저한 데이터 보안이 필요한 현장에서 주로 쓰인다. 의료, 법무, 금융 분야에서는 환자 정보나 계약서 같은 민감한 자료를 외부 서버에 보낼 수 없는 경우가 많다. 

클라우드 AI를 쓰면 내 데이터가 인터넷을 통해 회사 서버로 전송되지만 로컬 AI는 모든 처리가 내 기기 안에서만 이루어지기 때문에 이 문제를 근본적으로 해결한다. 인터넷이 아예 차단된 군사 시설이나 공장, 또는 비행기 안처럼 네트워크가 없는 환경에서도 쓸 수 있다는 것도 장점이다.

비용 구조도 다르다. 챗GPT 같은 클라우드 AI는 쓴 만큼 요금을 내는 방식으로 사용량이 많아질수록 요금이 계속 쌓인다. 로컬 AI는 처음에 컴퓨터나 그래픽카드 같은 하드웨어를 갖추는 비용이 들지만 그 이후에는 아무리 많이 써도 추가 요금이 없다. 

응답 속도 면에서도 클라우드 AI는 내 질문이 인터넷을 타고 서버까지 갔다가 돌아오는 시간이 매번 발생하는 반면, 로컬 AI는 그 왕복 시간이 아예 없다.

다만 한계도 아직 뚜렷하다. 아주 어려운 수학·과학 문제를 풀거나 책 한 권 분량의 긴 글을 한꺼번에 처리하는 데는 클라우드의 대형 모델이 여전히 앞선다. 실제 소프트웨어 버그를 고치는 능력을 평가하는 SWE-Bench 시험에서 클로드 4는 77.2%, GPT-5는 74.9%를 기록하는데 로컬 모델은 아직 이 수준에 이르지 못했다.

앞서 설명한 양자화 외에도 로컬 모델의 능력을 끌어올리는 방법이 여럿 있다.

증류(Distillation)는 큰 모델이 작은 모델을 가르치는 방식이다. 수백억 개 파라미터짜리 '교사' 모델이 문제를 풀어내는 과정을 기록해 학습 데이터로 만들고 훨씬 작은 '학생' 모델을 그 데이터로 훈련시킨다. 이를 통해 모델 크기를 250MB까지 줄이면서도 교사 모델 정확도의 85%를 유지한 사례가 있다.

LoRA(저랭크 적응)는 모델 전체를 처음부터 다시 훈련하는 대신, 원본 모델은 그대로 두고 얇은 추가 레이어(어댑터)만 새로 학습하는 방법이다. 마치 스마트폰에 케이스를 끼우는 것처럼 본체는 건드리지 않고 겉에 덧붙이는 것이다. 

이 방식은 훈련에 필요한 연산량을 최대 1만 배까지 줄일 수 있어 일반 소비자용 그래픽카드로도 특정 분야에 맞게 AI를 다듬을 수 있다. QLoRA는 여기에 양자화까지 결합해 메모리 부담을 한층 더 낮춘 방식이다.

RAG(검색 증강 생성)는 모델 자체를 바꾸지 않고 성능을 높이는 방법이다. AI가 질문에 답하기 전에 회사 내부 문서나 최신 뉴스 같은 외부 자료에서 관련 내용을 찾아와 질문과 함께 AI에게 전달한다. 모델의 지식 자체를 업데이트하는 파인튜닝과 달리 실시간으로 최신 정보를 반영할 수 있다는 것이 장점이다. 두 방법은 서로 배타적이지 않아 함께 쓰는 경우도 많다.

MoE(혼합 전문가, Mixture of Experts) 구조는 모델 안에 여러 전문 네트워크를 심어두고 들어오는 질문에 따라 그 중 일부만 골라서 켜는 방식이다. 예를 들어 수학 문제가 들어오면 수학 전문 네트워크만 활성화하는 식이다.

Qwen3의 최상위 모델은 총 2,350억 개의 파라미터를 갖고 있지만 실제로 하나의 단어(토큰)를 처리할 때는 약 220억 개만 작동한다. 이 덕분에 모델이 크더라도 실제 처리 비용은 훨씬 낮출 수 있다.

마지막으로 추측적 디코딩(Speculative Decoding)은 AI가 답변을 생성하는 속도를 높이는 기법이다. 보통 AI는 단어를 하나씩 순서대로 만들어내는데 여기서는 작은 보조 모델이 앞으로 나올 여러 단어를 미리 예측해두면 큰 모델이 이를 한꺼번에 검토해 맞는지 확인한다. 엔비디아는 이 기법으로 Llama 3.1의 처리 속도를 최대 1.9배 끌어올렸다.

소프트웨어만이 아니라 칩(반도체) 경쟁도 빠르게 진행 중이다. 애플의 A19 Pro 칩은 그래픽 처리 회로 안에 행렬 연산 유닛(AI 연산에 특화된 회로)을 직접 통합해 AI 처리 성능이 전 세대 대비 4배 높아졌다. 

덕분에 iPhone 17 Pro에서 80억 파라미터짜리 모델을 초당 20단어 이상의 속도로 구동할 수 있다. Mac Studio M4 Max에서는 Llama 3.3 70B 모델을 초당 30단어 이상으로 돌릴 수 있다. 이런 스마트폰 같은 모바일 기기에서는 NPU(Neural Processing Unit, 딥러닝 연산 전용 칩)가 핵심 역할을 한다. 

다만 전문가들은 흔히 주목하는 TOPS(초당 처리 연산 횟수) 수치보다 메모리 대역폭(데이터를 얼마나 빠르게 읽어올 수 있느냐)이 실제 성능을 결정한다고 지적한다. AI가 단어 하나를 생성할 때마다 모델의 전체 파라미터를 메모리에서 읽어야 하기 때문이다. 연산 속도보다 데이터를 꺼내오는 속도가 병목이 된다는 뜻이다.