챗GPT 대신 내 PC에서? 초보자를 위한 로컬 LLM 뜻과 완벽 가이드

요즘 궁금한 게 있으면 구글 검색보다 챗GPT, 제미나이를 먼저 켜는 분들 많으시죠? 특히 에디터가 그런 것 같아요. 그런데 챗GPT를 쓰다 보면 "내가 회사 기밀이나 개인적인 일기를 써도 안전할까?", "인터넷이 끊기면 어떡하지?" 하는 걱정이 들 때가 있어요. 또 저처럼 유료결제를 하더라도 사용량이 많다면 토큰의 압박에 시달리는 것은 덤이죠...ㅎㅎ

이럴 때 완벽한 해결책이 되어주는 기술이 바로 '로컬 LLM(Local LLM)'이에요. 오늘은 이름부터 생소한 로컬 LLM이 도대체 무엇인지, 왜 사람들이 열광하는지, 그리고 내 컴퓨터에서 돌리려면 어떤 준비물이 필요한지 아주 쉽게 팩트만 짚어드릴게요!

1. 로컬 LLM, 도대체 뭔가요? (아주 쉬운 비유)

LLM(대규모 언어 모델)은 쉽게 말해 '챗GPT 같은 똑똑한 인공지능 두뇌'를 뜻해요. LLM자체가 하나의 인공지능이라 보고, 이걸 넷플릭스처럼 스트리밍 혹은 클라우드에서 사용하는 서비스가 GPT, gemini이고 이 인공지능을 내 컴퓨터에 직접 설치하는 것이 로컬 LLM이에요.

클라우드 AI vs 로컬 AI의 차이

챗GPT (클라우드 방식): 엄청나게 거대한 슈퍼컴퓨터(서버)에 있는 똑똑한 비서에게, 우리가 인터넷을 통해 질문을 보내고 답변을 받아오는 방식이에요. 인터넷이 끊기면 대화도 끊기죠.

로컬 LLM: 그 똑똑한 비서의 축소판을 다운로드해서 내 컴퓨터 안에 아예 입주시켜 버리는 방식이에요. 인터넷을 완전히 끊어버려도 나 혼자서 비서와 대화할 수 있어요.

2. 굳이 챗GPT 놔두고 로컬 LLM을 쓰는 이유 (장단점)

"아니, 그냥 편하게 인터넷으로 챗GPT 쓰면 되지 굳이 왜 내 컴퓨터에 깔아요?"라고 생각하실 수 있어요. 하지만 로컬 LLM은 엄청난 장점들을 가지고 있어요.

장점 1. 철통 보안! 내 개인정보가 절대 새어나가지 않아요

챗GPT에 회사 기밀 코드나 고객 명부를 입력했다가 정보가 유출되었다는 뉴스 보셨나요? 로컬 LLM은 내 컴퓨터 안에서만 작동하고 외부 인터넷으로 데이터를 보내지 않아요. 일기장, 회사 비밀 프로젝트, 민감한 개인정보를 마음껏 물어봐도 절대 외부로 빠져나가지 않는 완벽한 보안을 자랑해요. 특히 보안이 중요한 연구시설이나 보안시설 등에서는 더 중요하게 작동될거에요.

장점 2. 인터넷이 없어도 쌩쌩 돌아가고 평생 무료!

오픈소스로 풀려있는 로컬 LLM 모델(Llama, qwen 등)은 다운로드만 받으면 평생 무료예요. 매달 3만 원씩 내는 구독료가 아깝거나, 비행기 안처럼 인터넷이 안 터지는 오프라인 환경에서도 언제든 AI를 비서처럼 부려먹을 수 있어요.

치명적인 단점: 내 컴퓨터가 엄청나게 고통받아요

챗GPT는 미국에 있는 거대한 서버가 대신 계산을 해주지만, 로컬 LLM은 내 컴퓨터의 부품이 그 무거운 계산을 다 떠안아야 해요. 그래서 컴퓨터 사양이 안 좋으면 AI가 대답 하나 하는 데 하루 종일 걸리거나 아예 실행조차 안 되는 뼈아픈 단점이 있어요.

3. 내 컴퓨터에 로컬 LLM 설치하려면..

로컬 LLM을 쾌적하게 돌리기 위한 핵심은 무조건 '그래픽카드(GPU)'와 '램(RAM)'이에요.

1)핵심은 그래픽카드의 'VRAM(비디오 램)' 용량!

AI 모델은 크기가 엄청나게 큰 덩치들이에요. 이 덩치들이 내 컴퓨터에서 일하려면 넓은 책상이 필요한데, 그 책상 역할을 하는 게 바로 그래픽카드의 'VRAM'이에요. 최소 8GB, 쾌적하게 쓰려면 12GB~16GB 이상의 VRAM을 가진 외장 그래픽카드(예: RTX 3060 12GB, RTX 4070 이상)가 권장된답니다. 물론 내가 성능좋은 제품을 사고 모델을 고르는 것이 아니라, 모델을 선택하고 그에 맞는 그래픽카드를 사는 것을 권장드려요.

2)일반 RAM도 다다익선!

그래픽카드가 일할 때 옆에서 도와주는 일반 램(RAM) 용량도 최소 16GB, 넉넉하게 32GB 이상을 맞춰두는 것이 정신 건강에 아주 좋아요.

3)맥미니가 그래서 왜 핫할까?

맥은 일반적인 컴퓨터의 시스템과 다르게, ram을 cpu와 그래픽카드 모두에게 공유하는 시스템으로 설계되었어요. vram 32g짜리 그래픽카드는 대표적으로 rtx5090모델이 있고, 최저가가 630만원인데, 맥미니 ram을 32기가로 맞추면 150만원이니 오히려 가성비가 있는 셈이죠. 그렇지만 꼭 맥미니가 좋다는건 아니에요. vram은 연산속도가 훨씬 빨라서 llm 모델이 답변을 내릴 때 더 빨리 일을 처리할 수가 있어요.

4.로컬LLM 이해하기

1)로컬 LLM은 여러 회사들에서 오픈소스로 출시하고 있어요. 모델은 대부분 "모델명(버전)+ 파라미터 + 압축" 이런식으로 이름을 가지는데, 파라미터는 모델의 크기라고 보시면 돼요. 우리가 잘 아는 제미나이는 3.0 pro 기준으로 약 5조~10조개의 파라미터가 있다고 추정되고, 일반적인 로컬 LLM에서는 저정도의 모델은 아무나 구동하기가 쉽지 않아요.

2)압축이란 예를 들어 Mistral 7B (4-bit)라는 모델이 있다면, mistral은 모델명이고, 7b는 파라미터 수, 4-bit는 성능저하를 최소화하면서 모델의 기능은 살렸다는 뜻이에요. 4bit는 크기를 1/4이상 줄였다는 것이고, 8bit는 절반만, 16bit는 표준모델인 셈이죠.

3)파라미터 수와 압축률이 적을수록 높은 사양을 필요로해서 내 사양에 맞는 모델을 선택하거나, 내가 원하는 모델에 맞는 사양의 컴퓨터를 구매해야 해요.

4. 초보자도 클릭 몇 번이면 끝! 추천 프로그램

과거에는 까만 화면에 코드를 쳐야 해서 개발자들의 전유물이었지만, 요즘은 프로그램 하나만 깔면 클릭 몇 번으로 끝나요!

LM Studio (엘엠 스튜디오): 초보자에게 가장 추천해요! 디자인도 깔끔하고, 카카오톡 쓰듯이 직관적인 화면에서 원하는 AI 모델을 검색해서 다운받고 바로 대화할 수 있어요.

Ollama (올라마): 역시 사용법이 아주 간단하고 가벼워서 많은 사람들이 기본으로 설치하는 프로그램이에요. 에디터는 올라마를 사용하고 있어요.

이 프로그램들은 "모델"자체는 아니고 모델을 사용하기 위한 도구라고 알면 돼요. 이 도구안에서 각각의 모델들을 설치할 수 있어요.

모델마다 특화된 성능들이 있어서 나에게 필요한 모델이 뭔지(추론,수학,코딩 등) 먼저 알고 찾아봐야해요.

5. 로컬 LLM용 고사양 PC 부품, '싸게사게'에서 핫딜로 맞추세요!

내 개인 비서를 두기 위해 로컬 LLM을 세팅해 보고 싶지만, 당장 그래픽카드와 램을 업그레이드하려니 만만치 않은 가격 때문에 망설여지시나요?

그럴 땐 흩어진 하드웨어 특가를 한눈에 모아주는 '싸게사게'를 활용해 보세요! 로컬 LLM의 필수품인 고용량 RAM과 RTX 4070 이상의 고사양 그래픽카드는 타이밍만 잘 맞추면 상대적으로 저렴하게 살 수 있거든요.

싸게사게 PC/가전 카테고리에서는 각종 커뮤니티에 올라온 대박 부품 핫딜을 실시간으로 긁어모아 보여드려요. 특히 '핫딜온도계'에서 컴퓨터 관련 부품들에 대한 가격추이를 업데이트 할 예정이에요.

나만의 프라이빗한 AI 비서 만들기 로컬 LLM에 대해 알아봤어요.

핫딜온도계 바로가기