개인정보 유출 X, 5분 만에 내 PC에 '비밀 AI' 만드는 법

왜 지금 ‘로컬 AI’가 필요한가요?

요즘 AI 많이 쓰시죠? (이미 70%이상 AI에게 장악당한듯)
하지만 대부분의 AI는 인터넷에 연결된 서버 기반이에요.

그 말은 즉슨,
내가 쓴 채팅과 프롬프트가 서버로 전송되고
어떤 식으로든 인터넷에 로그로 남을 수 있고(실제 GPT에도 모델 학습에 사용할건지 여부 선택하는 설정창 있음)

민감한 아이디어나 개인 정보는 유출될까봐 불안할 수 있어요

그래서 요즘 뜨는 게 바로 로컬 AI,
내 PC 안에서만 돌아가는 개인 AI예요.

(본인이 해킹당해서 유출되는 것은 조심해야 함)

 

LM Studio란? (무료 로컬 AI 도구)

LM Studio는
- 공개된 AI 모델(LLM)을
- 내 PC에서 바로 실행할 수 있게 해주는 무료 프로그램이에요.

LM Studio의 특징

- 완전 무료
- 인터넷 연결 없이 사용 가능
- 채팅과 프롬프트 로그 외부 전송 없음
- 챗GPT처럼 채팅 UI 제공
- 캐릭터 구현 가능(프롬프트)

로컬에서 챗GPT 쓰는 느낌이라고 생각하시면 맞아요.

 

LM Studio 설치 방법 (5분)

1️⃣ 구글에 LM Studio 검색
2️⃣ 운영체제 맞게 다운로드
3️⃣ 설치 후 실행

https://lmstudio.ai/

LM Studio - Local AI on your computer

끝이에요.
회원가입도 없고, 계정도 필요 없어요.(본인이 필요시 로그인)

공개 AI 모델 다운로드하기

LM Studio 실행. 처음 튜토리얼 스킵해도 괜찮아요.

왼쪽 밑에 Power user 선택 - 왼쪽에 돋보기 버튼 누르세요.

(설정에서 한국어 설정 가능함 - 오른쪽 밑 톱니바퀴 모양 > General > 밑으로 내리면 언어 있음)

- 똥컴 초보자 추천 모델

Mistral 3B

- 초보자 추천 모델 (램 8GB는 있어야 함. 16GB 이상이면 대부분 무난)
Llama 3 8B
Mistral 8B
Qwen 8B

 

- 램16GB 이상 모델 + 그래픽카드 사용

GPT oss 20B

 

사용 목적에 따라서 모델을 여러가지 사용할 수 있어요.

다운로드 할 때 불안하다면 보라색 칠해져 있는 것을 받으세요.

 

저는 Qwen 8B 시리즈 중에 인기있는 Deepseek R1 0528 Qwen 3 8B를 고를께요.(AI가 추천해줌)

다운하기 전에 본인 컴퓨터에서 실행 가능한지 안내도 해주니까 편해요. [ 전체 GPU 오프로딩 가능 ] - 렉 없이 실행가능 표시

 

모델을 선택하고 Download 버튼만 누르면
자동으로 세팅까지 끝나요.

딥시크는 보통 안전하지 않다고 알려져 있는데 (지금의 경우는 로컬 AI라서 안전하긴 함)

DeepSeek 모델은 이미 AI 연구자와 개발자 커뮤니티에서 널리 검증되고 사용되고 있어요. 오픈소스 모델이고, 만약 심각한 보안 취약점이나 악성 의도가 있었다면 이미 보고되었을 거에요.

 

게다가 지금 모델은 Deepseek 원본이 아니라 Deepseek 따라서 학습한 경량 버전 같은거에요.

 

다운이 끝나면 모델을 로드하고 채팅을 해보죠!

프롬프트 입력하고 캐릭터 채팅 해보기

모델 다운로드가 끝나면
이제 바로 사용할 수 있어요.

채팅창에 그냥 이렇게 쳐도 돼요.

오늘 기분이 우울한데 위로해줘

 

 

캐릭터 채팅 하고 싶다면?

간단히 사용할 수 있는 캐릭터 채팅 프롬프트 예시

[system note: 당신은 캐릭터이다.
이름: 소미
성별: 여성
나이: 20
성격: 츤데레
사용자와의 관계: 친구
]

 

왼쪽 위에 스패너 버튼 누르고 시스템 프롬프트 안에 넣고 채팅

OR
채팅 시작 부분에 캐릭터 채팅 프롬프트 복붙해서 넣고 대화 ㄱㄱ

 

이제부터
👉 나만의 캐릭터 AI가
👉 인터넷 없이
👉 내 PC에서만 대답해줘요.

 

참고로 이 모델은 띵킹 모델이라서 생각하는 시간이 좀 필요해요, 그리고 작은 모델이기도 하고 한국어를 잘하는 편은 아니죠

 

한글은 살짝 애매하네요. 영어로 하면 성능 좋을까?

 

캐릭터가 영어로 답변하는 방법 찾아왔어요.

대화에 [OOC: 요구사항] 입력하면 말을 잘 듣는다네요.

영어는 꽤 잘하는 것 처럼 보이는데.

일상 대화라서 그런지 대충 구글 번역하면 알아들을만 하네요

 

캐릭터 대화가 아니더라도 여러가지 작업할 때 영어로 대답해달라고 명시하면 GPT나 Gemini 번역기 써서 보면 되니까 큰 문제는 없을듯 해요.

이런 사람에게 LM Studio를 추천해요

- 개인정보, 아이디어 유출이 걱정되는 분
- 나만의 캐릭터 채팅, AI 비서 만들고 싶은 분
- 글쓰기, 코딩, 기획용 개인 AI가 필요한 분
- 각종 AI 모델 요금 부담되는 분
- AI 실험, 프롬프트 테스트를 자주 하는 분

- 로컬 AI의 장단점 정리
장점:
정보 유출 걱정 없음
무료
프롬프트 제한 없음
캐릭터·실험 자유도 높음

단점:
PC 사양 영향 받음
최신 모델급 성능 아님

👉 하지만 개인용, 실험용, 캐릭터 채팅에는 충분해요.

(Q4 양자화 같은 기술을 적용한 고급 모델을 다운받으면 RTX 4090 24GB + 128GB RAM 이상급 컴퓨터에서 GPT-4와 비비는 모델을 돌려볼 수 있다고 함 - 확실하진 않음) 


마무리: 내 PC에 AI 하나쯤은 있을만 하다.

AI를 쓰는 시대가 아니라
AI를 소유하는 시대로 가고 있어요.

LM Studio 하나면
서버 때문에 개인정보 유출 눈치 볼 필요 없고
요금 걱정도 없고

진짜 ‘내 AI’를 가질 수 있어요.
👉 오늘 5분만 투자해서
👉 내 PC에 비밀 AI 하나 만들어보세요 :)