내 컴퓨터에 무료 ChatGPT 만들기 (Ollama + Open WebUI)

목표

인터넷에 데이터를 보내지 않고, 요금 없이 내 컴퓨터에서 돌아가는 AI 채팅을 만듭니다. 회사 자료처럼 밖으로 보내기 곤란한 내용을 다룰 때 유용해요. 1시간 정도 잡으세요.

준비물

• RAM 16GB 이상 PC 권장 (그래픽카드가 있으면 더 빠름)
• Ollama — 모델을 내려받아 실행하는 도구
• Open WebUI — ChatGPT처럼 생긴 대화 화면
• Docker 또는 Python 중 하나 (Open WebUI 설치용)

순서

1. Ollama 설치 — ollama.com에서 내 운영체제용 설치 파일을 받아 설치합니다.
2. 첫 모델 실행 — 터미널(명령 프롬프트)에서 모델을 하나 실행합니다. Ollama 공식 README의 예시는 이렇습니다.

   ollama run gemma4

   처음엔 모델을 내려받느라 시간이 걸려요. 받고 나면 바로 터미널에서 대화할 수 있습니다. 다른 모델은 ollama.com의 모델 목록에서 고르세요. 작은 모델부터 시작하는 게 좋아요.
3. 대화 화면 설치 (Open WebUI) — 둘 중 편한 방법으로 설치합니다.
   • Docker가 있으면 공식 README의 명령:

     docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

     설치 후 브라우저에서 http://localhost:3000을 엽니다.
   • Python이 있으면 pip install open-webui 후 open-webui serve, 그리고 http://localhost:8080을 엽니다. (지원하는 Python 버전은 README에서 확인하세요)
4. 관리자 계정 만들기 — 처음 접속하면 계정을 만듭니다. 이 계정은 내 컴퓨터 안에만 있어요.
5. 모델 고르고 대화 — 화면 위쪽에서 2번에서 받은 모델을 골라 대화합니다. 문서를 올려 질문하는 것도 됩니다.

결과

브라우저에서 ChatGPT처럼 쓰는 AI. 대화 내용이 내 컴퓨터 밖으로 나가지 않아요.

알아둘 점

• 로컬 모델은 최신 유료 서비스보다 덜 똑똑하고 느릴 수 있어요. 요약·초안·번역처럼 가벼운 일부터 맡기세요.
• 문서 기반 질문이 주목적이면 설치형 앱인 AnythingLLM이 더 쉬울 수 있어요.
• Ollama 안쪽에서 실제로 모델을 돌리는 엔진이 궁금하면 llama.cpp를 보세요.

막히면

• 너무 느려요 → 더 작은 모델(이름에 숫자가 작은 것, 예: 1B·4B)로 바꾸세요.
• Open WebUI에 모델이 안 보여요 → Ollama가 실행 중인지 확인하세요. Docker로 설치했다면 위 명령의 --add-host 부분이 빠지지 않았는지 보세요.
• 메모리 부족 오류 → 다른 프로그램을 끄거나 더 작은 모델을 쓰세요.