Ollama

최종 확인: 2026-08-09

Ollama
개발	Ollama
최초 공개	2023년 7월
분류	로컬 LLM 실행기
라이선스	MIT 상업적 이용 가능
OSI 오픈소스	예
주 언어	Go
셀프호스팅	가능
최소 사양	모델에 따라 다름. 작은 모델은 개인용 PC에서 동작
저장소	GitHub
공식	홈페이지

Ollama(올라마)는 오픈 웨이트 모델을 내 컴퓨터에서 돌리게 해 주는 도구다. 명령어 하나로 모델을 받아 실행하고, 다른 프로그램이 갖다 쓸 수 있는 API까지 띄운다.

MIT 라이선스로 공개된 오픈소스이며, 이 위키가 다루는 도구 중 라이선스 조건이 가장 단순한 축에 속한다.

개요

오픈 웨이트 모델의 가중치를 내려받아도 그것만으로는 아무것도 못 한다. 실행 환경을 갖추고, 가중치를 메모리에 올리고, 하드웨어에 맞게 최적화해야 한다. 이 과정을 명령어 하나로 줄인 것이 Ollama다.

ollama run gemma4

이 한 줄이면 모델을 내려받고 실행해 대화가 시작된다. 설정 파일도, 파이썬 환경도 필요 없다.

동시에 로컬 서버가 뜬다. 기본적으로 127.0.0.1:11434 에 붙고, 다른 프로그램이 이 주소로 API를 부를 수 있다. 개인용 실행기이면서 동시에 개발용 모델 서버로도 쓰이는 이유가 여기에 있다.

README는 백엔드가 llama.cpp 프로젝트를 기반으로 한다고 밝히고 있다.

라이선스

MIT 상업적 이용 가능

라이선스 원문: LICENSE

저작권 표시는 Copyright (c) Ollama 한 줄이고, 표준 MIT 전문 그대로다. 추가 조항이 없다.

상업적 이용 — 가능하다. MIT는 사용·수정·배포·판매를 모두 허용한다. 사내 시스템에 넣어도 되고, 제품에 포함해 팔아도 된다.

지켜야 할 것 — 저작권 표시와 라이선스 전문을 함께 배포하는 것 하나뿐이다. 소스 공개 의무도, 사용자 규모 제한도, 표시 의무도 없다.

오픈소스인 부분과 아닌 부분

여기서 구분이 필요하다. Ollama라는 이름 아래에 두 가지가 있다.

대상	성격
Ollama 소프트웨어	MIT 오픈소스. 받아서 자유롭게 쓴다
Ollama 클라우드	유료 서비스. 회사가 운영하는 호스팅

소프트웨어가 오픈소스라고 해서 회사가 파는 서비스까지 무료인 것은 아니다. 로컬로만 쓰면 돈이 들지 않고, 클라우드 모델을 쓰기 시작하면 요금제가 적용된다.

참고

모델의 라이선스는 또 별개다.

Ollama가 MIT라는 것은 실행기의 라이선스다. 그 위에서 돌리는 모델은 각자의 라이선스를 따른다.

Llama를 Ollama로 돌리면 Llama 커뮤니티 라이선스가 적용되고, Qwen3를 돌리면 Apache-2.0이 적용된다. 오픈 웨이트 문서와 라이선스별 상업적 이용 가능 여부 문서를 함께 볼 것.

주요 기능

명령어

명령어	하는 일
`ollama run`	모델 실행 (없으면 받아서)
`ollama pull`	모델 내려받기
`ollama ls`	설치된 모델 목록
`ollama ps`	실행 중인 모델 확인
`ollama stop`	실행 중인 모델 중지
`ollama rm`	모델 삭제
`ollama create`	사용자 정의 모델 생성
`ollama serve`	서버 시작
`ollama launch`	외부 프로그램과 연동해 실행
`ollama signin` · `signout`	계정 로그인·로그아웃

ps 는 눈여겨볼 만하다. 출력의 Processor 열에 100% GPU, 100% CPU, 48%/52% CPU/GPU 처럼 어디에 얼마나 올라갔는지가 나온다. 느릴 때 원인을 찾는 첫 단서다.

Modelfile

기존 모델을 바탕으로 시스템 프롬프트와 설정을 박아 넣은 모델을 만들 수 있다.

FROM gemma4
SYSTEM """You are a happy cat."""

이 파일을 만들고 ollama create 를 부르면 새 모델이 등록된다. 매번 같은 지시를 반복해 넣지 않아도 된다.

용도별로 몇 개 만들어 두고 이름으로 골라 쓰는 방식이 편하다. 파인튜닝과는 다르다. 모델 자체를 다시 학습시키는 것이 아니라 앞에 붙는 지시와 설정을 고정하는 것이다.

API

① 자체 REST API

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [{"role": "user", "content": "Why is the sky blue?"}],
  "stream": false
}'

② OpenAI 호환 API

기존 코드를 거의 그대로 쓸 수 있다는 점이 실무에서 크다. 주소만 바꾸면 ChatGPT용으로 짠 코드가 로컬 모델에 붙는다.

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama'
)

API 키는 형식상 필요하지만 값은 무시된다.

지원 엔드포인트는 이렇다.

엔드포인트	지원 내용
`/v1/chat/completions`	스트리밍, JSON 모드, 비전, 도구 호출
`/v1/completions`	스트리밍, JSON 모드
`/v1/embeddings`	임베딩 생성
`/v1/models`	모델 목록
`/v1/responses`	Responses API (v0.13.3 이상)

③ 공식 라이브러리

ollama-python 과 ollama-js 가 있다.

외부 프로그램 연동

ollama launch 로 다른 도구에 로컬 모델을 물릴 수 있다.

ollama launch claude — Claude Code 연동
ollama launch openclaw — WhatsApp · Telegram · Slack · Discord에서 AI 어시스턴트로

설치와 사용

플랫폼	방법
macOS	설치 스크립트 또는 직접 내려받기
Windows	PowerShell 설치 또는 직접 내려받기
Linux	설치 스크립트 또는 수동 설치
Docker	공식 이미지 `ollama/ollama`

최소 경로는 이렇다.

공식 사이트에서 설치 파일을 받아 설치한다
터미널에서 ollama run 뒤에 모델 이름을 붙여 실행한다
모델이 자동으로 내려받아지고 대화가 시작된다
ollama ps 로 GPU에 올라갔는지 확인한다

4번을 처음에 한 번은 해 보는 편이 좋다. CPU로 떨어져 있으면 체감 속도가 완전히 달라지는데, 확인하지 않으면 "원래 이렇게 느린가 보다" 하고 넘어간다.

명령줄이 익숙하지 않다면 ollama 만 입력해도 된다. 대화형 메뉴가 떠서 모델을 고르거나 연동 도구를 실행할 수 있다.

처음 쓸 때 순서로는 작은 모델부터 받아 보는 편이 낫다. 큰 모델은 내려받는 데만 한참 걸리는데, 막상 받아 놓고 메모리가 모자라 CPU로 돌아가는 상황이 자주 생긴다.

요구 사양과 설정

메모리

모델 크기가 사양을 결정한다. 작은 모델은 개인용 PC에서 돌아가고, 큰 모델은 데이터센터급 GPU가 필요하다.

메모리를 아끼는 방법이 두 가지 문서화돼 있다.

K/V 캐시 양자화 — 캐시 정밀도를 낮춰 메모리 사용을 줄인다
Flash Attention — 컨텍스트가 길어질 때 메모리 증가를 완화한다

컨텍스트 길이

주의

기본 컨텍스트가 4,096 토큰이다.

모델이 100만 토큰을 지원해도 Ollama의 기본값은 4,096이다. 모르고 긴 문서를 넣으면 앞부분이 잘려 나간 채로 답이 나온다. 오류가 뜨지 않고 조용히 잘리기 때문에 알아채기 어렵다.

OLLAMA_CONTEXT_LENGTH 환경 변수나 API의 num_ctx 로 늘린다. 늘린 만큼 메모리를 더 먹는다는 점은 감안해야 한다.

로컬 모델이 "생각보다 멍청하다"는 인상의 상당 부분이 여기서 온다.

모델 저장 위치

OS	경로
macOS	`~/.ollama/models`
Linux	`/usr/share/ollama/.ollama/models`
Windows	`C:\Users\%username%\.ollama\models`

OLLAMA_MODELS 환경 변수로 옮길 수 있다. 모델 파일이 금방 수십 GB가 되므로 시스템 드라이브가 좁으면 먼저 옮겨 두는 편이 낫다.

네트워크 노출

기본값은 127.0.0.1 의 11434 포트다. 즉 그 컴퓨터에서만 접근된다.

다른 기기에서 쓰려면 OLLAMA_HOST 를 바꾸거나 Nginx · ngrok · Cloudflare Tunnel 같은 프록시를 앞에 둔다.

노출할 때는 인증을 함께 붙여야 한다. Ollama의 자체 API에는 인증이 없다. 기본값이 로컬 전용이라 문제가 되지 않는 것이지, OLLAMA_HOST 를 열어 두면 그 주소에 닿는 누구나 모델을 부를 수 있다. 프록시에서 인증을 걸거나 방화벽으로 접근 범위를 제한한 뒤에 연다.

GPU

제조사	조건
NVIDIA	compute capability 5.0 이상 + 드라이버 550 이상 (5.0~6.2 구형 카드는 드라이버 570 이상)
AMD Radeon	Linux는 ROCm v7 드라이버, Windows는 ROCm v7/HIP7 호환 드라이버
Apple Silicon	Metal API로 가속. 별도 설정 불필요
Intel · AMD (추가)	Vulkan 지원 (Windows · Linux)

NVIDIA는 RTX 5000·4000·3000 시리즈와 H100·H200을 비롯해 GTX·TITAN 세대까지 폭넓게 잡는다. AMD는 Radeon RX 7000·9000 시리즈, Radeon PRO, Ryzen AI, Instinct MI 시리즈가 대상이다.

GPU를 못 잡으면 조용히 CPU로 떨어진다. NVIDIA에서는 절전 모드에서 복귀한 뒤 GPU 감지에 실패하는 경우가 문서에 언급돼 있다. 오류가 아니라 그냥 느려지는 형태로 나타나므로 ollama ps 로 확인해야 한다.

Docker로 쓸 때는 nvidia-container-toolkit 이 필요하고, macOS의 Docker Desktop에서는 GPU를 쓸 수 없다.

Ollama 클라우드

로컬 실행 외에 회사가 운영하는 클라우드가 있다. 자기 하드웨어로 감당이 안 되는 큰 모델을 API로 부르는 방식이다.

리전은 미국 · 유럽 · 싱가포르다.

쓰는 법

모델 이름 뒤에 :cloud 를 붙이면 된다.

ollama run gemma4          ← 내 컴퓨터에서 실행
ollama run gemma4:cloud    ← 클라우드에서 실행

로컬 모델과 사용 방식이 같다. 명령어도, API 호출 방식도 동일하다.

주의

:cloud 가 붙는 순간 데이터가 밖으로 나간다.

Ollama를 쓰는 가장 큰 이유가 "데이터가 내 컴퓨터를 벗어나지 않는 것"인데, 접미사 하나로 그 전제가 깨진다.

이름이 거의 같아 구분이 잘 안 되는 것이 문제다. 민감한 자료를 다루는 환경이라면 클라우드 모델을 아예 쓰지 않도록 정해 두는 편이 안전하다. 요금이 붙는 지점도 여기다.

가격

아래 가격은 2026년 8월 기준이다. AI 서비스 요금제는 자주 바뀌므로 결제 전 공식 요금 페이지를 반드시 직접 확인할 것. USD 기준이다.

요금제	가격	내용
Free	$0	클라우드 모델 1개 동시, 공개 모델 무제한 접근
Pro	월 $20 / 연 $200	3개 동시, Free 대비 50배 사용량, 비공개 모델 업로드·공유
Max	월 $100	10개 동시, Pro 대비 5배. 신규 가입 일시 중단 중
Team	좌석당 월 $25	최소 5좌석 (월 $125부터). 공유 청구·관리, 데이터 무보관·무로깅
Enterprise	문의	맞춤 조건과 지원

로컬로만 쓰면 이 표는 무관하다. 요금이 걸리는 지점은 클라우드 모델을 부를 때다.

Team 플랜의 데이터 무보관·무로깅은 회사 도입 검토에서 자주 요구되는 조건이라 따로 표시해 둔다. Team은 최소 5좌석이 걸려 있어, 인원이 적은 팀은 개인 Pro를 각자 쓰는 편이 쌀 수도 있다.

Max는 2026년 8월 기준 신규 가입이 일시 중단돼 있다. 공급이 수요를 못 따라가는 상태로 보이며, 재개 시점은 공지되지 않았다.

어떤 모델을 돌릴까

Ollama는 실행기일 뿐이고, 무엇을 돌릴지는 따로 정해야 한다. 두 가지를 같이 본다 — 하드웨어에 맞는 크기인가, 라이선스가 맞는가.

크기 감각

파라미터 수가 곧 필요한 메모리다. 공개된 예로 gpt-oss 계열을 보면 전체 파라미터 약 209억짜리가 16GB, 약 1,168억짜리가 80GB 를 요구한다.

개인용 그래픽카드 — 작은 모델(수십억~200억 파라미터 급)
고사양 개인 PC · 워크스테이션 — 중간 크기
데이터센터 GPU — 큰 모델

양자화된 버전을 쓰면 이 요구가 크게 내려간다. 모델 이름 뒤에 정밀도 표기가 붙은 것들이 그것이며, 메모리를 아끼는 대신 품질이 조금 떨어진다. gpt-oss는 처음부터 양자화된 상태로 배포돼 위 숫자가 이미 그 결과다.

라이선스로 고르기

모델	라이선스	상업적 이용
gpt-oss	Apache-2.0	제약 없음
Qwen3	Apache-2.0	제약 없음
DeepSeek-R1	MIT	제약 없음
Llama	커뮤니티 라이선스	조건부 — 표시 의무·이름 규칙·7억 MAU
Gemma	커스텀 약관	조건부 — 사용 제한 정책·하위 계약 의무

제품에 넣을 계획이라면 위 두 칸(Apache-2.0 · MIT)부터 보는 편이 단순하다. 나중에 다시 검토할 일이 없기 때문이다. 자세한 것은 오픈 웨이트와 라이선스별 상업적 이용 가능 여부 문서를 참고.

자주 겪는 문제

증상	원인과 대처
답이 짧고 앞 내용을 잊는다	기본 컨텍스트 4,096. `OLLAMA_CONTEXT_LENGTH` 로 늘린다
너무 느리다	CPU로 떨어졌을 가능성. `ollama ps` 로 확인
절전 후 느려졌다	GPU 재감지 실패. Ollama 재시작
디스크가 가득 찼다	모델이 수십 GB. `ollama rm` 으로 정리하거나 `OLLAMA_MODELS` 로 이동
메모리가 부족하다	더 작은 모델 또는 양자화 버전. K/V 캐시 양자화·Flash Attention 검토
다른 기기에서 접속이 안 된다	기본이 `127.0.0.1`. `OLLAMA_HOST` 변경 + 인증 필수
요금이 나온다	`:cloud` 모델을 쓰고 있는지 확인

첫 두 줄이 압도적으로 많다. 로컬 모델에 실망하는 대부분의 경우가 모델 성능이 아니라 설정 문제다.

상용 서비스와 비교

항목	Ollama (로컬)	ChatGPT · Claude API
데이터 전송	없음	있음
사용 요금	없음	토큰당 과금
초기 비용	하드웨어	없음
최고 성능	격차 있음	앞서 있음
오프라인	가능	불가
설치·운영	직접	없음
모델 선택	자유	제공사가 정한 것

다른 실행 도구와 비교

로컬에서 모델을 돌리는 도구는 Ollama 말고도 있다. 성격이 다르다.

도구	조작 방식	주 용도
Ollama	명령줄 + API	개인 실행과 개발 서버를 겸함
LM Studio	그래픽 화면	직접 눌러 가며 쓰는 개인 사용
vLLM	서버	다수 요청을 받는 운영 환경
llama.cpp	라이브러리·명령줄	CPU 실행, 다른 도구의 토대

고르는 기준은 단순하다.

화면을 보며 쓰고 싶다 → LM Studio
프로그램에 물려 쓰고 싶다 → Ollama
여러 사용자의 요청을 받아 서비스한다 → vLLM
직접 만들거나 깊이 손댄다 → llama.cpp

Ollama가 가장 널리 쓰이는 이유는 그 중간을 잘 잡아서다. 설치가 쉬운데 API도 나오고, 개인 실험에서 시작해 그대로 개발에 이어 쓸 수 있다.

다만 운영 서비스에는 맞지 않는다. 동시 요청 처리량이 목적인 vLLM 같은 도구와는 설계 목표가 다르다.

이런 경우에 맞다

데이터를 외부로 보낼 수 없는 경우 — 로컬 실행이면 전송 자체가 없다
오프라인 환경 — 인터넷 없이 돌아간다
여러 모델을 갈아 끼우며 비교하고 싶은 경우 — 명령어 한 줄로 바꾼다
기존 OpenAI 호환 코드를 로컬로 옮기고 싶은 경우 — 주소만 바꾸면 된다
개발·실험용 모델 서버가 필요한 경우 — 설치와 동시에 API가 뜬다

이런 경우에는 안 맞다

최고 성능이 필요한 경우 — 상용 최전선 모델과 격차가 있다
쓸 만한 GPU가 없는 경우 — CPU로 떨어지면 속도가 실용 범위를 벗어난다
서버 운영을 맡을 사람이 없는 경우 — 설치·업데이트·장애 대응이 계속 따라온다
가끔만 쓰는 경우 — 사용량이 적으면 API가 거의 항상 더 싸다
바로 인터넷에 열어 서비스하려는 경우 — 자체 API에 인증이 없어 앞단을 따로 만들어야 한다

자주 묻는 것

무료인가?

소프트웨어는 완전히 무료다. MIT 라이선스이고 로컬 실행에는 요금이 없다. 클라우드 모델을 쓸 때만 요금제가 적용된다.

상업적으로 써도 되나?

Ollama 자체는 된다. MIT이므로 제한이 없다. 다만 그 위에서 돌리는 모델의 라이선스는 따로 확인해야 한다. Llama를 돌린다면 Llama 커뮤니티 라이선스가 적용된다.

내 데이터가 밖으로 나가나?

로컬 모델을 쓰면 나가지 않는다. 클라우드 모델을 부르면 당연히 전송된다. 어느 쪽을 쓰고 있는지 구분해야 한다.

답이 이상하게 짧거나 앞부분을 잊어버린다

기본 컨텍스트가 4,096 토큰이라 잘렸을 가능성이 크다. OLLAMA_CONTEXT_LENGTH 또는 num_ctx 로 늘린다.

너무 느리다

ollama ps 로 GPU에 올라갔는지 본다. CPU로 떨어져 있으면 모델을 더 작은 것으로 바꾸거나 양자화된 버전을 쓴다.

다른 컴퓨터에서 접속하려면?

OLLAMA_HOST 를 바꾸거나 프록시를 둔다. 인증을 반드시 함께 붙인다.

LM Studio와 뭐가 다른가?

Ollama는 명령줄과 API 중심이고, LM Studio는 그래픽 화면 중심이다. 프로그램에 물려 쓸 계획이면 Ollama, 직접 눌러 가며 쓰겠으면 LM Studio가 맞다.

기존 OpenAI 코드를 그대로 쓸 수 있나?

대체로 그렇다. base_url 을 http://localhost:11434/v1/ 로 바꾸면 된다. API 키는 아무 값이나 넣어도 무시된다. 다만 OpenAI API의 일부와 호환이라고 안내돼 있으므로, 쓰던 기능이 전부 되는지는 확인이 필요하다.

모델을 여러 개 동시에 띄울 수 있나?

로컬에서는 메모리가 허용하는 만큼 가능하다. 클라우드는 요금제가 동시 실행 개수를 제한한다 — Free 1개, Pro 3개, Max 10개.

서비스 운영에 써도 되나?

권하지 않는다. 라이선스 문제가 아니라 설계 목적의 문제다. 다수 요청을 받는 환경에는 vLLM 같은 도구가 맞다.

여담

이름은 llama에서 왔다. Llama가 처음 공개됐을 때 그것을 돌리려는 사람이 몰렸고, 그 과정을 간단하게 만드는 도구들이 쏟아졌다. Ollama도 그중 하나로 2023년 7월에 나왔다.

지금은 Llama 전용이 아니다. 이름만 남고 온갖 모델을 다 돌린다. 공식 예제에도 Llama가 아니라 Gemma가 등장한다.

MIT를 고른 것은 결과적으로 이 도구의 확산에 크게 작용했다. GPL이었다면 상용 제품에 넣기 전에 법무 검토를 거쳐야 했을 텐데, MIT라 그냥 넣었다. 실행기가 널리 깔리니 그 위에서 돌리는 오픈 웨이트 모델의 접근성도 같이 올라갔다.

오픈소스 소프트웨어 + 유료 클라우드라는 구조 자체는 새롭지 않다. 다만 AI 실행기에서 이 조합이 자리 잡으면서, "이거 오픈소스 맞아?"라는 질문이 반복되게 됐다. 답은 "소프트웨어는 맞고, 클라우드는 별개"다.

각주

익명 사용자

검색