로컬 AI 여유 공간
보기는 무료, 변경은 Pro
로컬 모델이 Mac의 메모리에 들어가는지 내려받거나 불러오기 전에 확인할 수 있습니다.
The problem
Downloading a local model is a long wait, and the failure comes at the end: it will not load, or it loads and your Mac starts swapping. The size on the download page is only part of the answer, because the context length you choose adds memory too.
Local AI headroom answers the question first. You pick the model size and context. Hedroom estimates what it needs, compares that with what your Mac can give a model right now, and names the line that decided the answer.
How it works
- Pick. Choose a model family and size, 4-, 8- or 16-bit, and a context from 4K to 128K. Hedroom names families and sizes only; it recommends no product.
- Estimate. It adds up the weights, the context cache (which grows with the context) and runtime overhead, each shown as "about". A 15% margin covers the fact that layer and head counts are typical for a family, not read from your file.
- Compare. The total is checked against the GPU memory limit and against what is free right now (free memory plus cached files; compressed memory does not count).
- Answer. Fits, Tight, Make room or Won't fit, with the line that decided it.
- Act, if you choose. Make room lists apps to relaunch or quit through the normal safety checks. On some Macs, Hedroom can raise the GPU limit until you restart, after a confirmation.
What you will see
A big verdict, "Fits.", "Tight.", "Fits, after making room." or "Won't fit.", with a sentence naming the line that decided it and the parts of the estimate: "Weights about … · context about … · runtime about … The estimate can be off by about 15%." A gauge shows what the model needs against two markers: what the GPU can use and what is free right now.
Beside it sits the GPU memory limit control, with a warning always on screen (less memory for macOS, your Mac can slow down or become unstable, it lasts until you restart), and a list of model apps Hedroom finds running: Ollama, LM Studio, Jan and GPT4All, with what they use. On a 16 GB Mac the limit control is off and says why.
A worked example
Example, not real data
A mid-size model on a 16 GB Mac
Say you want to try a Llama-family model at 8B parameters, 4-bit, with an 8K context. Hedroom estimates weights of about 4.8 GB, context of about 1.1 GB and runtime of about 0.8 GB: about 6.7 GB, or about 7.7 GB with the margin.
macOS lets the GPU use about two-thirds of a 16 GB Mac's memory by default, around 10.7 GB, so the GPU limit is not the problem. But say Chrome and Slack are open and free memory plus cached files reads about 7 GB. The low estimate fits and the high one does not, so the verdict is Tight, and the Make room list shows which apps hold the most. Hedroom promises no speed: it estimates memory only.
Details and limits
하는 일
- 모델 계열과 크기, 4·8·16비트, 4K~128K의 컨텍스트 길이를 선택합니다.
- 필요한 양(가중치, 컨텍스트 캐시, 런타임)을 추정하고, GPU가 사용할 수 있는 양과 지금 비어 있는 양을 비교합니다.
- "맞음", "빠듯함", "공간 확보", "맞지 않음" 중 하나를 판단의 근거가 된 줄과 함께 보여 줍니다.
- "공간 확보"는 메모리를 쓰고 있는 앱을 Hedroom의 일반 동작으로 다시 실행하거나 종료하도록 제안합니다.
- Ollama, LM Studio, Jan, GPT4All이 실행 중이면 알아채고 사용량을 보여 줍니다.
- macOS에 남는 양이 얼마나 적어지는지 알려 주는 확인을 거친 뒤, 다시 시작할 때까지 GPU 메모리 한도를 올릴 수 있습니다.
What it will not do
- 모델을 내려받거나 불러오거나 실행하는 일, 또는 모델 앱과 통신하는 일.
- 속도를 약속하는 일. 메모리만 추정합니다.
- macOS에 8GB 미만만 남기는 한도를 제안하는 일.
- 사용자의 확인 없이 한도를 올리는 일. Hedroom은 종료할 때, 직접 바꾼 경우를 제외하고 한도를 이전 값으로 되돌립니다.
Limits
- 추정치는 약 15% 차이가 날 수 있습니다. 레이어 수와 헤드 수는 사용자의 파일에서 읽은 값이 아니라 해당 모델 계열의 일반적인 값입니다.
- macOS는 기본 GPU 한도를 공개하지 않습니다. Hedroom은 자체적으로 해석한 값을 보여 줍니다. 36GB까지는 메모리의 약 3분의 2, 그 이상은 4분의 3입니다.
- 메모리가 8, 16, 18, 24GB인 Mac에서는 Hedroom이 더 높은 한도를 제안하지 않습니다. 허용할 수 있는 최대치가 macOS가 이미 GPU에 주는 양보다 크지 않기 때문입니다.
- 한도를 올리려면 팬 제어와 같은 도우미가 필요하며, 시스템 설정에서 승인해야 합니다. 한도를 높이면 macOS에 남는 메모리가 줄어들고, 메모리가 부족해지면 Mac이 느려지거나 불안정해질 수 있습니다. 이 설정은 다시 시작할 때까지 유지됩니다.
무료 또는 Pro
확인과 GPU 메모리 한도 읽기는 무료입니다. 한도를 올리는 것은 Pro 기능입니다. 초기화는 잠기는 일이 없습니다.
Raising the limit changes how your Mac behaves, which is why it is Pro.
Questions people ask
Does Hedroom download or run the model?
No. It never downloads, loads or runs a model, and never talks to a model app. It estimates memory and notices which model apps are running.
How accurate is the estimate?
It can be off by about 15%. The weights come from a simple formula, and layer and head counts are typical for the family, not read from your file. The verdict checks both the estimate and the estimate plus margin, so a borderline case reads Tight rather than Fits.
Is raising the GPU memory limit safe?
It leaves less memory for macOS, and your Mac can slow down or become unstable if memory runs short. Hedroom never offers a limit that leaves macOS less than 8 GB, shows how little is left before you confirm, puts the limit back when it quits, and the setting goes away at restart anyway.
Does it need the helper?
Checking is free and needs no helper. Raising or resetting the limit uses the same helper as fan control, which requires approval in System Settings. Approving the helper has the steps.