Dư địa cho AI cục bộ
Xem miễn phí, thay đổi cần Pro
Kiểm tra xem một mô hình cục bộ có vừa bộ nhớ Mac của bạn không trước khi tải xuống hoặc nạp nó.
The problem
Downloading a local model is a long wait, and the failure comes at the end: it will not load, or it loads and your Mac starts swapping. The size on the download page is only part of the answer, because the context length you choose adds memory too.
Local AI headroom answers the question first. You pick the model size and context. Hedroom estimates what it needs, compares that with what your Mac can give a model right now, and names the line that decided the answer.
How it works
- Pick. Choose a model family and size, 4-, 8- or 16-bit, and a context from 4K to 128K. Hedroom names families and sizes only; it recommends no product.
- Estimate. It adds up the weights, the context cache (which grows with the context) and runtime overhead, each shown as "about". A 15% margin covers the fact that layer and head counts are typical for a family, not read from your file.
- Compare. The total is checked against the GPU memory limit and against what is free right now (free memory plus cached files; compressed memory does not count).
- Answer. Fits, Tight, Make room or Won't fit, with the line that decided it.
- Act, if you choose. Make room lists apps to relaunch or quit through the normal safety checks. On some Macs, Hedroom can raise the GPU limit until you restart, after a confirmation.
What you will see
A big verdict, "Fits.", "Tight.", "Fits, after making room." or "Won't fit.", with a sentence naming the line that decided it and the parts of the estimate: "Weights about … · context about … · runtime about … The estimate can be off by about 15%." A gauge shows what the model needs against two markers: what the GPU can use and what is free right now.
Beside it sits the GPU memory limit control, with a warning always on screen (less memory for macOS, your Mac can slow down or become unstable, it lasts until you restart), and a list of model apps Hedroom finds running: Ollama, LM Studio, Jan and GPT4All, with what they use. On a 16 GB Mac the limit control is off and says why.
A worked example
Example, not real data
A mid-size model on a 16 GB Mac
Say you want to try a Llama-family model at 8B parameters, 4-bit, with an 8K context. Hedroom estimates weights of about 4.8 GB, context of about 1.1 GB and runtime of about 0.8 GB: about 6.7 GB, or about 7.7 GB with the margin.
macOS lets the GPU use about two-thirds of a 16 GB Mac's memory by default, around 10.7 GB, so the GPU limit is not the problem. But say Chrome and Slack are open and free memory plus cached files reads about 7 GB. The low estimate fits and the high one does not, so the verdict is Tight, and the Make room list shows which apps hold the most. Hedroom promises no speed: it estimates memory only.
Details and limits
Nó làm gì
- Bạn chọn một dòng mô hình và kích thước, 4, 8 hoặc 16 bit, và độ dài ngữ cảnh từ 4K đến 128K.
- Ước tính nó cần gì (trọng số, bộ nhớ đệm ngữ cảnh và runtime), rồi so với những gì GPU có thể dùng và những gì đang trống lúc này.
- Trả lời Vừa, Sát giới hạn, Tạo chỗ trống hoặc Không vừa, kèm dòng quyết định.
- Tạo chỗ trống đề xuất mở lại hoặc thoát các ứng dụng đang giữ bộ nhớ, thông qua các hành động bình thường của Hedroom.
- Nhận biết Ollama, LM Studio, Jan và GPT4All khi chúng đang chạy, và nói chúng dùng bao nhiêu.
- Có thể nâng giới hạn bộ nhớ GPU cho đến khi bạn khởi động lại, sau một xác nhận nói rõ còn lại bao nhiêu ít ỏi cho macOS.
What it will not do
- Tải, nạp hay chạy một mô hình, hoặc trò chuyện với một ứng dụng mô hình.
- Hứa về tốc độ. Nó chỉ ước tính bộ nhớ.
- Đề xuất một giới hạn khiến macOS còn dưới 8 GB.
- Nâng giới hạn mà không có xác nhận của bạn. Khi Hedroom thoát, nó đặt giới hạn về mức trước đó, trừ khi bạn tự thay đổi.
Limits
- Ước tính có thể lệch khoảng 15%. Số lớp và số đầu là giá trị điển hình của một dòng mô hình, không đọc từ tệp của bạn.
- macOS không công bố giới hạn GPU mặc định. Hedroom hiển thị cách hiểu của riêng nó: khoảng hai phần ba bộ nhớ đến 36 GB, ba phần tư với mức lớn hơn.
- Trên Mac có 8, 16, 18 hoặc 24 GB, Hedroom không đề xuất giới hạn cao hơn, vì mức tối đa nó cho phép không hơn những gì macOS đã cấp cho GPU.
- Nâng giới hạn cần cùng trình trợ giúp với điều khiển quạt, cần được phê duyệt trong Cài đặt Hệ thống. Giới hạn cao hơn để lại ít hơn cho macOS, và Mac của bạn có thể chậm đi hoặc mất ổn định nếu bộ nhớ thiếu. Giới hạn này kéo dài đến khi bạn khởi động lại.
Miễn phí hay Pro
Việc kiểm tra và đọc giới hạn bộ nhớ GPU là miễn phí. Nâng giới hạn thuộc gói Pro. Đặt lại không bao giờ bị khóa.
Raising the limit changes how your Mac behaves, which is why it is Pro.
Questions people ask
Does Hedroom download or run the model?
No. It never downloads, loads or runs a model, and never talks to a model app. It estimates memory and notices which model apps are running.
How accurate is the estimate?
It can be off by about 15%. The weights come from a simple formula, and layer and head counts are typical for the family, not read from your file. The verdict checks both the estimate and the estimate plus margin, so a borderline case reads Tight rather than Fits.
Is raising the GPU memory limit safe?
It leaves less memory for macOS, and your Mac can slow down or become unstable if memory runs short. Hedroom never offers a limit that leaves macOS less than 8 GB, shows how little is left before you confirm, puts the limit back when it quits, and the setting goes away at restart anyway.
Does it need the helper?
Checking is free and needs no helper. Raising or resetting the limit uses the same helper as fan control, which requires approval in System Settings. Approving the helper has the steps.