简单来说： 本地模型是在你自己的电脑或服务器上运行的 AI 模型，而不是在供应商的云端运行。这样你输入的内容就留在你自己的环境里。为此你需要一个 开放权重 的模型，以及足够装下它的内存。
开放模型和封闭模型
一个模型由海量的数字组成，这些数字叫作 权重，是在训练过程中确定下来的。
- 封闭模型的权重由开发商自己保留。你只能通过该开发商的应用或 API 来使用它。
- 开放权重的模型，你可以下载权重，自己运行。
发布开放权重的开发商举例：Meta（Llama，接受许可协议后可下载）、Mistral AI（部分模型，有些采用 Apache 2.0 许可证）、月之暗面（部分 Kimi 模型），以及 xAI（2024 年公开了第一个 Grok 模型的权重）。
为什么要在本地运行？
- 数据留在公司内部。 常用的本地运行软件 Ollama 表示，在本地使用时，它看不到你的问题和数据。
- 不依赖 某一家供应商，也不受它的价格和条款左右。
不过，最强的模型往往是封闭的，或者大到普通电脑根本装不下。而且安装、安全和更新都得你自己负责。
需要什么样的硬件？
基本原则：模型必须能装进内存。 Ollama 解释说，模型在处理器上运行时会载入普通内存（RAM），在 GPU 上运行时则载入显卡的显存（VRAM）。只要模型能完整装进去，GPU（显卡）的计算速度要快得多。装不下时，Ollama 会把模型分配到多张显卡上，或者分配到 GPU 和处理器上。
具体需要多少内存，取决于模型本身、对话的长度（上下文），以及同时使用的人数。最大的开放模型需要服务器级硬件：比如据月之暗面介绍，Kimi K3 有 2.8 万亿个参数。
Ollama 是什么？
Ollama 是一款开源软件，支持 macOS、Windows 和 Linux，可以用来下载和运行开放模型。很多应用都能和它对接，比如聊天程序和开发者工具。
开放模型可以商用吗？
这取决于许可证。Apache 2.0 比较宽松。另一些模型有自己的许可证并附带条件，比如 Llama 和 Kimi。在公司里使用某个模型之前，一定要先读许可证。
截至 2026 年 10 月。模型和许可证变化很快，请以来源处的最新信息为准。
来源
- Ollama FAQ（隐私、内存、GPU 与 CPU）
- Ollama：Hardware support
- Ollama 的 GitHub 页面（macOS、Windows 和 Linux 安装）
- Meta：Getting the models（Llama）
- Mistral AI：Models overview
- Hugging Face：Kimi K3 模型卡（许可证）
- xAI：Company（时间线，Grok-1 开放发布）
访问日期：2026 年 10 月 21 日。