Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama 2、Code Llama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统。
此外,Ollama还提供了官方的Docker镜像,由此使用Docker容器部署大型语言模型变得更加简单,确保所有与这些模型的交互都在本地进行,无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速,并提供了简单的命令行界面(CLI)以及用于与应用程序交互的REST API。
该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用,无需依赖外部云服务。
Ollama 现已推出适用于 macOS 和 Windows 的Ollama桌面端,新增文件处理与多模态交互功能,让用户与本地大语言模型交互更直观便捷。
Ollama支持的模型
Ollma提供一个模型库,用户可以自行选择安装想要运行的模型,目前支持40+的模型,还在持续增加中,以下是可以下载的开源模型示例:
| 模型 | 参数大小 | 文件大小 | 下载运行命令 |
|---|---|---|---|
| DeepSeek-R1 | 1.5B、7B、14B、32B等 | 12-320GB | ollama run deepseek-r1 |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
| Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
| Orca Mini | 3B | 1.9GB | ollama run orca-mini |
| Vicuna | 7B | 3.8GB | ollama run vicuna |
类似于 本地运行Llama和其他大语言模型 的工具
同类 AI 工具推荐,供对比参考

DeepSeek
属于AI聊天助手·通用对话AI分类。DeepSeek是一款AI聊天助手领域的免费AI工具,开源大模型,推理能力出色。支持免费、开源、推理。
豆包
属于AI聊天助手·ai-writing-novel分类。豆包是一款AI聊天助手领域的免费增值AI工具,智能对话助手,办公创作全能!。支持免费、多场景。

TRAE
属于AI聊天助手·ai-writing-article分类。TRAE是一款AI聊天助手领域的免费增值AI工具,字节跳动推出的 AI IDE 编程工具。支持IDE、免费。

Stable Diffusion
Stable Diffusion是一款AI图像工具领域的免费AI工具,开源AI绘画,可本地部署。支持开源、免费。

Coze
属于AI聊天助手·ai-writing-article分类。Coze是一款AI聊天助手领域的免费增值AI工具,海量AI智能体免费用,一键复制同款。支持AI开发平。

秒哒
属于AI聊天助手·ai-writing-article分类。秒哒是一款AI聊天助手领域的免费增值AI工具,无代码AI应用开发平台,一句话做应用。支持AI编程工。
本地运行Llama和其他大语言模型 常见问题
这是免费的 AI 工具吗?
这取决于具体产品:部分工具提供完全免费版本,部分采用免费增值模式,部分需要付费订阅。建议访问官网查看最新的定价方案。
适合哪些人使用?
适合需要提升工作效率、内容创作、编程开发、设计绘画等场景的个人用户和团队。具体适用场景可参考本页分类标签和编辑评测。
与其他同类 AI 工具相比如何?
每个工具各有侧重。本页「类似于」区块列出了同类工具,可以对比评分、价格模式和使用场景后做出选择。
信息更新于 2025-01-01。如信息有误,欢迎联系我们更正。

