ollama linux 离线安装包

ollama github linux安装包部署到本地之后，就可以实现linux系统上运行deepseek，目前deepseek要想在电脑上运行，就需要搭配ollama使用，但是注意，部分用户ollama安装deepseek失败，主要原因是大家下载了不匹配的大模型，大家务必要根据电脑的配置和内存，下载和部署对应的模型版本。

ollama linux安装包介绍

Ollama支持多种不同的硬件加速选项，包括纯CPU推理和各类底层计算架构，如AppleSilicon。这使得Ollama能够更好地利用不同类型的硬件资源，提高模型的运行效率。作为一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。Ollama支持macOS和Linux操作系统，并且已经为Windows平台发布了预览版。Ollama的一个重要优势是其易用性。安装过程简单，例如在macOS上，用户可以直接从官网下载安装包并运行。对于Windows用户，官方推荐在WSL2中以Linux方式使用命令安装。安装完成后，用户可以使用命令行工具来下载和运行不同的模型。Ollama还提供了对模型量化的支持，这可以显著降低显存要求。例如，4-bit量化可以将FP16精度的权重参数压缩为4位整数精度，从而大幅减小模型权重体积和推理所需显存。这使得在普通家用计算机上运行大型模型成为可能。

ollama是什么

Ollama的项目结构主要包括以下部分：

api：用Go编写的客户端API库。

discover：负责扫描系统中的可用模型、加载配置文件，或者帮助用户查找符合特定需求的模型。

docs：项目的文档目录,包括安装步骤、API文档、常见问题解答（FAQ）和示例代码等。

envconfig：包含环境配置文件或脚本

format：用于单位和时间的格式处理的工具。

app：桌面应用程序（主要是一个托盘）。

auth：用于用户身份验证，确保只有授权用户才能访问特定的功能或模型。

cmd：命令和相关的处理程序。

convert：用于将不同的模型格式转换为Ollama可以使用的格式

integration：用于将Ollama与其他系统或应用程序集成的代码。这些集成可能包括与Web服务、数据库、API、第三方服务、其他框架等的集成。

macapp：mac桌面应用程序。

scripts：包含构建、测试、发布等操作所需的脚本文件。确保项目能够在不同环境中顺利编译和运行。

server：用Go编写的Web服务实现。

version：版本信息。

openai：用于Ollama的OpenAIAPI兼容封装。

parser：模型信息和消息的解析器。

progress：显示加载进度的实用程序。

readline:命令输入工具用于用户与命令行工具的交互。

Ollama的构建系统利用Go提供的构建工具，并结合cmake来处理C/C++部分的编译。这两个构建系统共存，以构建不同的部分：

CMake：用于构建llama.cpp，并提供接口。

Go构建系统：编译、链接和打包其余部分，以生成Ollama的应用程序和CLI。

核心原理：

独立性：强调在本地环境中运行，减少对外部网络和云服务的依赖，提高数据安全性。

一致性：通过版本控制和依赖管理，确保模型在不同环境中的一致性和可重复性。

封装性：通过容器化技术，Ollama将模型及其运行时环境封装在一起，确保一致的运行环境。

便捷性：通过简单的CLI工具，用户可以快速进行模型的部署和管理，降低了操作复杂性。

ollama linux 离线安装教程

注意：如果之前已经安装了旧版本的ollama，那么需要先完成手动卸载，sudo rm -rf /usr/lib/ollama

远程安装教程

官网提供了一条命令行快速安装的方法。

curl -fsSL https://ollama.com/install.sh | shCopy to clipboardErrorCopied

此命令将自动下载最新版本的 Ollama 并完成安装

本地安装教程

一、安装

1.下载并解压与操作系统匹配的安装包

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

Copy to clipboardErrorCopied

AMD GPU下载：

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz

sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

Copy to clipboardErrorCopied

ARM 64下载：

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz

sudo tar -C /usr -xzf ollama-linux-arm64.tgz

Copy to clipboardErrorCopied

2.2 启动 Ollama并验证

输入以下命令启动 Ollama：

ollama serve

Copy to clipboardErrorCopied

另开启一个终端，输入以下命令，验证ollama是否运行成功

ollama -v

Copy to clipboardErrorCopied

2.3 将 Ollama 添加为自启动服务（推荐）

首先，为 Ollama 创建用户和组：

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

sudo usermod -a -G ollama $(whoami)

Copy to clipboardErrorCopied

然后在该位置：/etc/systemd/system/ollama.service 创建服务文件

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=$PATH"

[Install]

WantedBy=default.target

Copy to clipboardErrorCopied

最后启动服务：

sudo systemctl daemon-reload

sudo systemctl enable ollama

Copy to clipboardErrorCopied

三、更新

再次运行之前的安装语句来更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

Copy to clipboardErrorCopied

或者重新下载最新的Ollama包：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

Copy to clipboardErrorCopied

四、安装特定版本

设置 OLLAMA_VERSION字段，，可以安装对应的版本

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Copy to clipboardErrorCopied

五、查看日志

查看作为启动服务运行的 Ollama 的日志：

journalctl -e -u ollama

ollama安装包怎么卸载

删除 Ollama 服务：

sudo systemctl stop ollama

sudo systemctl disable ollama

sudo rm /etc/systemd/system/ollama.serviceCopy to clipboardErrorCopied

从 bin 目录中删除 Ollama 二进制文件： /usr/local/bin,/usr/bin ,/bin

sudo rm $(which ollama)

删除下载的模型和 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama

sudo groupdel ollama

删除下载的库文件

sudo rm -rf /usr/local/lib/ollama

Ollama使用常见的指令

ollama serve   #启动ollama

ollama create  #从模型文件创建模型

ollama show    #显示模型信息

ollama run     #运行模型

ollama pull    #从注册表中拉取模型

ollama push    #将模型推送到注册表

ollama list    #列出模型

ollama cp      #复制模型

ollama rm      #删除模型

ollama help    #获取有关任何命令的帮助信息