---
title: llamafile-tools
canonical_url: "https://www.modelscope.cn/models/modelscope/llamafile-tools"
md_url: "https://www.modelscope.cn/models/modelscope/llamafile-tools.md"
repository: modelscope/llamafile-tools
chinese_name: "llamafile工具包"
last_updated: 2025-03-17
license: "Apache License 2.0"
library_name:
  - other
frameworks:
  - other
downloads: 190
stars: 9
---

# llamafile-tools

> llamafile-tools - modelscope 在 ModelScope 开源的模型。llamafile工具包，包括llamafile转换工具等等

modelscope/llamafile-tools 是 ModelScope 魔搭社区上的机器学习模型，采用 Apache License 2.0 许可。

- **Repository**: modelscope/llamafile-tools
- **License**: Apache License 2.0
- **Downloads**: 190
- **Stars**: 9
- **Last updated**: 2025-03-17

Source: https://www.modelscope.cn/models/modelscope/llamafile-tools

---

llamafile是一个将大型语言模型和运行环境全部封装在一个文件中的创新项目。不需要进行复杂的配置或安装，只需下载一个`.llamafile`文件, 就能直接用上大模型的强大功能。这里提供llamafile工具包，包括`llamafile-convert`等工具，支持将gguf文件，直接转换成可执行文件。同时还包括`llamafile-quantize`, `llamafile-tokenize`等一些列工具。

本工具包从官方发布页面 https://github.com/Mozilla-Ocho/llamafile/releases 整理而来，并且会保持持续更新。

## 使用命令行下载工具箱
推荐使用命令行下载您需要的，指定的`llamafile`工具。首先请确保您已经安装了modelscope：
```sh
pip install modelscope
```
使用如下命令下载包含所有工具的zip包 `llamafile-0.9.1.zip`，下载后再自行进行解压。
```sh
modelscope download --model=modelscope/llamafile-tools llamafile-0.9.1.zip --local_dir ./ --revision v0.9.1	
unzip llamafile-0.9.1.zip 
```
解压后包括`llamafile-converter`在内的多种工具均可从./llamafile-0.9.1/bin/文件夹里获取。关于llamafile工具的更多说明可以参见其[github说明](https://github.com/Mozilla-Ocho/llamafile)。


Note：在使用工具前，需要确保相关工具均有可执行权限，例如通过如下命令：
```
chmod +x ./llamafile-0.9.1/bin/*
```

## 转换GGUF文件为llamafile可执行格式
相比于GGUF格式，llamafile文件提供了一个可执行文件（executable），可以**在包括Linux/iOS/Windows在内的，各个操作系统上直接运行**。将GGUF文件转换成llamafile使用`llamafile-convert`工具实现。

比如有一个我们从[Qwen2.5-3B官方repo](https://www.modelscope.cn/models/Qwen/Qwen2.5-3B-Instruct-GGUF)下载的`qwen2.5-3b-instruct-q4_k_m.gguf`文件，就可以通过如下命令进行转换：
```
./bin/llamafile-convert /<path-to-file>/qwen2.5-3b-instruct-q4_k_m.gguf 
```
运行成功后，会生成一个新的`qwen2.5-3b-instruct-q4_k_m.llamafile`可执行文件。**确保当前文件在系统中有可执行权限后**，就可以直接运行了：
```
./qwen2.5-3b-instruct-q4_k_m.llamafile
```
运行结果如下：

![llamafile-exe.png](./_images_/llamafile-exe.png)

将这个`qwen2.5-3b-instruct-q4_k_m.llamafile`可执行文件拷贝到您的Mac电脑上，同样可以运行：

![llamafile-exe.png](./_images_/llamafile-mac.png)


## 其他下载方式
当然您也可以通过其他方式来下载本repo的内容，包括SDK和git clone等。

### SDK模型下载
```
from modelscope import snapshot_download
model_dir = snapshot_download('modelscope/llamafile-tools')
```

### Git clone模型下载
```
#使用--depth 1选项减少下载的git历史文件
git clone https://www.modelscope.cn/modelscope/llamafile-tools.git --depth 1 
```