---
title: Minthy_ToriiGate_0.5_GGUF
canonical_url: "https://www.modelscope.cn/models/xChenNing/Minthy_ToriiGate_0.5_GGUF"
md_url: "https://www.modelscope.cn/models/xChenNing/Minthy_ToriiGate_0.5_GGUF.md"
repository: xChenNing/Minthy_ToriiGate_0.5_GGUF
chinese_name: Minthy_ToriiGate_0.5_GGUF
last_updated: 2026-04-09
license: mit
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
base_model:
  - Qwen/Qwen3.5-4B-Base
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - Pytorch
language:
  - en
downloads: 75
stars: 2
tags:
  - multimodal
  - vision
  - image-text-to-text
  - gguf
---

# Minthy_ToriiGate_0.5_GGUF

> Minthy_ToriiGate_0.5_GGUF - xChenNing 在 ModelScope 开源的模型。基于 https://huggingface.co/Minthy/ToriiGate-0.5 进行 GGUF 量化

xChenNing/Minthy_ToriiGate_0.5_GGUF 是 ModelScope 魔搭社区上的image-text-to-text模型，采用 mit 许可，基于 Qwen/Qwen3.5-4B-Base 构建。

- **Repository**: xChenNing/Minthy_ToriiGate_0.5_GGUF
- **License**: mit
- **Tasks**: image-text-to-text
- **Base model**: Qwen/Qwen3.5-4B-Base
- **Tags**: multimodal, vision, image-text-to-text, gguf
- **Downloads**: 75
- **Stars**: 2
- **Last updated**: 2026-04-09

Source: https://www.modelscope.cn/models/xChenNing/Minthy_ToriiGate_0.5_GGUF

---

# ToriiGate-0.5

## Disclaimer / 声明

本仓库/文件为对原始模型 **ToriiGate-0.5** 的第三方量化版本，仅用于学习与研究目的。原始模型由 **Minthy** 发布于 Hugging Face：`https://huggingface.co/Minthy/ToriiGate-0.5`。该模型为基于 **Qwen/Qwen3.5-4B-Base** 的微调版本；我的工作仅限于使用 **llama.cpp** 对其进行量化，并未对模型训练或能力本身做任何改动。

- **未获得授权**：本人未获得原作者/发布者的明确授权或背书；本量化版本不代表原作者立场，亦不构成官方发布。
- **业余量化与潜在风险**：本人为业余用户，量化过程中仅做了较为简单的操作；我忽略了部分工具/转换过程中的警告信息，且不完全了解其中可能隐含的精度损失、兼容性问题或其他不可预期风险。使用者需自行评估并承担相关后果。
- **原始链接与作者**：原模型页面与说明请以 Hugging Face 上 **Minthy/ToriiGate-0.5** 为准：[https://huggingface.co/Minthy/ToriiGate-0.5](https://huggingface.co/Minthy/ToriiGate-0.5)（作者：**Minthy**）。

## Availability / 可用性

已在 LM Studio 测试可用

## Usage / 使用方法

### 模型文件完整性

- `ToriiGate-4.8B-0.5-F32-Q8_0.gguf`: 本体文件
- `mmproj-ToriiGate-0.5-BF16.gguf`: 视觉

至少需要包含一个`本体`和一个`视觉`文件

`本体`和`视觉`后续可能会有多种量化

### 默认推荐参数

作者的默认

- `temperature = 0.5`（来自原作者仓库脚本）

我推荐的，玄学感觉更猛

- `temperature = 0.5`
- `Top K 采样 = 500`
- `重复惩罚 = 1.1`
- `Top P 采样 = 1.0`
- `最小 P 采样 = 0.08`

### 提示词

系统提示词（long_thoughts_v2）

其他用法参考原仓库

```
Your answer must contain 6 parts:
<format>
# 1. Thoughts about characters
You need to think here and compare peoples/creatures that you see on the picture with given popular tags, or descriptions, or your memories for each characters to determine who is who.
# 2. Key details
Here you need to determine key details on comic and list them.
# 3. Long description
Here come up with a long and detailed description of image content. Be creative, mention all detailes you listed above and other important things.
# 4. Detailed description for each character
## Name 1
Detailed and long description for the first character
## Name 2
Same for each one (if present)
</format>
```

### LM Studio

- **导入模型目录**：将本仓库（或量化后生成的 `*.gguf` 文件所在目录）添加到 LM Studio 的本地模型路径中，或直接将整个文件夹放入 LM Studio 的模型目录。
- **选择后端**：在 LM Studio 中选择使用 `llama.cpp` / 本地 GGUF 推理后端。
- **加载模型**：在模型列表中选择本模型并加载，按需调整上下文长度、GPU offload 等参数。由于为业余量化，建议在遇到异常输出时适当降低上下文长度、生成步数等超参数。

### llama.cpp（命令行示例）

假设量化后文件名为 `ToriiGate-0.5.Qx_K_M.gguf`，位于当前目录下，可参考：

```bash
./main \
  -m ToriiGate-0.5.Qx_K_M.gguf \
  --image test.png \
  -p "Describe this image in detail." \
  -n 512
```

- **参数仅为示例**：不同显卡/环境下需要根据显存与性能调整 `-n`（生成长度）、`--ctx-size`（上下文长度）、`-ngl`（GPU 层数）等参数。
- **图像输入支持**：请确认所使用的 `llama.cpp` 版本已启用多模态/vision 支持，并按其文档提供正确的图像参数（例如 `--image` 或对应选项）。
- **异常情况处理**：如出现崩溃、输出异常或性能过低，优先尝试降低上下文长度、batch size 或更换更轻量的量化等级。
