---
title: Moonlight-16B-A3B-Instruct-gguf
canonical_url: "https://www.modelscope.cn/models/ModelScope_Developer/Moonlight-16B-A3B-Instruct-gguf"
md_url: "https://www.modelscope.cn/models/ModelScope_Developer/Moonlight-16B-A3B-Instruct-gguf.md"
repository: ModelScope_Developer/Moonlight-16B-A3B-Instruct-gguf
last_updated: 2025-02-24
license: mit
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - moonshotai/Moonlight-16B-A3B-Instruct
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - pytorch
language:
  - en
  - ja
downloads: 1335
stars: 0
tags:
  - gguf
---

# Moonlight-16B-A3B-Instruct-gguf

> Moonlight-16B-A3B-Instruct-gguf - ModelScope_Developer 在 ModelScope 开源的模型。Moonlight-16B-A3B-Instruct-gguf moonshotaiさんが公開しているMoonlight-16B-A3B-Instructのggufフォーマット変換版です。

ModelScope_Developer/Moonlight-16B-A3B-Instruct-gguf 是 ModelScope 魔搭社区上的text-generation模型，采用 mit 许可，基于 moonshotai/Moonlight-16B-A3B-Instruct 构建。

- **Repository**: ModelScope_Developer/Moonlight-16B-A3B-Instruct-gguf
- **License**: mit
- **Tasks**: text-generation
- **Base model**: moonshotai/Moonlight-16B-A3B-Instruct
- **Tags**: gguf
- **Downloads**: 1335
- **Stars**: 0
- **Last updated**: 2025-02-24

Source: https://www.modelscope.cn/models/ModelScope_Developer/Moonlight-16B-A3B-Instruct-gguf

---

# Moonlight-16B-A3B-Instruct-gguf
[moonshotaiさんが公開しているMoonlight-16B-A3B-Instruct](https://huggingface.co/moonshotai/Moonlight-16B-A3B-Instruct)のggufフォーマット変換版です。  

imatrixのデータは[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使用して作成しました。  
  
## Usage
chat-templateはカスタムのため除去してあります。  
お試し用でお願いします。

```
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
build/bin/llama-cli -m 'Moonlight-16B-A3B-Instruct-gguf' -n 128 -c 128 -p 'あなたはプロの料理人です。レシピを教えて'
```