---
title: Ops-II
canonical_url: "https://www.modelscope.cn/models/beyoru-ai/Ops-II"
md_url: "https://www.modelscope.cn/models/beyoru-ai/Ops-II.md"
repository: beyoru-ai/Ops-II
last_updated: 2026-07-31
license: mit
model_type:
  - qwen3_5_moe
architectures:
  - Qwen3_5MoeForConditionalGeneration
base_model:
  - deepreinforce-ai/Ornith-1.0-35B
base_model_relation: finetune
parameters: 35.1B
tensor_type:
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 44
stars: 0
tags:
  - moe
  - qwen3_5_moe
  - esft
  - expert-specialized-fine-tuning
---

# Ops-II

> Ops-II - beyoru-ai 在 ModelScope 开源的模型。deepreinforce-ai/Ornith-1.0-35B sau Expert-Specialized Fine-Tuning (ESFT), chạy trên một NVIDIA GB10 (DGX Spark, 121 GB unified memory).

beyoru-ai/Ops-II 是 ModelScope 魔搭社区上的 35.1B 参数机器学习模型，采用 mit 许可，基于 deepreinforce-ai/Ornith-1.0-35B 构建。

- **Repository**: beyoru-ai/Ops-II
- **License**: mit
- **Parameters**: 35.1B
- **Base model**: deepreinforce-ai/Ornith-1.0-35B
- **Tags**: moe, qwen3_5_moe, esft, expert-specialized-fine-tuning
- **Downloads**: 44
- **Stars**: 0
- **Last updated**: 2026-07-31

Source: https://www.modelscope.cn/models/beyoru-ai/Ops-II

---

# Ops-II

`deepreinforce-ai/Ornith-1.0-35B` sau **Expert-Specialized Fine-Tuning (ESFT)**, chạy trên một
NVIDIA GB10 (DGX Spark, 121 GB unified memory).

> ⚠️ **Đọc trước khi dùng.** Đây là checkpoint của một lần train **rất ngắn**: 63 optimizer step,
> ~648k token, tương đương **8.4% của một epoch**. Trọng số expert dịch trung bình **0.29%**
> so với model gốc. **Chưa được đánh giá trên bất kỳ benchmark nào.** Về mặt hành vi, gần như
> chắc chắn không phân biệt được với `Ornith-1.0-35B`. Công bố để lưu trữ và tái lập, không phải
> vì nó tốt hơn model gốc.

## Đã làm gì

ESFT (arXiv 2407.01906): chấm điểm expert trên dữ liệu task, chọn nhóm expert mà router thực sự
gửi token tới, rồi **train thẳng trọng số gốc của nhóm đó** — đóng băng mọi thứ còn lại, kể cả router.

| | |
|---|---|
| base | `deepreinforce-ai/Ornith-1.0-35B` (qwen3_5_moe, 40 layer × 256 expert, top-8) |
| dữ liệu | `ianncity/GLM-5.2-Conversation` — 6000 mẫu ≤2048 token (CoT science/math/code) |
| chấm điểm | 96 mẫu, token-selection ratio, hook trên `Qwen3_5MoeTopKRouter` |
| chọn | `top_p=0.20` → 19.1 expert/layer; cắt theo trần 1.5B → **444 expert (11.1/layer)** |
| train | **1 522 532 352** tham số (4.4%) + shared_expert; router và attention **đóng băng** |
| optimizer | AdamW, lr 1e-5, wd 0.1, betas (0.9, 0.95), grad-clip 1.0, cosine + warmup 3% |
| batch | 1 chuỗi × grad-accum 8 |
| **đã chạy** | **63 step / 750** (dừng theo hạn thời gian), 647 997 token |
| phần cứng | 1× GB10, bf16, grad-checkpointing, **207 tok/s** |

`top_p=0.20` chỉ cần **19.1/256 expert mỗi layer** — nếu router rải đều thì phải cần 51.2, tức
routing **tập trung gấp 2.7 lần ngẫu nhiên**. Đây là số đo xác nhận tiền đề của ESFT trên model này.

## Kiểm chứng phép ghép

Trọng số expert đã train được ghép trở lại checkpoint gốc ở mức shard safetensors:

- expert **được chọn**: `||ΔW||/||W₀||` = 1.95e-3 … 5.87e-3 (trung bình 2.88e-3), **không tensor nào = 0**
- expert **không chọn**: `||ΔW||/||W₀||` = **0.000** (bit-for-bit như gốc)

## Ghi công & giấy phép

Model gốc `deepreinforce-ai/Ornith-1.0-35B`, MIT. Bản này giữ nguyên MIT.
Phương pháp: Wang et al., *Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for
Sparse Architectural Large Language Models*, EMNLP 2024 — https://arxiv.org/abs/2407.01906