---
title: IRIXEN2-Embedding-4B
canonical_url: "https://www.modelscope.cn/models/lanche816/IRIXEN2-Embedding-4B"
md_url: "https://www.modelscope.cn/models/lanche816/IRIXEN2-Embedding-4B.md"
repository: lanche816/IRIXEN2-Embedding-4B
chinese_name: IRIXEN-Embedding2-4B
last_updated: 2026-10-11
pipeline_tag: sentence-similarity
tasks:
  - sentence-similarity
downloads: 0
stars: 0
---

# IRIXEN2-Embedding-4B

> IRIXEN2-Embedding-4B - lanche816 在 ModelScope 开源的模型。IRIXEN2-Embedding-4B 是一个基于乘积流形几何的多任务文本嵌入模型，通过冻结基座 + LoRA 适配 + 多流形头的方式，在 6 项基准任务上实现 5 项超越 Qwen3-Embedding-4B 基座，最大领先 15.70 个点。

- **Repository**: lanche816/IRIXEN2-Embedding-4B
- **Tasks**: sentence-similarity
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-10-11

Source: https://www.modelscope.cn/models/lanche816/IRIXEN2-Embedding-4B

---

# Model Card: IRIXEN2-Embedding-4B

## 概述

参数高效多任务文本嵌入模型。基于冻结 Qwen3-Embedding-4B，通过 LoRA 适配 + 乘积流形几何头实现单模型多任务。

- 发布: 2026-10-11
- 架构: Multi-Head Pooling + Dual-Curvature Product Manifold
- 基座: Qwen/Qwen3-Embedding-4B (frozen)
- 可训练参数: 68.8M (1.68%)
- 显存: ~10 GB (bf16)
- 推荐 attn: sdpa

## 架构

```
输入 → Qwen3-Embedding-4B (frozen) + LoRA r=64
     → MultiHeadPooling (attention + last + mean)
     → Spherical  S^1024   (检索/重排)
     → Lorentz-1  H^512 c=0.5 ┐
     → Lorentz-2  H^512 c=2.0 ┴→ concat 1026 → Classifier(119)
     → Euclidean  R^1024   (相似度)
```

## 性能

| 任务 | 本模型 | Qwen3-Emb-4B | Δ |
|---|---|---|---|
| MIRACL train | 95.10% | 91.45% | +3.65 |
| MIRACL val (4未训语言) | 93.90% | 88.55% | +5.35 |
| T2 中文重排 | 82.87% | 71.80% | +11.07 |
| iFLYTEK 分类 (119类) | **64.05%** | 48.35% | **+15.70** |
| CLS 零样本聚类 | 76.94% | 75.08% | +1.86 |
| STS (未训) | 86.61% | 93.70% | -7.09 |

5 胜 1 负。STS 未训，走 base + instruction。

## 用法

```python
from inference import IRIXEN2
m = IRIXEN2(base_path='...', model_dir='./IRIXEN2-Embedding-4B')
eq = m.encode(['查询'], task='retrieval')
ed = m.encode(['文档'], task='retrieval')
sim = eq @ ed.T
labels = m.classify(['文本'])
```

## 推荐路由

| 任务 | 用哪个 |
|---|---|
| 检索/重排 | IRIXEN2-Embedding-4B (sphere) |
| 分类/聚类 | IRIXEN2-Embedding-4B (lorentz) |
| 相似度 | Qwen3 base + STS 指令 |

## 局限

- STS 未训
- iFLYTEK 分类器仅中文
- 训练 1000+800 步，未饱和

## 训练

- Backbone: 1000 步, lr 1.5e-4 → 5e-5
- Classifier 重训: 800 步, lr 1e-3, label_smoothing 0.1
- 硬件: AMD MI300X 192GB
- 数据: MIRACL (10 lang) + T2 + iFLYTEK (119 class)

## 引用

IRIXEN2-Embedding-4B (2026). IRIXEN Team.