---
title: medical_aesthetics_llm
canonical_url: "https://www.modelscope.cn/models/guohuanjun/medical_aesthetics_llm"
md_url: "https://www.modelscope.cn/models/guohuanjun/medical_aesthetics_llm.md"
repository: guohuanjun/medical_aesthetics_llm
chinese_name: "女娲大模型"
last_updated: 2025-07-29
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen2
architectures:
  - Qwen2ForCausalLM
parameters: 3.1B
tensor_type:
  - BF16
library_name:
  - safetensors
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy 0.9.1"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 36
stars: 3
---

# medical_aesthetics_llm

> medical_aesthetics_llm - guohuanjun 在 ModelScope 开源的模型。“女娲大模型”：医美行业数字化转型的先锋力量

guohuanjun/medical_aesthetics_llm 是 ModelScope 魔搭社区上的 3.1B 参数text-generation模型，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。

- **Repository**: guohuanjun/medical_aesthetics_llm
- **Tasks**: text-generation
- **Parameters**: 3.1B
- **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 36
- **Stars**: 3
- **Last updated**: 2025-07-29

Source: https://www.modelscope.cn/models/guohuanjun/medical_aesthetics_llm

---

# 万美京女娲大模型 (WanMeiJing-NvWa)

<div align="center">
  
  <p><em>医美行业首个专业大语言模型解决方案</em></p>
</div>

## 目录
- [模型概览](#-模型概览)
- [技术亮点](#-技术亮点)
- [快速开始](#-快速开始)
- [训练细节](#-训练细节) 
- [评估结果](#-评估结果)
- [部署方案](#-部署方案)
- [知识库系统](#-知识库系统)
- [商业应用](#-商业应用)
- [许可协议](#-许可协议)
- [联系我们](#-联系我们)

## 📌 模型概览

**万美京女娲大模型**是基于Qwen2.5-14B-预训练架构的医美领域专业模型，通过三阶段飞轮迭代训练流程打造。

- **模型类型**: Decoder-only Transformer
- **参数量**: 14B (Base)
- **训练框架**: LLaMA Factory + OpenRLHF
- **语言**: 中文/英文(医学专业术语)

## ✨ 技术亮点

### 增量预训练
- 使用1.7GB高质量领域语料(医美+中医)和4.2GB通用领域语料进行增量预训练
- 创新性采用:
  - 学习率退火策略(2e-5 → 3e-6)
  - 通用领域数据重放(每0.02个epoch重放20%随机采样通用数据)
- 效果:
  - 有效解决了灾难遗忘问题
  - 医美领域loss 7.82 → 3.27
  - 通用领域loss 仅 ↑ 0.13




### 奖励模型训练
- 20,000条机器生成与7,000条人工标注的pairwise数据集
  - chosen 由 Doubao-1.5-pro  生成
  - rejected 由 Qwen2.5-3B-Instruct 生成
- 效果:
  - 将 PairwWiseLoss 从 0.8 显著降低至 0.02


### 监督微调
- 精选 2,100+ 条医美领域 prompt，通过奖励模型对 4,200+ 条 response 进行 rejection sampling，精选 top 1 样本。同时添加 3000+条通用指令遵循数据集以确保指令遵循能力




### 偏好对齐
- 使用 DeepSpeed 分布式训练对 SFT 模型进行 DPO（β=0.1，NLL loss系数=0.2）偏好对齐
- 效果：
  - DPOLoss 从 6.88 降至 1.38
  - accuracy由 0.28 提升至 0.99


### 飞轮迭代
- 借鉴llama 3.1 技术报告中的飞轮迭代经验，实施三轮模型自我迭代，动态更新监督微调、指令遵循与偏好数据集，持续优化模型性能。

## 🚀 快速开始

### 环境要求
```bash
# 基础环境
CUDA 11.8+ | Python 3.9+ | NVIDIA GPU with 24GB+ VRAM

# 安装依赖
pip install vllm==0.3.2 transformers==4.40.0 accelerate
```

### 基础推理
```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "GuangzhouMeiyang/WanMeiJing-NuWa",
    device_map="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

inputs = tokenizer("激光祛斑的术后护理要点：", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0]))
```

### 量化部署
```python
from vllm import LLM, SamplingParams

llm = LLM(
    model="GuangzhouMeiyang/WanMeiJing-NuWa",
    quantization="awq",
    max_model_len=4096
)

sampling_params = SamplingParams(temperature=0.7, top_k=50)
print(llm.generate("玻尿酸和胶原蛋白的区别", sampling_params)[0].outputs[0].text)
```

## 🏗️ 训练细节

### 数据构成
| 数据类型 | 数量 | 来源 |
|----------|------|------|
| 增量预训练 | 1.7GB医美+4.2GB通用 | BAAI Industry Corpus 2 |
| 监督微调 | 2,100+ prompts | 医美专家撰写 |
| DPO对齐 | 27,000+ pairs | 人工+AI生成 |

### 训练参数
```yaml
# 关键超参数
training:
  lr: 2e-5 → 3e-6 (cosine decay)
  batch_size: 32
  lora_rank: 64
  dpo_beta: 0.1
  
hardware:
  nodes: 8 × RTX 4090 24G
  hours: 393 GPU-hours
```

## 📊 评估结果

### 核心指标
| 指标 | 基线(Qwen2.5) | 本模型 | 提升 |
|------|--------------|--------|------|
| BLEU-4 | 5.2 | 38.3 | +636% |
| ROUGE-2 | 3.82 | 41.9 | +997% |
| 幻觉率 | 23.7% | 2.1% | -91% |


## 🖥️ 部署方案

### 性能对比
| 模式 | 显存占用 | 速度(tokens/s) | 显存节省 |
|------|----------|---------------|----------|
| FP16 | 28.7GB | 42 | - |
| AWQ-4bit | 10.9GB | 109 | 62% |

### 推荐配置
- 轻量级部署: RTX 4090 (24GB) + vLLM
- 高性能部署: A10G (24GB) × 2 + Triton
- 云端部署: T4 GPU (16GB) + AWQ

## 🧠 知识库系统

### 架构设计
```mermaid
graph TB
    A[原始文档] --> B(语义切分)
    B --> C{连贯性检测}
    C -->|通过| D[向量化存储]
    C -->|不通过| E[动态合并]
    E --> B
    D --> F[混合检索]
```

### 数据规模
| 数据类型 | 数量 |
|----------|------|
| 专业书籍 | 12本 |
| 行业法规 | 26部 |
| 临床报告 | 150+份 |
| 产品数据 | 10万+条 |

## 💼 商业应用

### 万美京医疗专家智能体
核心功能:
- 语音交互咨询
- 治疗方案生成
- 术后并发症预警
- 竞品对比分析

### 落地效果:
1. 美博会期间意向订单 ↑97%
2. 客户咨询效率 ↑185% 


## 📜 许可协议
广州美央创新科技有限公司保留所有权利。All Rights Reserved.
本模型采用定制商业授权：
- 学术研究：免费申请
- 商业使用：需签订授权协议
- 禁止用途：医疗诊断等高风险场景

[查看完整协议](#)

## 📞 联系我们
**广州美央创新科技有限公司-研发部-算法组-郭桓君(阿诚)**  
**广州美央创新科技有限公司-研发部-算法组-叶汇贤(Leaf)**  
📍 广州市黄埔区保盈大道6号保盈大厦17楼  
📧 mc45075@um.edu.mo  
☎ +86 13242698751 

<div align="center"> <sub>© 2025 Guangzhou Meiyang Innovation Technology. All Rights Reserved.</sub> </div>
