--- title: WSAI-Heart canonical_url: "https://www.modelscope.cn/models/wangshenai/WSAI-Heart" md_url: "https://www.modelscope.cn/models/wangshenai/WSAI-Heart.md" repository: wangshenai/WSAI-Heart last_updated: 2026-04-12 model_type: - qwen3_5 architectures: - Qwen3_5ForConditionalGeneration parameters: 853.0M tensor_type: - BF16 library_name: - transformer - safetensors - pytorch frameworks: - Pytorch downloads: 12 stars: 1 --- # WSAI-Heart > WSAI-Heart - wangshenai 在 ModelScope 开源的模型。WSAI-Heart 是基于 Qwen3.5-0.8B 全精度 LoRA 微调的心理支持对话模型，专注于情感陪伴与心理疏导场景。模型仅约 0.8B 参数，占用空间小、资源消耗低，可在 CPU 环境下直接运行，非常适合端侧部署与离线使用。保留了基座模型的多模态视觉理解能力，同时具备更强的共情与倾听能力。由一名中学生独立完成训练。 - **Repository**: wangshenai/WSAI-Heart - **Parameters**: 853.0M - **Downloads**: 12 - **Stars**: 1 - **Last updated**: 2026-04-12 Source: https://www.modelscope.cn/models/wangshenai/WSAI-Heart --- # WSAI-Heart

基于心理类数据集与 Qwen3.5-0.8B 全精度 LoRA 微调的心理支持对话模型

--- ## 关于这个项目 **WSAI-Heart** 是一个利用课余时间由一名中学生独立完成的模型微调项目。作为一个对 AI 充满好奇心的中学生，我尝试在有限的硬件条件下完成了一次 LoRA 微调。 ## 模型信息 | 项目 | 详情 | | --------- | ---------------------------------------- | | 基座模型 | Qwen3.5-0.8B | | 模型架构 | Qwen3.5 (Hybrid Linear + Full Attention) | | 参数量 | ~0.8B | | 精度 | bfloat16 | | 微调方式 | 全精度 LoRA | | LoRA 训练层数 | 2 层 | | 训练轮数 | 855 epochs | | 训练硬件 | 纯 CPU | | 训练时长 | 约 4-5 天 | | 训练数据集 | 心理类对话数据集 | ## 主要用途 - **心理支持对话**：提供情感陪伴、情绪疏导和心理安慰 - **通用对话**：日常聊天与问答（心理数据增强了模型的共情能力） - **多模态能力**：模型保留了基座模型的视觉理解能力（微调时冻结了VLM能力） ## 训练细节 本次微调使用 LlamaFactory 框架完成，采用全精度 LoRA 对 Qwen3.5-0.8B 进行微调。由于条件限制，整个训练过程在 CPU 上完成，共训练 855 轮，耗时约 4-5 天。 ## 我的发现与反思 在这次微调实验中，我得到了一些有价值的观察： ### 1. 模型参数量与能力的关系 模型参数越少，其综合能力一般越弱。0.8B 参数量的模型在复杂推理、长文本理解和知识广度上存在明显不足，这是模型规模的固有瓶颈。 ### 2. LoRA 训练层数不足的影响 由于资源限制，LoRA 仅训练了 2 层，导致以下问题： - **最终 Loss 仍然偏高**：模型未能充分拟合训练数据 - **数据拟合度下降**：回复质量和专业性受到限制 - **泛化能力受限**：过少的可训练参数量难以捕捉心理类对话的细微模式 ### 3. CPU 训练的现实 纯 CPU 训练虽然可行，但训练效率极低。855 轮训练耗时 4-5 天。这也间接限制了可尝试的训练参数组合和策略。 ## 局限性 - **模型规模小**：0.8B 参数量的模型能力有限，在复杂场景下可能产生不准确或无意义的回复 - **训练不充分**：LoRA 仅覆盖 2 层，Loss 偏高，模型对心理类数据的拟合度不足 - **非专业替代**：本模型 **不能替代专业心理咨询或医疗建议**，仅供参考和娱乐 - **中文为主**：训练数据以中文为主，其他语言的能力未经验证 - **可能产生不当内容**：小型模型存在幻觉问题，可能给出不恰当的建议 ## 亮点 - **极致轻量**：仅 ~0.8B 参数，模型文件约 1.6GB，是极少数可以在个人设备上流畅运行的心理对话模型 - **零门槛端侧部署**：无需 GPU，纯 CPU 即可推理运行，适合树莓派、老旧笔记本等资源受限设备 - **一键安装**：支持 Ollama 一行命令部署，开箱即用，无需复杂的环境配置 - **隐私安全**：完全本地运行，对话数据不会上传到任何服务器，适合涉及个人隐私的心理倾诉场景 - **低资源占用**：内存占用小，推理速度快，不影响设备正常使用 - **多模态能力**：保留了基座模型 Qwen3.5 的视觉理解能力，支持图像输入分析 - **共情能力增强**：基于心理类对话数据集微调，相比原始基座模型在情感理解和倾听方面有明显提升 - **完全免费开源**：CC BY-NC-SA 4.0 许可证，免费使用、修改和分享 ## 快速开始 ### Ollama 一键部署（推荐） ```bash ollama pull wangshen/wsai-heart ollama run wangshen/wsai-heart ``` ### 使用 Transformers 运行 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "./" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto") messages = [ {"role": "system", "content": "你是一个温暖、有共情能力的心理支持助手。"}, {"role": "user", "content": "我最近心情不太好，感觉压力很大。"} ] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=512) response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(response) ``` ## 致谢 - [Qwen Team](https://github.com/QwenLM) — 提供优秀的 Qwen3.5 基座模型 - [LlamaFactory](https://github.com/hiyouga/LLaMA-Factory) — 简洁高效的微调框架 ## 许可证 本项目采用 [CC BY-NC-SA 4.0](https://creativecommons.org/licenses/by-nc-sa/4.0/) 许可证。 - **署名**：使用时请注明原作者 - **非商用**：本模型及其衍生作品不得用于商业用途 - **相同方式共享**：基于本作品的衍生作品须采用相同的许可证 > ⚠️ 请注意：作为 Qwen3.5 的衍生模型，使用时还需遵守 Qwen 原始模型的相关许可协议。 ---