---
title: virdel-MedInd
canonical_url: "https://www.modelscope.cn/models/BAAI_Industry_Competition_Health_dev/virdel-MedInd"
md_url: "https://www.modelscope.cn/models/BAAI_Industry_Competition_Health_dev/virdel-MedInd.md"
repository: BAAI_Industry_Competition_Health_dev/virdel-MedInd
chinese_name: "智源行业数据应用大模型挑战赛_virdel-MedInd"
last_updated: 2024-12-31
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - pytorch
frameworks:
  - Pytorch
downloads: 52
stars: 0
---

# virdel-MedInd

> virdel-MedInd - BAAI_Industry_Competition_Health_dev 在 ModelScope 开源的模型。智源行业数据应用大模型挑战赛 ——医学数据赛道（开发者组） virdel战队解决方案

- **Repository**: BAAI_Industry_Competition_Health_dev/virdel-MedInd
- **Tasks**: text-generation
- **Downloads**: 52
- **Stars**: 0
- **Last updated**: 2024-12-31

Source: https://www.modelscope.cn/models/BAAI_Industry_Competition_Health_dev/virdel-MedInd

---

# 智源行业数据应用大模型挑战赛 ——医学数据赛道（开发者组） virdel战队解决方案

## 报告

### 必选内容


#### 1. 技术说明
本方案没有使用比赛方提供的数据集进行预训练和微调，而是直接基于“通义千问2.5-7B-Instruct”模型产生对应的结果。由于评估数据集中包含中文和英文的问题，同时问题的种类包含主观和客观选择题两种，所以本方案基于以上特点，针对不同的语言和问题类型设计了不同的推理提示词。

| | 中文 | 英文 |
| --- | --- | --- |
| 主观题 | “你是一位经验丰富的全科医生，擅长处理各种常见病和部分专科问题。你的任务是回答患者的健康相关问题，提供专业、准确、有温度的建议，并在必要时指导患者寻求进一步的专业帮助。问题： {inp} 回答：” | “You are an experienced general practitioner, skilled in handling various common illnesses and some specialist issues. Your task is to answer patients' health-related questions, providing professional, accurate, and warm advice, and guiding patients to seek further specialized help when necessary. Question: {inp} Answer:”|
| 客观题 | “您是一位经验丰富的医疗顾问，您的任务是对用户提出的选择题进行快速准确的回答。问题： {inp}回答：” | “You are an experienced medical consultant tasked with quickly and accurately answering multiple-choice questions related to health concerns.Question: {inp} Answer: ”|

在推理参数方面，本方案使用了以下的参数。

| 参数名称           | 值 | 解释                                                                 |
| ------------------ | ------ | -------------------------------------------------------------------- |
| `max_new_tokens`   | 800     | 限制生成文本的最大长度，即新生成的token数量。当达到这个限制时停止生成。 |
| `top_p`            | 0.95   | 设置累积概率阈值，模型仅从累积概率不超过此阈值的词汇中选择下一个词。     |
| `temperature`      | 0.9    | 控制生成结果的随机性；较低值使模型更保守，较高值增加随机性和创造性。     |
| `do_sample`        | True   | 如果为True，则在生成过程中使用采样方法选择下一个词汇，而非最高概率词汇。 |
| `num_beams`        | 4      | 指定束搜索（beam search）的宽度，用于寻找最佳序列，提高生成质量。       |
| `repetition_penalty` | 1.2   | 惩罚已生成过的词汇，减少重复短语的出现，帮助避免冗余内容。             |

参数选择说明：

对于`max_new_tokens`参数，我们将其设置为800，因为组委会选取Rewarding model评估选手提交的推理结果和标准答案之间的相对胜率，所以选取一个较大的`max_new_tokens`值可以让模型的回答更具体，更有可能取得更好的分数。

对于`temperature`参数，经过反复实验观察，我们将其设置为0.9。设置较低的`temperature`值可以让模型更加保守，避免生成过于简单或过于连贯的句子；设置较高的`temperature`值可以让模型更加随机，生成更具创造性的句子。

这里我们使用了`num_beams`参数，它可以指定束搜索（beam search）的宽度，用于寻找最佳序列，提高生成质量。我们将其设置为4，因为在生成过程中，模型会根据概率分布选择下一个词汇，而束搜索可以帮助模型找到多个可能的序列，从而提高生成质量。

最后，由于我们观察到模型对于很多问题容易产生冗余或重复的内容，所以我们使用了`repetition_penalty`参数来减少重复短语的出现，帮助避免冗余内容。

其余参数我们采用默认值，不作调整。

从最后比赛结果来看，本方案没有采用任何预训练和微调策略，基于设计的提示词就能得到一个足够好的结果，足以说明现有的大语言模型在垂直领域的效果还是不错的。但是从模型的效果来看，仍然存在一些局限性。没有经过微调的模型容易产生的很多与问题无关的内容和语句，大大降低了回答的质量。下面给出一个例子。

| Query | Query Type | Answer |
|-------|------------|--------|
| 感冒喉咙变声咳痰流鼻涕头痛药一直打喷嚏吃什么药 | subjective | 根据您描述的症状，您可能患上了普通感冒。感冒是由多种病毒引起的上呼吸道感染，常见症状包括喉咙痛、咳嗽、流鼻涕、头痛和打喷嚏等。针对您的情况，以下是一些建议，但请注意，这些建议不能替代专业医生的诊断和治疗：<br><br>1. **多休息**：保证充足的休息有助于身体恢复。<br>2. **多喝水**：保持充足的水分可以帮助缓解喉咙痛和稀释痰液。<br>3. **药物治疗**：<br>   - **解热镇痛药**：如对乙酰氨基酚（扑热息痛）或布洛芬，可以缓解头痛和发热。<br>   - **抗组胺药**：如氯雷他定或西替利嗪，可以缓解打喷嚏、流鼻涕等症状。<br>   - **止咳药**：如果咳嗽影响睡眠或日常生活，可以考虑使用止咳药，如右美沙芬。<br>   - **祛痰药**：如氨溴索，可以帮助稀释痰液，使其更容易咳出。<br>4. **保持室内空气湿润**：使用加湿器可以帮助缓解喉咙痛和咳嗽。<br>5. **盐水漱口**：用温盐水漱口可以缓解喉咙痛。<br>6. **避免刺激性食物**：避免辛辣、过热或过冷的食物，以免刺激喉咙。<br><br>请根据自己的症状选择合适的药物，并按照说明书或医生的建议使用。如果症状持续不缓解或加重，建议及时就医，以便获得更专业的诊断和治疗。同时，注意个人卫生，勤洗手，避免与他人密切接触，以防传染给他人。希望您早日康复！<br><br>再次强调，以上建议仅供参考，具体用药请遵医嘱。如果症状严重或持续不见好转，请尽快就医。祝您早日康复！<br><br>希望以上信息对您有所帮助。如果您有任何其他问题或需要进一步的帮助，请随时告诉我。祝您健康！<br><br>祝好，<br>[您的名字]医生<br>全科医生<br>[联系方式]（可选）[医院名称]（可选）[职位]（可选）[专业领域]（可选）[个人简介]（可选）[联系方式]（可选）[医院网址]（可选）[个人邮箱]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选）[隐私政策]（可选）[版权信息]（可选）[联系方式]（可选）[地址]（可选）[邮编]（可选）[电话]（可选）[传真]（可选）[邮箱]（可选）[网址]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选）[隐私政策]（可选）[版权信息]（可选）[联系方式]（可选）[地址]（可选）[邮编]（可选）[电话]（可选）[传真]（可选）[邮箱]（可选）[网址]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选）[隐私政策]（可选）[版权信息]（可选）[联系方式]（可选）[地址]（可选）[邮编]（可选）[电话]（可选）[传真]（可选）[邮箱]（可选）[网址]（可选）[社交媒体链接]（可选）[其他相关信息]（可选）[版权声明]（可选）[免责声明]（可选） |

该回答前面部分回答很好，但是在回答的最后出现了许多冗余信息，影响了整体回答的质量。

除此之外，我们也尝试了基于“通义千问2.5-3B-Instruct”模型进行lora微调，但效果不如直接基于“通义千问2.5-7B-Instruct”模型，我们观察到微调的结果回答比较简短，但是回答中的重复语句更少，可能主办方的reward存在缺陷，更容易给更长的答案高分。

#### 2. 数据使用反馈

本次比赛给出了两个数据集的质量都比较高，但也存在一些问题。比如数据集中还是存在一些无关的医疗无关的问题和答案，但这些问题的比例较小，对模型训练的影响不大。

### 选做内容
由于本人在国内医疗科技企业的工作经验，医疗垂直领域大模型在未来元医院、居家养老等方面具有很强的应用前景， 和虚拟人、语音生成技术结合可以生成一个元化的医生，帮助缓解现在医院的看病压力。未来发展方向，多模态医疗大模型有很强的发展潜力，让模型能够对医疗影像进行处理，可以更好地理解患者的病情，提高医疗服务质量。