保存模型时的修改点：
- backbone
- 去除backbone embeding前处理计算部分，仅保留resnet50模型结果
- 将`norm_layer`由***FrozenBatchNorm2d***改为***nn.BatchNorm2d***；
- 将*backbone*(*Joiner*类)及其下*BackboneBase*类的输入和输出格式统一改为`Tensor`;
- 去除*BackboneBase*中的`mask`相关内容，移至*网络外*作为前处理计算
- 去除以*backbone*输出为输入的*adjust*函数中的`mask`, `pos_embed`, `inr_embed`相关内容，移至*网络外*作为前处理计算，并将其输入和输出格式统一改为`Tensor`。
- transformer
- 去除*TransformerEncoder*和*TransformerEncoderLayer*输入参数中的`src_key_padding_mask`（实际未使用）；
- 去除*TransformerDecoder*和*TransformerDecoderLayer*输入参数中的`refer_msk_list`（实际未使用）；
- 将*TransformerDecoderLayer*中对`refer_mem_list`, `refer_emb_list`, `refer_pos_list`的`torch.cat`操作移至*网络外*作为前处理计算；
- 将*AiAModule.CorrAttention*中对`pos_emb`的`torch.repeat_interleave`操作移至*网络外*作为前处理计算；
- 精简*AiAModule.forward*中一些未使用的输入参数和`if`/`else`分支语句。
- box_head
- 在***init***函数中新增一个`shape`为`(feat_size*feat_size, 1)`、值均为*1.0*的`float`类型`Tensor`；
- 将*soft_argmax*函数中的`torch.sum`函数改为与上述新增的常量`Tensor`进行`torch.matmul`操作；
- 将*forward*函数中的`torch.stack`函数改为`torch.cat`和`reshape`;
- 将以*box_head*输出为输入的*box_xyxy_to_xywh*, *box_xyxy_to_cxcywh*函数计算移至*网络外*作为后处理计算。
- iou_head
- 去除Prpool部分
2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致
# 2.使用Icraft编译器编译模型
目的： 使用[Icraft编译器](https://gitee.com/mxh-spiger/icraft-introduction.git)将上一步保存好的**框架模型**转化为**硬件可部署模型**
- **1）相关命名说明：**
1）**fmodel**：frame model >用于Icraft编译器的框架模型
2）**imodel**：icraft model >用Icraft编译器编译出的模型
3）**qtset**：Quantitative Calibration Set >Icraft编译器所需的量化校准集
- **2）确认已安装正确的icraft版本**
检查方法：打开cmd运行：`icraft --version`
若已正常安装则会显示当前icraft版本，例如：
```
Icraft 版本:
* 3.31.0
CLI 版本:
3.31.0.0-8639261(2507031119)
```
- 3）**执行编译：**
**在 `/2_compile`目录下执行编译：**
```shell
icraft compile config/BY/AiATrack_8.toml
```
如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）
其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到: 3_deploy/modelzoo/AiATrack/imodel
# 3. 仿真
通过配置3_deploy/modelzoo/AiATrack/cfg/中yaml文件的`run_backend`字段为`host`实现模型仿真。
```yaml
imodel:
...
run_backend: host
...
```
# 4. 部署模型
## 部署环境检查
* 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：
```
/home/fmsh/ModelZoo/
```
* 检查板上环境是否正确：
1. 查看环境变量，指令：
`icraft --version`
看打印信息是否如下：
```shell
Icraft 版本:
* v3.31.0
CLI 版本:
3.31.0.0-8639261(2507031119)
```
2. 若是，在任意目录下输入`icraft-serve`即可打开server
3. 检查icraft和customop安装包版本是否为`arm64`
```shell
# 检查icraft安装包版本
dpkg -l | grep icraft
# 检查customop安装包版本
dpkg -l | grep customop
```
如果依次显示如下信息，则安装版本正确：
```shell
ii icraft 3.31.0 arm64 This is Icraft for arm64
ii customop 3.31.0 arm64 This is Icraft CustomOp for arm64
```
4. 如果环境配置有误，请参考[Part 1_1 2.3.1 ARM-Linux（片上系统环境） 编译环境准备](https://gitee.com/mxh-spiger/tutorial-runtime/blob/tt3.30.0/docs/Part%201_1%20quick-start.md#1%E7%BC%96%E8%AF%91%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87-2)进行部署环境配置。
5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考[1/4) 其他下载资源](https://gitee.com/mxh-spiger/icraft-introduction/tree/icraft_v3.31.0/#4%E5%85%B6%E4%BB%96%E4%B8%8B%E8%BD%BD%E8%B5%84%E6%BA%90)。
## python runtime:
目的：在AI硬件上执行模型前向推理
1. **python运行虚拟环境要求与准备**
- python版本：3.8（否则无法使用icraft的python API）
- 确保已安装icraft的python安装包
- socket模式使用：`pip install icraft-3.x.x-cp38-none-win_amd64.whl`
- axi模式使用：`pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl`
- 在选定的python运行虚拟环境中安装python运行时所需要的依赖包
```
cd 3_deploy/modelzoo/AiATrack
pip install -r requirements.txt
```
- 安装一些便于开发pyrt的依赖包
```
cd 3_deploy/Deps/modelzoo
pip install -e .
```
由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。
2. **执行程序**
```
# Windows系统下：
python ./AiATrack_psin.py ../cfg/AiATrack.yaml
# Linux系统下：
python icraft_launcher.py ./AiATrack_psin.py ../cfg/AiATrack.yaml
```
在io/output中查看结果
# 5. 精度测试
由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。
## 1. 环境准备
若已准备好环境请跳过此部分
**1. 网口调试环境准备**（如果已经准备好网口调试环境则看下一条）
1. 安装ssh
2. 查看或配置板子ip
- 使用串口连接板子
- `vim /etc/rc.local`
- 查看或设置ip
```
#!/bin/bash
ifconfig eth0 192.168.125.171 netmask 255.255.255.0
systemctl start sshd
```
3. 修改本地网络适配器配置
参考配置
- ipv4地址：`192.168.125.2`
- 子网掩码：`255.255.255.0`
- 默认网关：`192.168.125.1`
- 连接速度与双工：100mbps全双工
4. 使用网口或串口进入板上系统打开server
上位机：
```cmd
ssh root@192.168.125.171
```
板上：
确保位于root账户下，执行：
```shell
icraft-serve
```
- 请确保在root账户下执行上述命令
- 设备成功打开示意图
```
root@U:~# icraft-serve
[02/22/24 02:02:00.388] [I] Using port : 9981
[02/22/24 02:02:00.388] [I] synchronous mode
[02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection
```
如果能正确运行则可以继续下一步。
## 2. 测试说明
1.**数据集准备**
- 测试数据集下载：[LaSOT](http://vision.cs.stonybrook.edu/~lasot/download.html)
- 模型测试使用LaSOT数据集中随机抽取的部分数据集，测试序列存放于 `3_deploy\modelzoo\AiATrack\io\input`及 `3_deploy\modelzoo\AiATrack\io\test.txt`中
- 如需测试其他数据集，需自行将图片存放于 `3_deploy\modelzoo\AiATrack\io\input`,并准备对应的input.txt
2.**修改 运行时的yaml配置文件**：
运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在 `3_deploy/modelzoo/AiATrack/cfg/`
测试时使用：`AiATrack_psin.yaml`
需要修改：
- imodel中参数：修改精度测试所用模型文件路径`dir`，根据所使用板子ip设置`ip`。
- dataset中参数：更改自己的精度测试数据集路径。
- param中参数：如果模型没有重训，则无需更改，若 重训则需要修改对应部分参数。
3.**编译、执行运行时程序**
```
cd 3_deploy/modelzoo/AiATrack/pyrt
# Windows系统下：
python ./AiATrack_psin.py ../cfg/AiATrack_test.yaml
# Linux系统下：
python icraft_launcher.py ./AiATrack_psin.py ../cfg/AiATrack_test.yaml
```
4.**使用metrics测试脚本，将保存的测试结果计算出精度指标**
metrics测试脚本使用与配置说明：
- 精度测试脚本存放于：[https://gitee.com/mxh-spiger/benchmark](https://gitee.com/mxh-spiger/benchmark)
- 本模型使用 `./sot_track/analysis_results.py`
# 6.模型性能记录
时间测试结果如下
| AiATrack | input shape | hard time |
| --------------- | ---------------- | --------------- |
| float | [1, 320, 320, 3] | - |
| int8 | [1, 320, 320, 3] | 91.605ms |
| int16 | [1, 320, 320, 3] | 183.452ms |
精度测试结果如下：
| AiATrack | qt_strategy | AUC | Precision | Norm Precision |
| -------- | ----------- | ----- | --------- | -------------- |
| float | - | 65.74 | 71.69 | 76.23 |
| 8bit | null-pc | 58.72 | 61.62 | 69.96 |
| 16bit | null-pc | 59.08 | 63.69 | 69.64 |