📜 docs: add notes for the new function “updateDetpost” in modelzoo_v3.31.0
免责声明:
请在上方选取您安装icraft版本所对应的模型库分支,配套使用。每个分支都会新增更多模型,以下为稳定版本对应分支,推荐您使用最新的icraft版本和模型库分支:
本仓库主要放一些已经适配、跑通的模型。
每个模型都有全流程使用说明的readme文档,里面记录了模型适配的状态。由于模型众多,其源码和原始权重需要您根据说明下载特定版本。
2_compile/config目录下新增子文件夹, 仅支持 编译 BY 文件夹下toml文件,toml文件中在[parse]阶段新增配置:
2_compile/config
[parse]
target = "buyi"
3_deploy/modelzoo/MODEL/cfg目录下的yaml文件中,更新以下配置:
3_deploy/modelzoo/MODEL/cfg
imodel: mmuMode: true # 是否使用mmu模式 ocm_option: 4 # 对应编译2_compile/config/BY目录下toml文件中ocmopt配置 run_backend: buyi # 指定运行后端 dump_output: false # 是否dump网络的输出特征图 dump_format: SFB # 指定dump特征图使用的格式 log_path: ../io/output/ftmp # 指定dump特征图的文件保存路径
mmuMode
mmu
run_backend
sim
host
buyi
dump_output
dump_format
SFB
SFT
SQB
SQT
HQB
HQT
log_path
ocm_option
新增updateDetpost功能:使用DetPost硬算子的模型C++工程中新增此功能,运行时根据3_deploy/modelzoo/MODEL/cfg目录下yaml文件中param.conf字段配置的数值对应更新DetPost算子阈值,不再需要修改2_compile/config/customop目录下toml文件中的thr参数配置后重新编译模型。
updateDetpost
param.conf
2_compile/config/customop
thr
在3_deploy/modelzoo/model/cfg/model.yaml中添加了四个模式,工程中均默认为以下配置:
mmu: true # 是否使用mmu模式 speedmode: false # 是否打开运行时的合并算子 compressFtmp: false # 是否打开运行时的内存压缩 cudamode: false # 仿真是否使用cuda模式
在icraft3.6中,编译toml生成网络的json和raw时,默认已经打开了算子合并和内存压缩,运行这样的网络需要使用mmu模式,因此mmu默认打开
而运行时的算子合并与内存压缩,与编译时的算子合并与内存压缩,本质上是相同的功能,不能重复打开,因此默认关闭
添加cudamode配置,打开cudamode运行仿真会使用显卡进行计算,大幅提升推理速度,节约仿真精度测试时间
对3.0.1版本模型库中的一处bug修复和一处精度优化:
©Copyright 2023 CCF 开源发展委员会 Powered by Trustie& IntelliDE 京ICP备13000930号
modelzoo
免责声明:
请在上方选取您安装icraft版本所对应的模型库分支,配套使用。每个分支都会新增更多模型,以下为稳定版本对应分支,推荐您使用最新的icraft版本和模型库分支:
本仓库主要放一些已经适配、跑通的模型。
每个模型都有全流程使用说明的readme文档,里面记录了模型适配的状态。由于模型众多,其源码和原始权重需要您根据说明下载特定版本。
版本更新说明:
modelzoo_v3.31.0
2_compile/config目录下新增子文件夹, 仅支持 编译 BY 文件夹下toml文件,toml文件中在[parse]阶段新增配置:3_deploy/modelzoo/MODEL/cfg目录下的yaml文件中,更新以下配置:mmuMode:取代原配置名mmu,参数要求无变化run_backend:取代原配置名sim,表示运行后端, 仅支持 配置为host或buyi,前者表示仿真运行,后者表示上板运行dump_output:新增配置,指定是否dump输出网络的输出特征图dump_format:新增配置,指定dump特征图使用的格式,支持SFB/SFT/SQB/SQT/HQB/HQT等log_path:新增配置,指定dump特征图的文件保存路径ocm_option:新增配置,当前run_backend配置下不生效新增
updateDetpost功能:使用DetPost硬算子的模型C++工程中新增此功能,运行时根据3_deploy/modelzoo/MODEL/cfg目录下yaml文件中param.conf字段配置的数值对应更新DetPost算子阈值,不再需要修改2_compile/config/customop目录下toml文件中的thr参数配置后重新编译模型。modelzoo_3.6.2
在3_deploy/modelzoo/model/cfg/model.yaml中添加了四个模式,工程中均默认为以下配置:
在icraft3.6中,编译toml生成网络的json和raw时,默认已经打开了算子合并和内存压缩,运行这样的网络需要使用mmu模式,因此mmu默认打开
而运行时的算子合并与内存压缩,与编译时的算子合并与内存压缩,本质上是相同的功能,不能重复打开,因此默认关闭
添加cudamode配置,打开cudamode运行仿真会使用显卡进行计算,大幅提升推理速度,节约仿真精度测试时间
modelzoo_3.1.0
对3.0.1版本模型库中的一处bug修复和一处精度优化: