Welcome To  NEM   

Journals(Abstract)

SLDNAS:基于自知识蒸馏的混合注意力神经结构搜索

张艺晨1 康世钊2 曹知鱼1 呼子宇1 *
(1. 燕山大学电气工程学院,河北 秦皇岛 066004;2. 燕山大学西里西亚智能科学与工程学院,河北 秦皇岛066004)

摘要(Abstract):

神经网络结构搜索(NAS)在医学领域存在的计算资源消耗高、搜索空间灵活性不足以及标签噪声敏感等问题,本研究提出了一种融合动态多分支注意力与自知识蒸馏的轻量化网络架构搜索方法(SLNAS),通过构建可控多分支注意力单元和引入自知识蒸馏机制,在降低计算量的同时提升了医学影像分类精度。在OCT2017数据集上的实验表明:所提模型在参数量仅为3.21M的轻量级配置下达到92.33%分类准确率,较MobileNetV3降低45%计算量;最优模型以15.14M参数量实现96.93%准确率,较ConvNeXt-T提升1.83%的同时减少49.8%计算开销。显著提升了医学影像分类任务的精度-效率平衡,为临床辅助诊断提供了可扩展的架构搜索解决方案。


关键词(KeyWords):

神经网络架构搜索;自知识蒸馏;注意力机制


参考文献(References):

[1]Xie L, Lomurno E, Gambella M, et al. A lightweightneural architecture search model for medical image classification[J]. arXiv preprint arXiv:2405. 03462,2024.
[2]Zhu X, Li J, Liu Y, et al. Improving DifferentiableArchitecture Search via Self-Distillation[J]. Neural Networks,2023,167:656-667.




技术支持:人人站CMS
Powered by RRZCMS