6月2日,太阳集团www0638智能软件与系统新技术研究所张亮老师带领嵌入式技术与视觉处理研究中心团队研究的题为“Analysis and Variants of Broad Learning System”论文被中科院I区SCI期刊IEEETransactions on Systems, Man, and Cybernetics: Systems( IF=7.351)录用。这是继该团队“Structure-Feature based Graph Self-adaptive Pooling”论文在WWW(World Wide Web Conference)会议( CCFA类)发表的又一佳作。
宽度学习(Broad Learning System,BLS)是2017年由澳门大学陈俊龙(C. L. Philip Chen)教授提出的一种单层增量学习系统(如下图所示),相比于传统深层网络模型,BLS在保证准确率的同时,具有快速收敛的能力,同时其增量学习特点还能够使网络模型在数据集增加时进行快速扩展。该理论作为深度学习的重要补充,一经提出,便受到了广泛的讨论。
宽度学习采用横向扩展的方式,利用输入映射的特征作为网络的「特征节点」,再增强为随机生成权重的「增强节点」,并将映射特征与增强节点直接连接到输出端,对应的输出系数可以通过Pseudo伪逆得出。这样以来,针对新加入的神经节点(包括新加入的特征节点),BLS并不需要从头开始学习,只需要调节与新增节点有关的权重,实现快速增量式学习。
宽度学习作为较为新颖的方法体系,还有着很大的挖掘空间。张亮老师团队对BLS数学原理进行分析,重点从矩阵论的角度探索了BLS回归和增量的原理。同时,在此基础上,参考深度卷积网络特征建模过程中的设计思路,构建了不同的BLS网络变种,并通过大量的实验分析验证了新网络变型能够在不增加模型复杂度的前提下提升精度。以SVHN数据集为例,原始的BLS网络模型的实验准确率约为77%,而张亮老师团队提出来的最新模型SFE-CEBLS在时间大致相同的情况下,其准确率能够达到90%;在Cifar-10数据集上更是有18个百分点的提升(BLS原始模型准确率为49%,SFE-CEBLS准确率为67%)。
最后,为了更好的说明新提出的模型能够满足宽度学习的重要特性——增量学习,张亮老师团队还提出了新模型的增量公式,并通过大量实验加以验证。
张亮老师团队近年来紧紧围绕软件工程学科发展方向,积极参与推动学院在智能化软件工程技术方向的发展,团队目前致力于动态智能化复杂系统关键技术研究,尤其是在深度网络结构设计理论、序列图像建模处理上取得了一定的成果。2016年11月,该团队获西安电子科技大学首届“三好三有”研究生导学团队荣誉称号,是全校范围内“师德师风好”、“师生关系好”、“培养模式好”、“有先进文化”、“有出色管理”、“有突出业绩”的6个团队之一。
近三年来,团队相关成果陆续发表在IEEE TNNLS、IEEE TMI、IEEE TIP、IEEE TMM、PR等顶级期刊和NIPS、ICCV、WWW、ICMR、IROS等顶级国际会议上,为努力提升西电国际学术影响力,助力学校双一流建设做出了积极贡献,积极推动了学校计算机科学学科的发展。