政策资讯

工业物联网边缘设备中基于知识蒸馏的空时预测方法

专利类型:
发明
申请号/专利号:
CN202111270656.1
申请人(专利权人):
内蒙古大学、塔塔电力科技(呼和浩特)有限公司
行业类别:
G06N3/096 H04L67/12 H04L41/147 G06N3/045 G06N3/0442 G06N3/0475 G06N3/094 G06N3/0464 G06N3/084
技术成熟度:
成熟
公布时间:
2024-12-30
证书状态:
有效
交易价格:
面议
我要咨询

摘要详情

技术摘要

权利要求书

技术附图

交易流程

委托经理人

本发明公开了工业物联网边缘设备中基于知识蒸馏的空时预测方法,属于物联网边缘设备领域,首先,分别搭建教师网络TCN‑GCN模型和浅层学生网络模型,对传感器获取的二维空时数据进行预测;接着,利用GAN判别器将教师网络和学生网络输出的预测结果进行特征变换,使学生网络学习教师网络的特征捕捉能力,并计算与教师网络拟合后的新学生网络的损失函数LGAN;然后,教师网络对传感器采集的真实数据剔除离群值;最后,将损失函数LGAN与学生的损失函数LTOE加权相加,得到最终的损失函数L,实现知识蒸馏,并利用损失函数L将新学生网络的输出与剔除离群值的真实数据做梯度下降,获得最终的空时预测结果。本发明大幅减少了空时预测模型的复杂度。

1.工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,具体步骤如下: 首先,利用膨胀时间卷积网络DTCN和动态更新的图卷积网络DGCN交替结合,形成教师网络TCN-GCN模型,对传感器实时采集的二维数据进行空时预测; 所述的教师网络TCN-GCN模型进行空时预测的具体过程为: 步骤101、利用N个传感器分别采集包含时间步长与空间节点的二维数据,并构建初始的图邻接矩阵表示空间节点的关联关系; 步骤102、将二维数据依次送入DTCN和DGCN分别提取时间和空间特征; 具体为: 首先,给定输入的二维数据xin,则经过DTCN的输出xout为: xout=tanh(f1(xin))×sigmoid(f2(xin)) 其中,f1表示滤波卷起函数,f2表示门控卷积函数,sigmoid(·)表示S型激活函数,tanh(·)表示正切双曲激活函数; 然后,将DTCN捕捉的特征送入DGCN模块,其信息传递层为: 其中,Hl表示第l层的传播层;σ1和σ2为不同的激活函数,为动态采样得到的图邻接矩阵,Wl-1表示第l-1层的网络权重;表示经过跳跃连接的传播层;β为控制保留根节点原始状态比率的超参数;H(l)是随着图卷积的深度增加节点状态不断更新的传播层,H(l-1)表示保留的之前节点状态的传播层;Hout为跳跃层叠加后的输出层; 步骤103、通过不断重新采样,更新图邻接矩阵中各空间节点的关联关系; 步骤104、将更新得到的图邻接矩阵与提取出的空间特征向量进行卷积运算,实现移动节点空间特征的不断更新; 步骤105、根据不断更新的空间特征,实现二维数据的高精度预测; 具体预测过程为: 在时间步长t处输入的二维数据X表示为: X={z1[i],z2[i],···,zt[i]} 其中,zt[i]表示在时间步长t处第i个传感器的二维数据值,i∈N; 则下一时间步长的预测值表示为: Y={zt+1[i]} 同时,利用特征提取模块和回归模块,搭建浅层学生网络LSTM或学生网络一维CNN,对传感器获取的二维空时数据进行预测; 然后,利用GAN判别器将教师网络TCN-GCN模型和学生网络输出的预测结果,分别进行特征变换,使学生网络学习拟合教师网络的特征捕捉能力,计算GAN判别器的损失函数LGAN; 接着,教师网络对传感器采集的真实数据进行离群值剔除; 最后,将GAN判别器的损失函数LGAN与跟教师网络拟合后的新学生网络的损失函数LTOE加权相加,得到最终的损失函数L,实现知识蒸馏,并利用损失函数L将新学生网络的输出与剔除离群值的真实数据做梯度下降,获得最终的空时预测结果。

2.如权利要求1所述的工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,所述的学生网络LSTM的搭建过程为: 首先,LSTM的四个门控结构对二维数据的时间特征进行记忆和提取; 具体为:给定输入x(t),经过LSTM的输出h(t)为: i(t)=σ(W(i)x(t)+U(i)h(t-1)) f(t)=σ(W(f)x(t)+U(f)h(t-1)) o(t)=σ(W(o)x(t)+U(o)h(t-1)) h(t)=o(t)*tanh(c(t)) 其中,σ为激活函数,W表示输入向量所乘的权重参数,U表示状态向量所乘的权重参数,h(t-1)表示第t-1层的信息传播层,i(t)为LSTM的输入门,f(t)为LSTM的忘记门,o(t)为LSTM的输出门,c(t)为记忆门; 然后,将LSTM提取的特征送入回归模块,根据捕捉的特征实现下一个时间步长的数据预测。

3.如权利要求1所述的工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,所述的学生网络一维CNN是具有一维池化层的单层CNN网络,将卷积核作为滑动窗口,通过在输入的二维数据上滑动窗口产生新的输出; 具体为: 给定卷积核向量Μ和输入序列x(t),学生网络一维CNN将向量Μ与输入序列中的每个子向量进行点乘得到输出h(t): 其中,j表示从m到s的索引范围,m为一维卷积的滤波器尺寸,s表示输入序列的长度,其中s≥m; 然后,将学生网络一维CNN提取的特征送入回归模块,根据捕捉的特征实现下一个时间步长的数据预测。

4.如权利要求1所述的工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,所述的学生网络学习拟合教师网络的特征捕捉能力的具体过程为: 首先,将教师网络和学生网络输出的二维数据的连续预测值,通过GAN判别器分别进行卷积运算; GAN判别器由多个一层卷积和激活函数嵌套而成,给定输入x(t),经过卷积的输出hW,b(x)为: 其中,WL表示多层卷积的权重参数,b为偏置; 然后,经GAN判别器的卷积运算后分别转换为各自的特征logits; 教师网络预测的连续输出Y_tea经过GAN判别器输出的特征logits为: Y′_tea=max(0,SN(Conv2D(Y_tea)))+Leak×min(0,SN(Conv2D(Y_tea))) 学生网络预测的连续输出Y_stu,经过GAN判别器输出的特征logits为: Y′_stu=max(0,SN(Conv2D(Y_stu)))+Leak×min(0,SN(Conv2D(Y_stu))) 其中,SN表示谱归一化操作;Leak表示LeakyRelu激活函数的常数;Conv2D表示二维卷积函数; 最后,GAN判别器分别输出教师网络和学生网络的特征logits,经过损失函数实现教师网络和学生网络的拟合; GAN判别器的损失函数LGAN设计如下: LGAN=Loss(Y′_tea,Y′_stu) 根据损失函数,通过梯度下降改变学生网络的参数; 在梯度下降中判断Y′_tea和Y′_stu的差距是否小于上一次迭代的差值,如果是,说明学生网络的参数与教师网络的参数差别变大,反向传播改变学生网络的参数;否则,保持学生网络的参数不变,继续学习教师网络的参数,反向传播使学生网络学习教师网络的特征捕捉能力,实现教师网络的预测能力到学生网络中的迁移。

5.如权利要求1所述的工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,所述的离群值是指:教师网络输出的预测值形成的预测矩阵与真实数据值形成的真实矩阵中对应位置值的距离大于离群阈值,则该位置的真实值为离群值; 阈值是教师网络输出的预测值与真实数据值的最大距离。

6.如权利要求1所述的工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,所述的与教师网络拟合后的新学生网络的损失函数LTOE为: f=δ(Y_stu-t) 其中,t是真实数据值,f()为使学生网络在出现离群值时减少梯度的函数,εoutlier是离群阈值,根据不同数据集确定;[i,j]表示真实矩阵和预测矩阵中对应的行列值;δ∈[0,1)为梯度减小的系数。

7.如权利要求1所述的工业物联网边缘设备中基于知识蒸馏的空时预测方法,其特征在于,所述的最终的损失函数L的计算公式为: L=(1-cTOE)LGAN+cTOELTOE 其中,cTOE为损失系数;通过损失系数,权衡两个损失函数的贡献值,得到最终的输出结果。


请联系平台

请联系平台

我要咨询

商标号:
联系人:
联系电话:
商标名称:
报价:
需求描述:
提交
服务
客服
电话:18504815395
邮箱:965848622@qq.com
地址:呼和浩特市赛罕区昭乌达路70号内蒙古科技大厦906
微信
招聘
返回顶部