一种基于强化学习的学术图像复用检测方法

技术特征：
1.一种基于强化学习的学术图像复用检测方法，其特征在于，包括以下步骤：s1，构建强化学习模型，所述强化学习模型包括样本选择模块和参数调整模块，迭代训练所述样本选择模块和参数调整模块；s2，使用sift特征提取方法对原图像和目标图像的sift特征进行检测和提取，得到原图像和目标图像的特征点图；s3，初始化有效匹配比例阈值r和特异性参数t，输入原图像和目标图像的特征点图，判断是否需要进行参数调整，是则利用步骤s1训练好的强化学习模型优化调整t和r，否则直接进入步骤s4；s4，依次采用正向匹配和反向匹配对特征点图进行特征点匹配检测，利用特异性参数t进行判断筛选，保留两次匹配中共同的特征匹配点对，得到最终的特征匹配点对集合；s5：对特征匹配点对集合进行特征过滤，去除图像边缘周围的匹配点、离散的匹配点以及重复的匹配点，并统计最终保留的匹配点对数量；判断特征匹配点对数量占特征点总数的比例是否大于等于有效匹配比例阈值r，如果满足，则在图像中绘制匹配点，并以直线连接，输出有效特征点匹配图；如果不满足，则直接结束。2.根据权利要求1所述的方法，其特征在于，所述步骤s1，所述样本选择模块包括actor-sample网络和critic-sample网络，参数调整模块包括actor-param网络和critic-param网络。3.根据权利要求2所述的方法，其特征在于，所述步骤s1，所述迭代训练所述样本选择模块和参数调整模块，包括以下子步骤：s11，读取图像数据，计算图像sift特征，构建训练数据集；s12，使用图像sift特征构造样本选择特征状态s-sample和动作空间a-sample；s13，actor-sample网络根据s-sample和a-sample选择部分样本s用于下一步标注；s14，critic-sample网络根据s-sample和动作a
sample
给出对样本s的价值评价q-sample；s15，人工标注选择的部分样本s；s16，使用标注后的样本s训练参数调整模块；s17，使用奖励函数计算样本选择奖励值reward-sample，并使用reward-sample和q-sample更新actor-sample和critic-sample网络参数；s18，判断标注预算是否耗尽，若否，则回到步骤s12，若是，则训练结束。4.根据权利要求3所述的方法，其特征在于，所述样本选择特征状态s-sample由图像样本对的特征点图、特征点匹配结果以及相应的图像检测结果拼接得到；所述动作空间a-sample由图像样本对的特征点图、特征点匹配结果、相应的图像检测结果和图像样本对与有标注集中样本对的特征点匹配结果直方图的kl散度直方图拼接得到。5.根据权利要求4所述的方法，其特征在于，所述价值评价q-sample；其中q
sample
为critic-sample网络，s
sample
为样本选择模块中对于当前状态的描述，a
sample
为在一轮迭代中actor-sample可能选择的所有样本对的集和，θ
critic-sample
为当前critic-sample网络参数；
所述奖励值reward-sample通过奖励函数获得：其中为选出的未标注样本数量，为检测结果，为人工标注真值。6.根据权利要求3-5任一项所述的方法，其特征在于，所述步骤s16训练参数调整模块包括以下子步骤：s16-1，读取初始化匹配参数t、r；s16-2，将标注后的样本s加入有标注集d
l
，并使用d
l
准备训练数据；s16-3，使用训练样本的特征点数据和标注构造参数调整状态s-param和动作空间a-param；s16-4，actor-param网络根据s-param和a-param选择参数改进量δt和δr；s16-5，critic-param网络给出对δt和δr的价值评价q-param；s16-6，使用δt和δr更新t、r得到新匹配参数t-new、r-new；s16-7，使用参数t-new、r-new对训练数据进行特征匹配；s16-8，根据匹配结果计算参数调整奖励值reward-param，更新actor-param和critic-param网络参数；s16-9，判断是否达到最大迭代次数，若否，则回到步骤s16-4，若是，则训练结束。7.根据权利要求6所述的方法，其特征在于，所述参数调整状态s-param由图像样本对的特征点图、特征点匹配结果以及相应的图像检测结果、人工标注真值拼接得到；所述动作空间a-param为本轮参数调整中匹配参数t、r的改变量的所有可能取值。8.根据权利要求7所述的方法，其特征在于，所述奖励值reward-param通过奖励函数获得：其中m=1，表示样本的检测结果空间为{0,1}，ⅱ(
·
)是示性函数，是检测结果的确信度softmax结果。9.根据权利要求1所述的方法，其特征在于，所述步骤s4，包括以下子步骤：s41：特征匹配，遍历每一个特征，计算其与剩余特征之间的距离，取欧式距离最小和第二小的特征向量，距离分别记为d1和d2，根据lowe’s算法，如果d1<d2*t，则认为这两个特征高度相似，保留该特征匹配点对，否则不保留；s42：反向匹配，交换检测的图像对顺序，遍历每一个特征，计算其与剩余特征之间的距离，取欧式距离最小和第二小的特征向量，距离分别记为d1和d2，根据lowe’s算法，如果d1<d2*t，则认为这两个特征高度相似，保留该特征匹配点对，否则不保留；s43，删除两次匹配中不相同的特征点，仅保留其交集。

技术总结
本发明公开了一种基于强化学习的学术图像复用检测方法，首先使用强化学习模型迭代地选择训练样本标注并对特征匹配参数进行调整，得到最优匹配参数；之后接收进行复用检测的图像，使用SIFT特征提取得到其特征点图，最后使用最优匹配参数和双向匹配策略的特征匹配方法对特征点进行匹配、判定匹配结果并输出特征点匹配图。该方法在使用中通过主动向用户接收反馈标注，动态地持续学习以提升检测性能，可应对数据特点的迁移和新的数据类别，自动适应不同的实际应用场景；采用双向匹配机制进行特征点筛选，鲁棒性更好，特征点匹配置信度更高，检测结果查准率更高。检测结果查准率更高。检测结果查准率更高。


技术研发人员：王帅 汪浩然 屈晓磊
受保护的技术使用者：北京航空航天大学
技术研发日：2022.11.09
技术公布日：2022/12/6