《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 人工智能 > 設(shè)計(jì)應(yīng)用 > 用于主動(dòng)學(xué)習(xí)的時(shí)序特征融合預(yù)測損失網(wǎng)絡(luò)
用于主動(dòng)學(xué)習(xí)的時(shí)序特征融合預(yù)測損失網(wǎng)絡(luò)
電子技術(shù)應(yīng)用
王繹翔
寧波大學(xué) 信息科學(xué)與工程學(xué)院
摘要： 通過主動(dòng)學(xué)習(xí)模型來選取最有價(jià)值的數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)注是深度學(xué)習(xí)減少標(biāo)注數(shù)據(jù)量的一種方式,。預(yù)測損失模型是一類與任務(wù)無關(guān)的主動(dòng)學(xué)習(xí)模型，該類模型在多個(gè)任務(wù)中都有不錯(cuò)的表現(xiàn),。但是這類模型均不是端到端的模型，不斷變化的輸入特征會(huì)導(dǎo)致?lián)p失預(yù)測網(wǎng)絡(luò)在訓(xùn)練時(shí)出現(xiàn)輸入偏差,。提出了時(shí)序特征融合預(yù)測損失模型用于解決該模型的輸入偏差問題。實(shí)驗(yàn)證明,，提出的算法在各個(gè)任務(wù)中的性能與以往最先進(jìn)的算法相比,，平均提升約1.5%，與原預(yù)測損失模型相比,，平均提升5%。
中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.234772
中文引用格式： 王繹翔. 用于主動(dòng)學(xué)習(xí)的時(shí)序特征融合預(yù)測損失網(wǎng)絡(luò)[J]. 電子技術(shù)應(yīng)用,，2024，50(6)：10-17.
英文引用格式： Wang Yixiang. Temporal feature fusion learning loss model for active learning[J]. Application of Electronic Technique,，2024，50(6)：10-17.
Temporal feature fusion learning loss model for active learning
Wang Yixiang
School of Information Science and Engineering， Ningbo University
Abstract： Using active learning models to select the most valuable data points for annotation is one way that deep learning reduces the amount of labeled data required. Prediction loss models are a type of task-agnostic active learning models that perform well across multiple tasks. However, these models are not end-to-end models, and changing input features can lead to input bias during the training of the loss prediction network. This paper proposes a temporal feature fusion prediction loss model to address the issue of input bias in such models. Experiments demonstrate that the method proposed in this paper achieves an average performance improvement of approximately 1.5% across various tasks compared to previous state-of-the-art methods, and an average improvement of 5% compared to the original prediction loss model.
Key words : active learning,；deep learning,；learning loss；time series

引言

近年來,，深度網(wǎng)絡(luò)在多個(gè)任務(wù)中取得了許多突破性進(jìn)展[1]。但是,，深度網(wǎng)絡(luò)的訓(xùn)練需要大量的標(biāo)注數(shù)據(jù),，在很多任務(wù)中，標(biāo)注數(shù)據(jù)的獲取需要專家進(jìn)行標(biāo)注,，成本很高。

主動(dòng)學(xué)習(xí)是一種可行的用于減少模型對(duì)標(biāo)注數(shù)據(jù)量依賴的方法,。主動(dòng)學(xué)習(xí)模型主要由3個(gè)部分組成,，即目標(biāo)任務(wù)模塊,、主動(dòng)學(xué)習(xí)模塊和標(biāo)注模塊。目標(biāo)任務(wù)模塊用于在現(xiàn)有的標(biāo)注數(shù)據(jù)集上訓(xùn)練用于目標(biāo)任務(wù)(分類,、分割等)的模型,。主動(dòng)學(xué)習(xí)模塊通過主動(dòng)學(xué)習(xí)的選擇算法來選擇合適的樣本用于標(biāo)注,。注釋模塊主要根據(jù)主動(dòng)學(xué)習(xí)模塊選擇的樣本為其打上標(biāo)簽并放入標(biāo)注數(shù)據(jù)集中用于下一輪訓(xùn)練。在一般的任務(wù)中,，注釋模塊由專家來完成，專家為選擇的樣本標(biāo)注后加入到標(biāo)注數(shù)據(jù)集中,。因此，設(shè)計(jì)主動(dòng)學(xué)習(xí)的選擇算法是主動(dòng)學(xué)習(xí)的核心任務(wù),。

現(xiàn)有的選擇算法主要有三類,，即基于樣本的不確定性的算法,、基于樣本的多樣性的算法以及不確定性和多樣性結(jié)合的算法。其中，早期的選擇算法在文獻(xiàn)[2]中進(jìn)行描述,?；跇颖镜牟淮_定性的算法選擇對(duì)于任務(wù)模型而言預(yù)測最不確定的數(shù)據(jù)交給專家進(jìn)行標(biāo)注[3-4],。基于樣本的多樣性的算法則選擇最具有多樣性或代表性的數(shù)據(jù)交給專家進(jìn)行標(biāo)注[5-6],。不確定性和多樣性結(jié)合的算法則綜合以上兩點(diǎn)來對(duì)樣本進(jìn)行評(píng)估和選擇[7],。

目前的主動(dòng)學(xué)習(xí)模型主要有任務(wù)依賴的模型和任務(wù)不可知的模型兩類,。大多數(shù)主動(dòng)學(xué)習(xí)模型屬于任務(wù)依賴型主動(dòng)學(xué)習(xí)模型[8]。針對(duì)某項(xiàng)特定的目標(biāo)任務(wù)進(jìn)行選擇算法的設(shè)計(jì),，這些算法往往只能適用于某項(xiàng)特定任務(wù),，可擴(kuò)展性和任務(wù)泛化性較差。近年來,，許多與任務(wù)無關(guān)的主動(dòng)學(xué)習(xí)模型被提出并用于各個(gè)任務(wù)中,，這類模型在多類任務(wù)中都有很好的效果。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://forexkbc.com/resource/share/2000006022


作者信息：

王繹翔

（寧波大學(xué) 信息科學(xué)與工程學(xué)院,， 浙江 寧波 355211）


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),，未經(jīng)授權(quán)禁止轉(zhuǎn)載。