CN116483942B 基于再注意力機制和對比損失的法律案情要素抽取方法 （湖南大學(xué)）

基于再注意力機制和對比損失的法律案情本發(fā)明公開了一種基于再注意力機制和對律文本表示精化步驟以及法律案情要素標(biāo)簽預(yù)步驟是使用預(yù)訓(xùn)練模型RoBERTa對法律文本和法簽表示提取步驟是從RoBERTa的輸出中得到法律用法律案情要素標(biāo)簽表示來去除法律文本表示以有效的識別相似的法律案情要素標(biāo)簽和提升2步驟1021：法律文本與法律案情要素標(biāo)簽聯(lián)合嵌入步步驟1022：法律案情要素標(biāo)簽表示提取步驟步驟1023：法律文本表示精化步驟：從法律文本與法律步驟1024：將去除冗余信息的法律文本表示O輸入到分類器中得到每一個法律案情要素標(biāo)簽的概率分布和分類器的損失Lmcs得到模型的總損失LOSS=λ是0步驟S103：將待抽取的法律案情要素的法律文本輸入訓(xùn)練好的模型RoBERTa抽取得到2.如權(quán)利要求1所述的基于再注意力機制和對比損失的法律案情要素抽取方法，其特本進行編碼，第i個法律案情要素標(biāo)簽文本的嵌入E'=[E,E,…,E?],其中ni為第i個法律案情要素標(biāo)簽文本的長度；表示法律案情要素標(biāo)簽中第ni個token，型的12層Transformer之中得到文本與標(biāo)簽的聯(lián)合表示具體實現(xiàn)如公式(3)33.如權(quán)利要求1所述的基于再注意力機制和對比損失的法律案情要素抽取方法，其特從文本與標(biāo)簽的聯(lián)合表示HeR(c+m)xd中提取出法律文本表示HTeRmxd和法律案情要素標(biāo)簽文本表示HleRcxd,計算過程如公式(4)所示，HleRexd表示HL是一個cxd維的i表示第i個法律案情要素標(biāo)簽表示，e,E"和4.如權(quán)利要求1所述的基于再注意力機制和對比損失的法律案情要素抽取方法，其特步驟10231：取得法律文本表示HTeRmxd和法律案情要素標(biāo)簽文本表示Hle步驟10232：將法律文本表示HT和法律案情要素標(biāo)簽表示HL相乘得到注意力權(quán)重AeRC*,計算過程如公式(8)所示：步驟10233：使用column_wise和row_wise的softmax()函數(shù)對注意力權(quán)重的兩個維度進行歸一化，然后使用row_wise和column_wise的sum()函數(shù)進行求和操作從而得到法律文本中每個token的權(quán)重aTeRm和每一個法律案情要素標(biāo)簽的權(quán)重aleRf;具體計算步驟4T和aL分別與法律文本表示和法律案情要素標(biāo)簽表示相乘得到細(xì)化后的法律文本表示TeRmxd和法律案情要素標(biāo)簽表示如公式(10)所示；步驟10235：使用自注意力機制selfAttention()對細(xì)化后的法律文本表示和法律案情要素標(biāo)簽表示進行處理，然后再次進行相乘操作得到精化后的注意力權(quán)重7eRm,如公式(11)所示；法律文本表示oeRexd,如公式(12)所示；。5.如權(quán)利要求1所述的基于再注意力機制和對比損失的法律案情要素抽取方法，其特將去除冗余信息的法律文本表示O輸入到分類器中得到每一個法律案情要素標(biāo)簽的概率分布i,分類器的損失Lmc的計算過程如公式(13)所示：5極少。簡單地將多標(biāo)簽文本分類算法應(yīng)用于法律案情要素抽取任務(wù)中難以取得可觀的表此來獲得高質(zhì)量的可區(qū)分的法律文本表示。基于Seq2Seq的模型也常常用于多標(biāo)簽文本分[0005]為解決上述問題,我們設(shè)計了一種6解決法律案情要素標(biāo)簽抽取任務(wù)中相似法律案情要素標(biāo)簽和低頻法律案情要素標(biāo)簽抽取行兩次交叉注意力得到去除冗余信息后的法律文[0020]步驟1024：將去除冗余信息的法律文本表示O輸入到分類器中得到每一個法律案情要素標(biāo)簽的概率分布和分類器的損失Lmc:得到模型的總損失LOSS=λ[0022]步驟S103：將待抽取的法律案情要素的法律文本輸入訓(xùn)練好的模型RoBERTa抽取行編碼得到其嵌入其中m為法律文本的長度，ET的具體計算如公式案情要素標(biāo)簽文本進行編碼，第i個法律案情要素標(biāo)簽文本的嵌入其中ni為第i個法律案情要素標(biāo)簽文本的長度；表示法律案情要素入ET進行拼接并輸入到RoBERTa模型的12層Transformer之中得到文本與標(biāo)簽的聯(lián)合表示7模型RoBERTa的嵌入層，Transformerlayers()代表預(yù)訓(xùn)練模型RoBERTa的12層[0030]從文本與標(biāo)簽的聯(lián)合表示中提取出法律文本表示HTeRmxd和法律案情要素標(biāo)簽文本表示HleRcxd,計算過程如公式(4)所示，HleRcxd表示HL是一個cH"=He=[Hf,HE,…,H%(4)律案情要素標(biāo)簽集合；T代表法律文本；e,ER",ei表示第i個法律案情要素標(biāo)簽表示，e,E"和eneRd都經(jīng)過了L2Norm()歸一化處理的表示；ep表示法律文本適用的標(biāo)簽的表[0037]步驟10231：取得法律文本表示HTeRmxd和法律案情要素標(biāo)簽文本表示Hle[0038]步驟10232：將法律文本表示HT和法律案情要素標(biāo)簽表示HL相乘得到注意力權(quán)重計算過程如公式(8)所示：[0040]步驟10233：使用column_wise和row_wise維度進行歸一化，然后使用row_wise和column_wise的sum()函數(shù)進行求和操作從而得到8法律文本中每個token的權(quán)重和每一個法律案情要素標(biāo)簽的權(quán)重aleRC;具體計算roweR[0047]步驟10235：使用自注意力機制selfAttention()對細(xì)化后的法律文本表示和法律案情要素標(biāo)簽表示進行處理，然后再次進行相乘操作得到精化后的注意力權(quán)重如公式(11)所示。[0048]T=self息的法律文本表示oeRed,如公式(12)所示。[0053]0=7·HT(12)[0055]將去除冗余信息的法律文本表示O輸入到分類器中得到每一個法律案情要素標(biāo)簽9[0061]圖1展示了基于再注意力機制和對比損失的法律案情要素抽取方法的整體流程[0065]如圖1所示，本發(fā)明提供了一種基于再注意力機制和對比損失的法律案情要素抽情要素標(biāo)簽文本進行編碼，第i個法律案情要素標(biāo)簽文本l'=的嵌入為E'=[E,E,.…,E?,],其中ni為第i個法律案情要素標(biāo)簽文本的長度。接下來，將每一個法律層Transformer之中得到文本與標(biāo)簽的聯(lián)合表示具體實現(xiàn)如公式(3)所示：W…,EX](1)模型RoBERTa的嵌入層，TransformerLayers()代表預(yù)訓(xùn)練模型RoBERTa的12層[0076]從法律文本與法律案情要素標(biāo)簽聯(lián)合嵌入步驟中得到的聯(lián)合文本表示HeR(e0)xd中提取出法律案情要素標(biāo)簽表示HleRcxd,計算過程如公式(4)所示。此外，我們法律文本表示ereRd的計算如公式(5)所示[0083]步驟201：從法律案情要素標(biāo)簽表示提取步驟得到的表示中提取出法律文本表示HTeRmnxd和法律案情要素標(biāo)簽文本表示HleRcxd,具體計算方法如公式(7)所示：[0086]步驟202：將法律文本表示HT和法律案情要素標(biāo)簽表示HL相乘得到注意力權(quán)重AeR%,計算過程如公式(8)所示。[0088]步驟203：使用column_wise和row_wise的s度進行歸一化，然后使用row_wise和column_wise的sum()函數(shù)進行求和操作從而得到法律文本中每個token的權(quán)重和每一個法律案情要素標(biāo)簽的權(quán)重aleR"。圖3直觀的律案情要素標(biāo)簽表示相乘得到細(xì)化后的法律文本表示FTeRmxd和法律案情要素標(biāo)簽表示leRcxd,如公式(10)所示。[0094]步驟205：使用自注意力機制selfAttent本表示和法律案情要素標(biāo)簽表示進行處理，然后再次進行相乘操作得到精化后的注意力權(quán)重7eRm,如公式(11)所示。[0095]T=self除冗余信息的法律文本表示oeRed,如公式(12)所示。[0099]0=7·HD(12)[0101]將法律文本表示精化步驟中得到去除冗余信息的法律文本表示O輸入到分類器中得到每一個法律案情要素標(biāo)簽的概率分布分類器的損失Lmuc的計算過程如公式(13)所[0106]在具體的實施過程中，我們使用Pytorch深度學(xué)習(xí)框架實現(xiàn)了法律案情要素抽取集。還可以發(fā)現(xiàn)，本方法在三個領(lǐng)域數(shù)據(jù)集上的MaF1值都有很大的提升。值得注意的是，好的解決低頻和相似法律案情要素標(biāo)簽抽取性能低的問題。RoBERTa基線方法的性能遠(yuǎn)超案情要素標(biāo)簽的抽取性能。LP_MTC方法在RoBERTa方法的基礎(chǔ)上使用掩碼機制來捕獲法律相關(guān)性對提升法律