多語(yǔ)言任務(wù)在內(nèi)的多種NLP任務(wù)實(shí)現(xiàn)

WeLM是一個(gè)百億級(jí)別的中文模型，能夠在零樣本以及少樣本的情境下完成包括對(duì)話(huà)-采訪(fǎng)、閱讀理解、翻譯、改寫(xiě)、續(xù)寫(xiě)、多語(yǔ)言閱讀理解在內(nèi)的多種NLP任務(wù)，并具...

2022-10-13 標(biāo)簽：API接口自然語(yǔ)言nlp 763 0

文本分類(lèi)中處理樣本不均衡和提升模型魯棒性的trick

文本分類(lèi)看似簡(jiǎn)單，但實(shí)則里面有好多門(mén)道。作者水平有限，只能將平時(shí)用到的方法和trick在此做個(gè)記錄和分享，并且盡可能提供給出簡(jiǎn)潔、清晰的代碼實(shí)現(xiàn)。希望各...

2022-10-11 標(biāo)簽：模型代碼nlp 1315 0

如何計(jì)算模型對(duì)預(yù)測(cè)結(jié)果的信心

在很多問(wèn)題中，獲取標(biāo)注準(zhǔn)確的大量數(shù)據(jù)需要很高的成本，這也往往限制了深度學(xué)習(xí)的應(yīng)用。主動(dòng)學(xué)習(xí)通過(guò)對(duì)未標(biāo)注的數(shù)據(jù)進(jìn)行篩選，可以利用少量的標(biāo)注數(shù)據(jù)取得較高的學(xué)...

2022-09-28 標(biāo)簽：數(shù)據(jù)模型代碼 1570 0

NLP的經(jīng)典任務(wù)——句法（Syntactic）分析

詞性標(biāo)注：Part-of-speech(POS)，將詞在句子中扮演的角色進(jìn)行標(biāo)注，如動(dòng)詞、名詞等。因?yàn)橐辉~多義的存在，這個(gè)過(guò)程也存在歧義性。具體的tag...

2022-10-06 標(biāo)簽：nlp 829 0

如何通過(guò)多模態(tài)對(duì)比學(xué)習(xí)增強(qiáng)句子特征學(xué)習(xí)

視覺(jué)作為人類(lèi)感知體驗(yàn)的核心部分，已被證明在建立語(yǔ)言模型和提高各種NLP任務(wù)的性能方面是有效的。作者認(rèn)為視覺(jué)作為輔助語(yǔ)義信息可以進(jìn)一步促進(jìn)句子表征學(xué)習(xí)。

2022-09-21 標(biāo)簽：nlp 1718 0

預(yù)訓(xùn)練模型在搜索中使用的思路和方案

當(dāng)然了，和往常的文章一樣，我不會(huì)復(fù)述這一篇文章，而是聊聊里面的一些關(guān)鍵點(diǎn)和一些有意思的內(nèi)容，拿出來(lái)和大家討論一下。

2022-09-19 標(biāo)簽：編碼nlp訓(xùn)練模型 1305 0

自然語(yǔ)言處理（NLP）領(lǐng)域的高效方法

訓(xùn)練越來(lái)越大的深度學(xué)習(xí)模型已經(jīng)成為過(guò)去十年的一個(gè)新興趨勢(shì)。如下圖所示，模型參數(shù)量的不斷增加讓神經(jīng)網(wǎng)絡(luò)的性能越來(lái)越好，也產(chǎn)生了一些新的研究方向，但模型的問(wèn)...

2022-09-19 標(biāo)簽：網(wǎng)絡(luò)模型自然語(yǔ)言nlp 1592 0

幾種常用的NLP數(shù)據(jù)增強(qiáng)方法

因?yàn)橹苯訉?duì)原是文本進(jìn)行數(shù)據(jù)增強(qiáng)，很難保證維持原始的文本語(yǔ)義，因此可以通過(guò)在語(yǔ)義空間上進(jìn)行隱式數(shù)據(jù)增強(qiáng)，簡(jiǎn)單列出幾種方法：

2022-09-15 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型nlp 2115 0

基于OpenAI的GPT-2的語(yǔ)言模型ProtGPT2可生成新的蛋白質(zhì)序列

人類(lèi)語(yǔ)言與蛋白質(zhì)有很多共同點(diǎn)，至少在計(jì)算建模方面。這使得研究團(tuán)隊(duì)將自然語(yǔ)言處理（NLP）的新方法應(yīng)用于蛋白質(zhì)設(shè)計(jì)。其中，德國(guó)Bayreuth大學(xué)Birt...

2022-09-08 標(biāo)簽：解碼器語(yǔ)言模型nlp 2480 0

基于圖文多模態(tài)領(lǐng)域典型任務(wù)

圖文多模態(tài)領(lǐng)域典型任務(wù)如img-text retrieval、VQA、captioning、grounding等，目前的學(xué)術(shù)設(shè)定難度尚可。但是， 一旦知...

2022-09-01 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集nlp 2740 0

文本相似是NLP工業(yè)化中的一個(gè)基本任務(wù)

TF-IDF算法是創(chuàng)建在這樣一個(gè)假設(shè)之上的：對(duì)區(qū)別文檔最有意義的詞語(yǔ)應(yīng)該是那些在文檔中出現(xiàn)頻率高，而在整個(gè)文檔集合的其他文檔中出現(xiàn)頻率少的詞語(yǔ)。如果特征...

2022-08-03 標(biāo)簽：二進(jìn)制算法nlp 724 0

一個(gè)聯(lián)合的meta-reweighting的策略來(lái)自然的進(jìn)行整合

數(shù)據(jù)自增強(qiáng)是一個(gè)小樣本任務(wù)可行的解法，對(duì)于 token-level 的 NER 任務(wù)，token 替換和表征混合是常用的方法。但自增強(qiáng)也有局限性，我們需...

2022-08-03 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)模型nlp 493 0

AI開(kāi)發(fā)平臺(tái)Vitis AI 2.5讓AI加速體驗(yàn)更上一層樓 Vitis AI新功能概述

Vitis AI 2.5 的模型庫(kù)增加了廣受歡迎的NLP及更多 CNN 模型，例如 Bert-base，Vision Transformer、端到端 O...

2022-07-14 標(biāo)簽：AIcnnnlp 3.7萬(wàn) 0

Propt learnimng是如何發(fā)展形成的

Prompt learning作為近期NLP的新寵，熱度不斷攀升，在接下來(lái)的一段日子，大概率還是會(huì)處于一個(gè)風(fēng)口的位置。什么是Prompt learing...

2022-03-21 標(biāo)簽：網(wǎng)絡(luò)模型nlp 2032 0

NLP中基于聯(lián)合知識(shí)的任務(wù)導(dǎo)向型對(duì)話(huà)系統(tǒng)HyKnow

引言 對(duì)話(huà)系統(tǒng)（dialogue system）是 NLP 中的的重點(diǎn)研究方向之一。其可以分為任務(wù)型對(duì)話(huà)系統(tǒng)和開(kāi)放域?qū)υ?huà)系統(tǒng)。兩者在現(xiàn)實(shí)生活中都有著廣泛...

2021-09-08 標(biāo)簽：解碼器nlp 4536 0

智能客服案例解析：以知識(shí)圖譜、NLP、機(jī)器學(xué)習(xí)構(gòu)建高精度對(duì)話(huà)機(jī)器人

樂(lè)言科技基于高精準(zhǔn)的語(yǔ)義理解技術(shù)所打造的客服機(jī)器人，能在海量數(shù)據(jù)中挖掘優(yōu)質(zhì)話(huà)術(shù)，模擬優(yōu)秀人工客服回復(fù)邏輯，對(duì)用戶(hù)多輪對(duì)話(huà)溝通內(nèi)容、訂單信息、店鋪優(yōu)惠活動(dòng)...

2021-02-11 標(biāo)簽：機(jī)器人機(jī)器學(xué)習(xí)nlp 4260 0

自然語(yǔ)言處理是什么？有什么用？

“自然語(yǔ)言處理” （Natural Language Processing，簡(jiǎn)稱(chēng)NLP） 是近年來(lái)科技界最熱門(mén)的詞語(yǔ)之一，也是當(dāng)下人工智能研究最熱門(mén)的領(lǐng)...

2021-02-08 標(biāo)簽：人工智能自然語(yǔ)言處理NLP 6539 0

自然語(yǔ)言處理（NLP）的優(yōu)勢(shì)、現(xiàn)狀以及其適用范圍

自然語(yǔ)言處理（NLP）在語(yǔ)音和文本方面的改進(jìn)將助力主流技術(shù)的發(fā)展。例如以人類(lèi)自然發(fā)音朗讀電子郵件時(shí)，如果用戶(hù)對(duì)電子表格中的數(shù)據(jù)提出質(zhì)疑，Excel會(huì)自動(dòng)...

2020-09-03 標(biāo)簽：機(jī)器學(xué)習(xí)自然語(yǔ)言處理NLP 8532 0