什么是零樣本學習？為什么要搞零樣本學習？

零樣本分類的技術(shù)目前正處于高速發(fā)展時期， 所涉及的具體應(yīng)用已經(jīng)從最初的圖像分類任務(wù)擴展到了其他計算機視覺任務(wù)乃至自然語言處理等多個相關(guān)領(lǐng)域。 對此， 本...

2023-09-22 標簽：深度學習自然語言處理nlp 2914 0

大模型參數(shù)高效微調(diào)技術(shù)原理綜述

神經(jīng)網(wǎng)絡(luò)包含很多全連接層，其借助于矩陣乘法得以實現(xiàn)，然而，很多全連接層的權(quán)重矩陣都是滿秩的。

2023-06-13 標簽：神經(jīng)網(wǎng)絡(luò)SVD電源優(yōu)化器 2912 0

到底該怎么將這些頂尖工具用到我的模型里呢？

然而，讓小編翻開他們的paper，發(fā)現(xiàn)每一個上面都寫著四個大字：“弱者退散”，到底該怎么將這些頂尖工具用到我的模型里呢，Hugging Face 的大神...

2019-02-24 標簽：開源語言模型nlp 2669 0

NLP界的“神話”并沒那么神？

我們驚訝地發(fā)現(xiàn)BERT在參數(shù)推理理解任務(wù)中的峰值性能達到77％，僅比平均未經(jīng)訓練的人類基線低3個點。但是，我們表明這個結(jié)果完全是通過利用數(shù)據(jù)集中的虛假統(tǒng)...

2019-07-27 標簽：數(shù)據(jù)集自然語言nlp 2632 0

4種常見的NLP實踐思路分析

本文針對NLP項目給出了4種常見的解題思路，其中包含1種基于機器學習的思路和3種基于深度學習的思路。

2020-09-24 標簽：nlp 2610 0

聊一聊Transformer中的FFN

NLP上估計會幫助reduce overfitting, improve generalization，但是與其花時間改這個地方不如好好clean da...

2024-03-13 標簽：gpuTransformernlp 2578 0

關(guān)于“NLP中的遷移學習”的教程

這些改進，加上這些方法的廣泛可用性和易集成性，使人們想起了導(dǎo)致計算機視覺中預(yù)訓練字嵌入和ImageNet預(yù)訓練成功的因素，并表明這些方法很可能成為NLP...

2019-06-23 標簽：nlp遷移學習 2573 0

如何通過一個簡單的方法來解鎖大型語言模型的推理能力？

近來NLP領(lǐng)域由于語言模型的發(fā)展取得了顛覆性的進展，擴大語言模型的規(guī)模帶來了一系列的性能提升，然而單單是擴大模型規(guī)模對于一些具有挑戰(zhàn)性的任務(wù)來說是不夠的

2023-05-10 標簽：機器學習MDAGPT 2535 0

自動語音識別技術(shù)基本指南

在過去十年中，人工智能支持的語音識別系統(tǒng)逐漸成為我們?nèi)粘Ｉ畹囊徊糠?，從語音搜索到聯(lián)絡(luò)中心、汽車、醫(yī)院和餐館的虛擬助手。這些語音識別的發(fā)展得益于深度學習的進步。

2022-10-10 標簽：AI語音識別人工智能 2449 0

一文概述2018年深度學習NLP十大創(chuàng)新思路

將常識融入模型是向前發(fā)展的最重要方向之一。然而，創(chuàng)建好的數(shù)據(jù)集并不容易，甚至最常用的那些好的數(shù)據(jù)集還存在很大的偏差。今年出現(xiàn)了一些執(zhí)行良好的數(shù)據(jù)集，它們...

2019-02-04 標簽：機器翻譯深度學習nlp 2363 0