結(jié)合計算機視覺深入理解視覺Transformer技術

一般講解transformer都會以機器翻譯任務為例子講解，機器翻譯任務是指將一種語言轉(zhuǎn)換得到另一種語言，例如英語翻譯為中文任務。

2023-02-09 標簽：計算機視覺cnnTransformer 978 0

詳細解讀ChatGPT 背后的技術重點

通常，基礎模型的語言建模目標不足以讓模型學會以有用的方式遵循用戶的指令。模型創(chuàng)建者使用「指令微調(diào) (Instruction Fine-Tuning，IF...

2023-02-09 標簽：聊天機器人nlpChatGPT 832 0

Prompt Tuning相比于Fine Tuning在哪些場景下表現(xiàn)更好？

第三范式：基于「預訓練模型 + finetuning」的范式，如 BERT + finetuning 的NLP任務，相比于第二范式，模型準確度顯著提高，...

2023-02-02 標簽：模型深度學習nlp 2955 0

基于預訓練語言模型的行業(yè)搜索的應用和研究

面向產(chǎn)業(yè)和消費互聯(lián)網(wǎng)的搜索本質(zhì)都是一樣的：用戶有信息獲取需求，同時有信息資源庫，通過搜索引擎把兩者橋接起來。

2023-02-01 標簽：QPSSCWSLMR 1325 0

NLP類別不均衡問題之loss大集合

　　NLP 任務中，數(shù)據(jù)類別不均衡問題應該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題，花了些時間梳理并實踐了下類別不均衡問題的解決方式，...

2023-01-31 標簽：數(shù)據(jù)代碼GitHub 1170 0

Jina AI到底是做什么的？為什么要做這些

在 Jina AI，我們的產(chǎn)品囊括了跨模態(tài)、多模態(tài)、神經(jīng)搜索和生成式 AI，涵蓋了未來 AI 應用的很大一部分。

2023-01-16 標簽：人工智能機器學習LDA 3079 0

怎樣去使用ChatGPT呢？

文本生成模型已成為文本輸入方法（如聯(lián)想詞、語言檢查等）的重要技術支撐。

2023-01-16 標簽：ACLnlpChatGPT 2470 0

基于統(tǒng)一語義匹配的通用信息抽取框架USM

信息提?。↖nformation Extraction，IE）需要提取句子中的實體、關系、事件等，其不同的任務具有多樣的抽取目標和異質(zhì)的機構(gòu)，因此，傳統(tǒng)...

2023-01-16 標簽：USMGPTnlp 1465 0

基于Transformer編碼器的chatGPT模型設計

Bert 所作的事就是從大規(guī)模的上億的文本預料中，隨機地扣掉一部分字，形成上面例子的完形填空題型，不斷地學習空格處到底該填寫什么。

2023-01-11 標簽：解碼器編碼器nlp 1493 0

講一講ChatGPT的技術細節(jié)

通過人工標注等方式，使用監(jiān)督學習的模式對GPT3模型（對這個是chatGPT模型的base）進行初步訓練（有監(jiān)督微調(diào)，SFT），從而得到一個初步能夠理解...

2023-01-03 標簽：SFTGPTnlp 2729 0

在TensorFlow中對Tensor進行拆和裝

TensorCore改進的方向就是針對矩陣乘法（GEMM，General Matrix Mulitiplicaiton）運算進行優(yōu)化。

2022-12-29 標簽：神經(jīng)網(wǎng)絡tensorflownlp 979 0

介紹幾篇EMNLP'22的語言模型訓練方法優(yōu)化工作

來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓練方法優(yōu)化的工作，這3篇工作分別是： 針對檢索優(yōu)化語言模型 ：優(yōu)化語言模型訓練過...

2022-12-22 標簽：算法nlp 1243 0

基于VQVAE的長文本生成 利用離散code來建模文本篇章結(jié)構(gòu)的方法

寫在前面 近年來，多個大規(guī)模預訓練語言模型 GPT、BART、T5 等被提出，這些預訓練模型在自動文摘等多個文本生成任務上顯著優(yōu)于非預訓練語言模型。但對...

2022-12-01 標簽：CodeGPTcnn 2123 0

介紹兩種高效的參數(shù)更新方式LoRA與BitFit

NLP一個重要的范式包括在通用領域數(shù)據(jù)上的大規(guī)模預訓練和在特定任務或者領域上的微調(diào)。

2022-11-24 標簽：PLMLoRa技術nlp 2815 0

統(tǒng)計機器學習方法：基于HMM的中文詞性標注

「隱馬爾可夫模型（Hidden Markov Model, HMM)」 是做NLP的同學繞不過去的一個基礎模型, 是一個生成式模型, 通過訓練數(shù)據(jù)學習隱...

2022-11-17 標簽：HMM機器學習nlp 1508 0

基于性別的暴力（GBV）的語言表達如何影響責任認知

不同的語言表達可以通過強調(diào)某些部分從不同的角度來概念化同一事件。該論文調(diào)查了一個具有社會后果的案例：基于性別的暴力（GBV）的語言表達如何影響責任認知。

2022-11-12 標簽：編碼器MSAnlp 1997 0

用于學習對象級、語言感知和語義豐富視覺表征的GLIP模型

Visual recognition 模型通常只能預測一組固定的預先確定的目標類別，這限制了在現(xiàn)實世界的可擴展能力，因為對于新的視覺概念類別和新的任務領...

2022-10-26 標簽：Clipcnnnlp 2368 0

基于BIO序列標注的方法和基于片段的圖解析方法

該論文的出發(fā)點是將端到端基于片段的（span-based）語義角色標注（SRL）轉(zhuǎn)換為基于詞的（word-based）圖解析（graph parsing）任務。

2022-10-21 標簽：BIO數(shù)據(jù)集nlp 3413 0

分享微博在特征Embedding建模方向做的一些工作

首先我們對比自然語言處理和圖像處理：NLP 最基本的數(shù)據(jù)元素是單詞，每個單詞有一定的含義，可能指代某個實體；

2022-10-20 標簽：圖像處理CTRnlp 1204 0