大語(yǔ)言模型無(wú)損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語(yǔ)言模型 Chinchilla 70B 在圖像和音頻的無(wú)損壓縮上超過(guò)了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫(kù)中的圖像無(wú)損壓縮到原始大小 43.4%，超過(guò)了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無(wú)損壓縮到原始大小 16.4%，超過(guò) FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果。可以看到，gzip 的輸出沒(méi)有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
無(wú)損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8527 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8643 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4571 -
大模型
+關(guān)注
關(guān)注
2文章
3139瀏覽量
4062
原文標(biāo)題：大模型在無(wú)損壓縮方面超越PNG和FLAC
文章出處：【微信號(hào)：OSC開(kāi)源社區(qū)，微信公眾號(hào)：OSC開(kāi)源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
LZO Data Compression,高性能LZO無(wú)損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-CLZO Data Compression Core/無(wú)損數(shù)據(jù)壓縮IP CoreLZOAccel-C是一個(gè)無(wú)損數(shù)據(jù)壓縮引擎的FPGA硬件實(shí)現(xiàn)，兼容LZO 2.10標(biāo)準(zhǔn)
發(fā)表于 01-24 23:53
LZO Data Compression,高性能LZO無(wú)損數(shù)據(jù)壓縮加速器介紹，F(xiàn)PGA&ASIC
LZOAccel-C是一個(gè)無(wú)損數(shù)據(jù)壓縮引擎的FPGA硬件實(shí)現(xiàn)，兼容LZO 2.10標(biāo)準(zhǔn)。Core接收未壓縮的輸入數(shù)據(jù)塊，產(chǎn)生壓縮后的數(shù)據(jù)塊。輸入的數(shù)據(jù)塊可以被分段，并且不同數(shù)據(jù)塊的分段
語(yǔ)言模型管理的作用
要充分發(fā)揮語(yǔ)言模型的潛力，有效的語(yǔ)言模型管理非常重要。以下，是對(duì)語(yǔ)言模型管理作用的分析，由AI部
大語(yǔ)言模型開(kāi)發(fā)框架是什么
大語(yǔ)言模型開(kāi)發(fā)框架是指用于訓(xùn)練、推理和部署大型語(yǔ)言模型的軟件工具和庫(kù)。下面，AI部落小編為您介紹大語(yǔ)言模
大語(yǔ)言模型開(kāi)發(fā)語(yǔ)言是什么
在人工智能領(lǐng)域，大語(yǔ)言模型（Large Language Models, LLMs）背后，離不開(kāi)高效的開(kāi)發(fā)語(yǔ)言和工具的支持。下面，AI部落小編為您介紹大語(yǔ)言
云端語(yǔ)言模型開(kāi)發(fā)方法
云端語(yǔ)言模型的開(kāi)發(fā)是一個(gè)復(fù)雜而系統(tǒng)的過(guò)程，涉及數(shù)據(jù)準(zhǔn)備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個(gè)環(huán)節(jié)。下面，AI部落小編為您分享云端語(yǔ)言模型的開(kāi)發(fā)
百問(wèn)FB顯示開(kāi)發(fā)圖像處理 - PNG圖像處理
2.3 PNG圖像處理
2.3.1 PNG文件格式和libpng編譯
?跟JPEG文件格式一樣，PNG也是一種使用了算法壓縮后的圖像格式，與JPEG不同，
發(fā)表于 12-02 09:25
【BearPi-Pico H3863星閃開(kāi)發(fā)板體驗(yàn)連載】LZO壓縮算法移植
：無(wú)損壓縮算法和有損壓縮算法。
壓縮算法在無(wú)線通信中的應(yīng)用可以顯著提高數(shù)據(jù)傳輸效率和降低能耗，尤其是在資源受限的無(wú)線通信環(huán)境中。選擇合適的壓縮算法對(duì)于優(yōu)化無(wú)線傳輸性能至關(guān)重要。
二、L
發(fā)表于 11-10 21:45
大語(yǔ)言模型如何開(kāi)發(fā)
大語(yǔ)言模型的開(kāi)發(fā)是一個(gè)復(fù)雜且細(xì)致的過(guò)程，涵蓋了數(shù)據(jù)準(zhǔn)備、模型架構(gòu)設(shè)計(jì)、訓(xùn)練、微調(diào)和部署等多個(gè)階段。以下是對(duì)大語(yǔ)言模型開(kāi)發(fā)步驟的介紹，由AI部
壓縮算法的類型和應(yīng)用
壓縮算法是一種通過(guò)減少數(shù)據(jù)量來(lái)節(jié)省存儲(chǔ)空間或傳輸數(shù)據(jù)的技術(shù)。壓縮算法可以分為兩種類型：有損壓縮和無(wú)損壓縮。
音頻信號(hào)的無(wú)損壓縮編碼是什么
，如WAV、FLAC、APE等。 1. 音頻信號(hào)的基本概念 在討論無(wú)損壓縮編碼之前，我們需要了解一些基本的音頻信號(hào)概念。 1.1 音頻信號(hào)的定義 音頻信號(hào)是描述聲音波形的電信號(hào)。它可以通過(guò)模擬或數(shù)字方式表示。在數(shù)字音頻中，音頻信號(hào)通常
【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)
今天來(lái)學(xué)習(xí)大語(yǔ)言模型在自然語(yǔ)言理解方面的原理以及問(wèn)答回復(fù)實(shí)現(xiàn)。
主要是基于深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)。
大
發(fā)表于 08-02 11:03
【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)篇
今天開(kāi)始學(xué)習(xí)《大語(yǔ)言模型應(yīng)用指南》第一篇——基礎(chǔ)篇，對(duì)于人工智能相關(guān)專業(yè)技術(shù)人員應(yīng)該可以輕松加愉快的完成此篇閱讀，但對(duì)于我還是有許多的知識(shí)點(diǎn)、專業(yè)術(shù)語(yǔ)比較陌生，需要網(wǎng)上搜索學(xué)習(xí)更多的資料才能理解書(shū)中
發(fā)表于 07-25 14:33
LLM大模型推理加速的關(guān)鍵技術(shù)
LLM（大型語(yǔ)言模型）大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，旨在提高模型在處理復(fù)雜任務(wù)時(shí)的效率和響應(yīng)速度。以下是對(duì)LLM大模型推理
【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 俯瞰全書(shū)
的大語(yǔ)言模型設(shè)計(jì)技術(shù)人員閱讀，主要包括大語(yǔ)言模型的優(yōu)化方法、Agent系統(tǒng)調(diào)優(yōu)以及模型的安全技術(shù)。
展望篇分析了大
發(fā)表于 07-21 13:35
工商網(wǎng)監(jiān)
評(píng)論