0800-000-964

DeepMind證明LLM可高效無損壓縮聲音與影像

取自：iThome

【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《MarTech Outlook》評選為2024年亞太區年度AI人工智慧廣告科技公司雜誌封面人物。
【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《APAC CIO Outlook》評選為2023年亞太區20大傑出AI人工智慧解決方案供應商。

您好，我們是傑愛得資訊，歡迎來到我們的媒體聯播網

AI 研究室 | 智庫

DeepMind研究發現，自監督語言模型不僅精確預測文字，還能有效壓縮圖像和音訊，甚至比專門用於壓縮圖像和音訊的演算法更加強大

文/李建興 | 2023-09-27發表

近年機器學習的主要研究，都集中在訓練越來越強大的自監督語言模型，而由於這些模型具卓越的預測能力，因此也有成為壓縮器的潛力。DeepMind研究人員評估大型基礎模型的壓縮能力，發現這些模型是強大的通用預測器，不僅能夠處理文字資料，更可處理圖像聲音進行高效壓縮。

DeepMind在研究中，使用了一個稱為Chinchilla 70B模型，雖然這個模型主要以文字訓練，但是研究人員發現該模型也可用於壓縮ImageNet圖片，可將檔案壓縮至原始大小的43.3％，甚至可將LibriSpeech語音樣本壓縮至原始的16.4％。

下方繼續閱讀

jAD Ads 聯播廣告

曝光6,789/日成本100/月

下文請點廣告解鎖

點評 AI — 傑愛得，你的AI知識導航

下文請點廣告解鎖

投放Google多媒體聯播網廣告(點此)arrow_downward，包含轉換代碼安裝

※ 如果看到投資類型廣告，請再三評估風險！

繼續閱讀keyboard_double_arrow_down

研究人員提到，這個壓縮表現超過專門為圖像或是語音設計的壓縮演算法，像是無失真壓縮點陣圖圖形格式PNG只能壓縮該圖片至58.5％，音訊檔無失真壓縮演算法FLAC也只能將音訊壓縮到30.3%。

DeepMind的研究證明，預測和壓縮之間存在等價性，因此研究人員可以使用任何壓縮演算法，建立一個更加強大的條件生成模型。由於好的預測模型能夠準確預測資料中的模式和規律，而這種能力讓模型能夠成為一個高效的壓縮器，因為當一個模型能夠精確預測未來的資料點，也就能夠捕捉資料的本質特徵和結構，有效地壓縮資料。

壓縮是一種資訊編碼的過程，目標是要以更少的位元表示資料，因此當模型能夠精確預測資料，其實也就代表模型學會了一種資訊編碼的方式，這種編碼方式能夠用來壓縮資料，因為模型已經理解了資料中的特徵和模式。

語言模型能精確預測下一個字，也就代表可以用於壓縮文字資料，因為模型有能力找出文本中重複或是可預測的模式，並用更少的位元來表示這些模式。而這個結論同樣適用於圖像和音訊，當模型已經可以預測這些資料中的模式，也就能夠壓縮這些資料。

DeepMind研究的主要貢獻，包括證實基礎模型無損壓縮的能力，在當前語言模型資源取得越趨容易的情況下，任何人都可以取得語言模型並將其用於壓縮中，而不需負擔額外的訓練成本。同時，研究也顯示，主要在文字上進行訓練的基礎模型，由於其上下文學習能力，因此能夠很好地成為通用壓縮器。

研究還發現，要將模型用於壓縮上，模型並非越大越好，過大的模型可能反而對壓縮效能產生負面影響，因為模型的參數本身也需要在輸出中被考慮進去，當有一個模型具有非常多的參數，雖然能夠有效壓縮資料，但是龐大的參數本身也會成為負擔，這些參數也需要被儲存和傳輸。

而自然語言處理常用到的分詞（Tokenization）方法，把一串文字切割成更小、更容易處理的步驟，在壓縮上不會提高壓縮效率，但可以增加模型在特定上下文中的資訊內容。透過上下文的學習，模型能夠根據不同任務，動態調整壓縮策略，達到更高的壓縮效果。

這篇研究的主要重點，探討模型與壓縮器間的等價性，證明兩者可以互相轉換。研究人員也評估語言模型作為壓縮器的能耐，並發現模型不只能夠良好地處理文字資料，也能夠在未受過訓練的資料模式，像是圖像與音訊上表現出色。這篇研究提供一個看待模型的全新角度。

點此投放Google多媒體聯播網廣告

※ 如果看到投資類型廣告，請再三評估風險！

點 AI 專欄推薦

post_add 資料來源：iThome

回智庫 apartment | 超玩媒

Ads by jAD

網站+主機+網域+廣告，找我們一次解決

傑愛得資訊領先業界

國際認證獎項報導

我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊

─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

explore 發展趨勢

bookmark_star 查看資歷

【2024年亞太區年度AI廣告科技公司 AI Advertising Technology Company of the Year in APAC 2024】封面人物，榮獲MarTech Outlook期刊評選
【2024年全球十大最具影響力的領導人 Top 10 Best Global Influential Leaders of 2024】榮獲Business Frontier雜誌評選
【2024年值得關注的30大領先企業 30 Leading Companies to Watch 2024】榮獲CIO Bulletin期刊評選
【2023年最具啟發性的企業領袖總裁】榮獲CXO Outlook美國期刊評選
【2023年亞太區20大傑出AI人工智慧供應商】榮獲《APAC CIO Outlook》矽谷科技期刊評選
Google Ads 全台灣第一個金融業智慧出價2.0成功案例。
多年數位行銷經驗，為Google Partners徽章認證經銷，代理Google, Facebook, Dcard, Microsoft, Yahoo apollo，並提供旗下jAD Ads聯播網廣告。
擁有AI數位廣告技術專利。全台灣第一家擁有專利的廣告代理商。
全台獨家推出 Google語音助理專用廣告。
2018年台灣地區Google Ads帳戶優化品質第一。
每月代客操盤數位廣告投放金額達800萬台幣。Google Ads代理累計超過4億台幣+。
回饋Google官方協助Google Ads廣告系統優化與無效點擊分析。
參與過多次台灣地區選舉網路廣告，2018年為候選人輔選衝出第一高票，當選率100%。
曾為某家無品牌客戶三年內在網路上陌生開發一億業績。
曾為企業旗下三網站在Yahoo!奇摩搜尋引擎優化SEO，自然搜尋關鍵字排名前三名(第一名~三)。
旗下經營自媒體與電商。
曾研發Yahoo!關鍵字廣告惡意點擊反擊程式。
曾為客戶品牌行銷，透過搜尋行銷SEM讓關鍵字在產業TA形成Google熱搜。
領先業界研發網站人潮之網頁定點閱讀率分析。
領先業界研發網站全通路人潮分析系統，直接於訂單中分析客戶來訪的廣告來源(搜尋/FB/LINE/WeChat)、客戶搜尋的關鍵字、客戶點閱的廣告文案。
為全端網站設計團隊，並具有多年網路行銷經驗。
擔任企業網路行銷顧問講師，專門破解同業暗黑行銷術。提供網醫數位行銷診斷服務

立即聯絡

Google數位行銷服務關鍵字搜尋聯播網廣告 GDN 多媒體聯播網廣告 YouTube 影片聯播網廣告 Performance Max PMax最高成效廣告購物廣告智慧型廣告探索廣告應用程式廣告 motion_sensor_active 轉換追蹤規劃設定服務類別 AI 網路廣告 AI 網站系統 AI 雲端主機 AI 人工智慧 AI SEO優化站內搜尋 medication 網醫診斷 AI客服 LINE id: @vhp8681s [email protected] 傑愛得資訊 Jump AD 聯絡： 0800-000-964 WeChat id: godzilla1128
			聯絡我們