0800-000-964

OpenAI 推出網路爬蟲 GPTBot，資訊被爬走可能著永遠無法刪除，引發網站抵禦潮

取自：電腦王

【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《MarTech Outlook》評選為2024年亞太區年度AI人工智慧廣告科技公司雜誌封面人物。
【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《APAC CIO Outlook》評選為2023年亞太區20大傑出AI人工智慧解決方案供應商。

您好，我們是傑愛得資訊，歡迎來到我們的媒體聯播網

AI 研究室 | 智庫

bigdatadigest 發表於 2023年8月14日 13:00 收藏此文

OpenAI 推出網路爬蟲 GPTBot，資訊被爬走可能著永遠無法刪除，引發網站抵禦潮

OpenAI 在沒有正式宣布的情況下，發表了一項網站爬蟲規範。

網路爬蟲通常用於掃描網站內容以訓練其大型語言模型 (LLM)，OpenAI 在一篇新的部落格文章中表示：「使用 GPTBot 使用者代理抓取的網頁可能會用於改進未來的模型」，特別是 GPT-4 和潛在的 GPT-5。

Breaking

OpenAI just launched GPTBot, a web crawler designed to automatically scrape data from the entire internet.

This data will be used to train future AI models like GPT-4 and GPT-5!

GPTBot ensures that sources violating privacy and those behind paywalls are excluded. pic.twitter.com/oR3kY4buaU
— Shubham Saboo (@Saboo_Shubham_) August 7, 2023

下方繼續閱讀

jAD Ads 聯播廣告

曝光6,789/日成本100/月

下文請點廣告解鎖

投放Google多媒體聯播網廣告(點此)arrow_downward，包含轉換代碼安裝

※ 如果看到投資類型廣告，請再三評估風險！

繼續閱讀keyboard_double_arrow_down

在此之前，OpenAI 剛申請了「GPT-5」商標。三周之後，該公司推出了新的爬蟲以及使用規範。OpenAI 在部落格文章中表示，內容發表者和網站所有者可以據此拒絕為其提供素材。

網站需要加強防禦
目前還不清楚 OpenAI 的爬蟲在網上潛伏了多久，儘管有些人懷疑 OpenAI 可能已經有一個機器人在數月或數年時間裡一直在秘密收集每個人的線上資料。現在該公司宣布了一種阻止 GPTBot 的方法，最新發表的技術文件描述了如何透過使用者代理權杖和字串來辨識 OpenAI 的網路爬蟲 GPTBot。在發送至伺服器進行網頁請求的 HTTP 標頭中，OpenAI 公司的軟體會明確使用這些權杖與字串。

因此，內容發表者可以在自己 Web 伺服器的 robots.txt 檔案中加入新條目，告知爬蟲可以做什麼、不能做什麼。當然，這是假設 GPTBot 會老老實實遵守機器人排除協議，畢竟也有不少機器人會對規則熟視無睹。例如，以下 robts.txt 鍵 / 值對就會指示 GPTBot 遠離 root 目錄和網站上的其他全部內容。

User-agent: GPTBotDisallow: /

對此，搜尋引擎最佳化顧問 Prasad Dhumal 本周在 Twitter 上寫道：「最後，在吸收了所有受版權保護的內容來構建他們的專有產品之後，OpenAI 為你提供了一種方法來防止你的內容被用來進一步改進他們的產品。」

另外，值得注意的是，一旦被大模型爬蟲爬取，也意味著你的資料無法從公共資料集中刪除。例如比較有名的公共資料集 Common Crawl，常被用於訓練 OpenAI 的 ChatGPT、Google的 Bard 或 Meta 的 LLaMA，專家表示，如果你的資料或內容被爬取進去，那意味著它永久成為了該訓練集的一部分。但 CommonCrawl 等服務確實允許類似的 robots.txt，但網站所有者需要在資料被收集之前實施這些更改。

We are now blocking another one of OpenAI's scraping bots. You can too. (I don't know if this is the secret one we couldn't block before or if that one is still in use.)https://t.co/qJqlmTZzAN
— clarkesworld (@clarkesworld) August 7, 2023

點此投放Google多媒體聯播網廣告

※ 如果看到投資類型廣告，請再三評估風險！

點 AI 專欄推薦

post_add 資料來源：電腦王

回智庫 apartment | 超玩媒

Ads by jAD

網站+主機+網域+廣告，找我們一次解決

點AI》用 Google AI 打選戰，落實政黨數位轉型

Google Gemini AI：傑愛得資訊（jumpAD）的 AI 創新度

Google Gemini AI：傑愛得資訊（jumpAD）近況

傑愛得資訊領先業界

國際認證獎項報導

我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊

─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

explore 發展趨勢

bookmark_star 查看資歷

【2024年亞太區年度AI廣告科技公司 AI Advertising Technology Company of the Year in APAC 2024】封面人物，榮獲MarTech Outlook期刊評選
【2024年全球十大最具影響力的領導人 Top 10 Best Global Influential Leaders of 2024】榮獲Business Frontier雜誌評選
【2024年值得關注的30大領先企業 30 Leading Companies to Watch 2024】榮獲CIO Bulletin期刊評選
【2023年最具啟發性的企業領袖總裁】榮獲CXO Outlook美國期刊評選
【2023年亞太區20大傑出AI人工智慧供應商】榮獲《APAC CIO Outlook》矽谷科技期刊評選
Google Ads 全台灣第一個金融業智慧出價2.0成功案例。
多年數位行銷經驗，為Google Partners徽章認證經銷，代理Google, Facebook, Dcard, Microsoft, Yahoo apollo，並提供旗下jAD Ads聯播網廣告。
擁有AI數位廣告技術專利。全台灣第一家擁有專利的廣告代理商。
全台獨家推出 Google語音助理專用廣告。
2018年台灣地區Google Ads帳戶優化品質第一。
每月代客操盤數位廣告投放金額達800萬台幣。Google Ads代理累計超過4億台幣+。
回饋Google官方協助Google Ads廣告系統優化與無效點擊分析。
參與過多次台灣地區選舉網路廣告，2018年為候選人輔選衝出第一高票，當選率100%。
曾為某家無品牌客戶三年內在網路上陌生開發一億業績。
曾為企業旗下三網站在Yahoo!奇摩搜尋引擎優化SEO，自然搜尋關鍵字排名前三名(第一名~三)。
旗下經營自媒體與電商。
曾研發Yahoo!關鍵字廣告惡意點擊反擊程式。
曾為客戶品牌行銷，透過搜尋行銷SEM讓關鍵字在產業TA形成Google熱搜。
領先業界研發網站人潮之網頁定點閱讀率分析。
領先業界研發網站全通路人潮分析系統，直接於訂單中分析客戶來訪的廣告來源(搜尋/FB/LINE/WeChat)、客戶搜尋的關鍵字、客戶點閱的廣告文案。
為全端網站設計團隊，並具有多年網路行銷經驗。
擔任企業網路行銷顧問講師，專門破解同業暗黑行銷術。提供網醫數位行銷診斷服務

立即聯絡

Google數位行銷服務關鍵字搜尋聯播網廣告 GDN 多媒體聯播網廣告 YouTube 影片聯播網廣告 Performance Max PMax最高成效廣告購物廣告智慧型廣告探索廣告應用程式廣告 motion_sensor_active 轉換追蹤規劃設定服務類別 AI 網路廣告 AI 網站系統 AI 雲端主機 AI 人工智慧 AI SEO優化站內搜尋 medication 網醫診斷 AI客服 LINE id: @vhp8681s [email protected] 傑愛得資訊 Jump AD 聯絡： 0800-000-964 WeChat id: godzilla1128
			聯絡我們