2023/08/20 INSIDE 硬塞的網路趨勢觀察 機器人 、 DeepMind 、 RT-2 、 邏輯推理 、 語言指令 、 自我學習 、 影像辨識 、 RT-2 模型 、 指令理解能力
DeepMind 開發的 RT-2 模型為機器人帶來了新的里程碑，讓機器人能夠透過語言指令進行邏輯推理和影像辨識。
|
|
Shutterstock
本文作者林子鈞。
DeepMind 開發出的 RT-2（Robotic Transformer 2）模型，讓機器人能夠透過語言指令，進行邏輯推理，並藉由影像辨識的方式完成指令，這將在人類培訓機器人的路上，踏出了一個新的里程碑。
過去要讓一個機器人能正確運轉，我們需要先訓練機器人分辨每個物體，其後才能開始訓練，而這件事並不是做了就一勞永逸，而是你必須要根據每個機器人的特化功能，去設計不同的培訓內容，進而使它能正確的執行任務。
不過 RT-2 演算法不同，它的核心競爭力就在於透過網路來的大量數據和影像，讓機器人能理解語言指令，辨識出不同的物體，並嘗試找出執行的方法。不單單是簡單的指令，它甚至可以自己進行一些推理，例如：找手邊的東西當作槌子使用。這代表 RT-2 能展示出更強的指令理解能力，並具有一定的正確性，為機器人的自我學習建立了一種新的可能性。
DeepMind 舉了幾個實例，例如：RT-2 可以在未經訓練的狀況下，就辨識出桌面的哪個物體屬於垃圾，並把它丟進垃圾桶；又或者是，請他找出桌上物體中的滅絕動物，它可以從各種奇怪的物體中準確的挑出恐龍。在不是指名恐龍或垃圾，但卻能精準辨識出的過程，證明了 RT-2 具備的基礎邏輯推理能力，而這相對於過去的機器人訓練，實現了非常大的革新。
DeepMind 是怎麼做到的？
RT-2 裡面有幾個主要的構成要素：視覺語言模型（VLMs）、還有機器人。
視覺語言模型的部分，DeepMind 透過大量的網路數據訓練，能夠輸入單個或多個圖像，並生成一系列的標記，讓後續模型可以做到視覺問答、圖像說明或物體識別等任務。視覺語言模型的根基來自於過去 Google 發表的自然語言模型 PaLM-E，以及語言圖像模型 PaLI-X。
而要控制機器人，它必續被訓練收到指令後要如何動作，DeepMind 採用的作法是把動作拆解為自然語言模型可以理解的字符，來讓機器人理解針對不同的指令要如何運作。
|
|
這種字符串的示例可以是機器人動作標記編號的序列，例如“1 128 91 241 5 101 127 217”。
語言模型生成的字串，會以一個指令是否繼續或終止當前情節的標記，然後是更改末端執行器的位置和旋轉的命令，以及機器手臂的所需延伸距離。
這部分根基於過往 DeepMind 的 RT-1 實驗，並採用了相同的動作版本，讓在機器人身上訓練模型成為了可能。
|
|
Photo Credit: DeepMind
不只是執行命令，RT-2 是個會自己思考的機器人
開頭我們說過，RT-2 代表的其實是對於機器人長期訓練的重要里程盃。
DeepMind 在 RT-2 的目標設計上，認為其需要具備三個主要的目標，包含理解指令、推理和人類識別。
為了讓 RT-2 在後續的發展性更強，DeepMind 讓 RT-2 模型接觸了諸多任務，而這些任務中存在它並不在之前的訓練中見過的物體、環境，並出了一些邏輯題，檢測 RT-2 演算法是否能正確理解，這其中包含了非常多情境，例如下圖這個將番茄醬移到藍色立方體旁邊，在這個實驗中，除了藍色立方體以外，其他物體 RT-2 都沒見過，但最後他能正確的找到番茄醬，並將其移到藍色立方體旁邊完成任務。
|
|
Photo Credit: DeepMind
可能有人會懷疑番茄醬瓶子上有寫字，是不是作弊？可能就是怕別人這樣想，所以 DeepMind 要求 RT2 證明自己，例如下圖這張示意，問機器手臂：「我需要釘釘子，在這個情況中那些東西有用？」
最後他能成功地找出石頭作為答案。
|
|
Photo Credit: DeepMind
在 RT-2 目前為止的實驗結果中，相較於之前類似功能的演算法，其泛用性能顯著提高了三倍以上，優於過去的 RT-1 版本，實現了性能的突破性飛升。這或許也代表，後續不管在智慧工廠或是家用情境上，未來的幾年，我們都能期待多功能的機器人讓我們的生活變得更方便了。
最後放上 DeepMind 花式訓練 RT-2 的任務集，沒想到還有 Talor Swift 和金塊隊，機器人懂得可能比某些人類還要多呢。
|
|
Photo Credit: DeepMind
參考資料：
責任編輯：Mia
核稿編輯：Chris |