圖片來源：YouTube
Google研究人員，利用深度學習、影像模型打造出一套系統，能夠辨識出畫面中說話人物的聲音，依照需求強化特定人士的聲音，消除其他人聲、環境音。
人類有一項特殊的能力，能夠在眾多吵雜的聲音中，辨識出我們熟悉、想聽的聲音，「過濾」掉其他雜訊，專注在說話的對象上，而機器要做到這樣的程度，在過去一直被認為是一件相對困難的事。
最近Google研究人員，利用深度學習、影像模型打造出一套系統，能夠辨識出畫面中說話人物的聲音，依照需求強化特定人士的聲音，消除其他人聲、環境音，這項功能將來可以應用在多人的電話、視訊會議中，或者在多人爭辯的政論節目中，幫助我們清楚聽見特定人士的觀點。
利用深度學習，分離不同聲音來源
「人們很擅長在吵雜的環境中，將注意力放在特定的人身上，心理上將其他人與背景聲音靜音。」Google軟體工程師Inbar Mosseri 、Oran Lang認為，這是人類一項先天的能力，可以將眾多聲音區分成各種音源，但過去許多研究都認為，這對電腦來說仍是一項重大挑戰。
根據最新一份叫「Looking to Listen at the Cocktail Party」研究，研究人員透過深度學習，同步分析影片中的影像與聲音，能單從說話者的臉部表情，就辨別出是誰在說話，觀眾只要點選畫面中特定人臉，就能聽見想聽的聲音來源。研究人員使用10萬支、總長度達2,000小時的單一講者影片，訓練系統辨識個別聲音，接著混入其他影片增加背景雜音，一步一步教懂AI辨別不同音軌，最後會產生一套模型。
|