2016-08-16 04:39 經濟日報 陳昇瑋
大數據為什麼是個讓人興奮的趨勢呢？因為這是人類歷史上，第一次讓個人有機會可以擁有、處理及分析超越中小型圖書館的資料量（約幾十到幾百個TB）的能力。當然，在蘊藏大量黃金的金礦前，若我們只有十字鎬就開始挖礦，就像沒有學過統計、機器學習及好的資料分析工具就開始分析資料一樣，花了再多人力及時間，成果也只會讓人失望。
我們必須要認清一個現實，要拿資料來解決真實世界的問題，所需要的知識及技術通常已超過所謂的「直覺式資料分析」，也就是開個軟體畫長條圖、直方圖、折線圖及圓餅圖，以及跑個統計檢定，大家一起開個會議來看看趨勢及差異是否夠顯著，以為這就是在運用資料分析做決策。
大部分情況下，要不然資料有太多維度，或有重要但無法測量的維度，或是無法直接用統計軟體處理（例如文字、影像）等等，透過所謂的「直覺式資料分析」，通常是看不出個所以然來。但此時，若有適切的資料分析能力，看起來像垃圾的資料可能瞬間就變成黃金。
所以並不是擁有資料的公司就一定有競爭力，競爭力來自於怎麼處理、分析及利用所擁有的資料。有太多的機構擁有像寶山一樣的資料集，卻只是堆在磁碟陣列中，殊不知這些資料的價值一天一天在削減，不好好開採的話，其實跟網路上抓下來但沒時間看的電影一樣，放心酸的。
資料分析的步驟難在哪裡呢？事實上，學習使用資料分析工具或程式語言並不特別困難，學習統計及機器學習等技術當然有些難度，但也不會造成關鍵差異，重點在於可能的解決方法太多，因此，在什麼時候？應該拿哪些技術／方法／工具的組合？做什麼樣的調校？來解決某個特定問題，才是最困難的挑戰。
換句話說，資料分析有大致的原則及步驟，但沒有絕對的SOP，所以跟蛋炒飯一樣，人人有材料就會做，但是炒出一盤油而不膩、粒粒透亮分明的蛋炒飯，沒有一定的火候是做不到的。
舉個例子，前陣子擔任一個資料競賽的評審，資料來源及目標是一致的，但十組團隊就有十種作法，雖然工具的使用看似大同小異，但因應用方式的差別，預測的精準度可以差個兩倍以上。這是為什麼開放及交流很重要，沒有交流，只是閉門造車，一個團隊關起門來「精益求精」，殊不知外頭的發展日新月益。有時候一個小撇步，可以造成巨大的效益，若沒有交流，讓先聞道者瞭解你有這個問題，當然也沒有機會告訴你。
許多人擔心公司的營業秘密會因此分享而外流，其實絕大部分情況下都是多慮。大家的工具基本上都是類似，只是因為資料、問題及情境的差別有不同的使用組合，不太可能將一個作法直接套用在另一個情境。更何況，資料的運用有個天然屏障，沒有資料就沒辦法重製。今天若Facebook或LINE把它的資料分析方法公開，沒有它的資料庫，我們什麼事也做不了。
以資料產業來說，核心競爭力的第一要素是資料，第二是能夠善用資料的人才，第三要素才是工具。的確擁有資料才是王道，但擁有資料的公司，也請記得給人才自由，讓他們在技術層面能做適度的開放與交流。這是一個的選擇題：只能閉門造車的人才，以及與全球數十萬資料科學家維持同步的人才，你覺得哪一個表現會更好？
（作者是中央研究院資訊科學研究所研究員、台灣資料科學協會理事長）
|
|
|
|