筆者最近認識的朋友萬力博士（主頁：https://www.cs.nyu.edu/~wanli/），2009到2015年在紐約大學(xué)攻讀博士，研究方向神經(jīng)網(wǎng)絡(luò)在視覺方面的應(yīng)用，目前在Google語音組工作。在”機器。算法。人”群里面做了一次精彩分享，這次是他博士研究學(xué)習(xí)到的東西。題目是Joint Training of Neural Network and Structured Model. 給大家做個總結(jié)，確實專業(yè)術(shù)語比較艱深，不明覺厲的同學(xué)收藏吧。
　　
　　
　　什么是computer vision和vision難在什么地方。博士后期主要是就是做檢測：也就是給一個圖片。我們要給出什么物體出現(xiàn)在圖中，并且給出一個框框來框出物體。這個主要的難度就在于，不知道什么物體（object of interst） 出現(xiàn)（也可以什么物體都沒有），和它們都在哪里。
　　舉個例子來說，在1000-class classification 里面，你隨便猜測一個標(biāo)簽。猜到的幾率是1e-3。但是你在檢測，你隨便畫一個框框，然后說這個是某個物體，你猜對的幾率是《1e-6
　　
　　我認為的理想的模型是一個混合模型：就是神經(jīng)網(wǎng)絡(luò)模型＋帶結(jié)構(gòu)化的模型
　　這樣的話人類知識就可以放進神經(jīng)網(wǎng)絡(luò)。這個混合模型的訓(xùn)練套路也是很簡單： 1）初始化神經(jīng)網(wǎng)絡(luò) 2） 用神經(jīng)網(wǎng)絡(luò)的feature來訓(xùn)練后面的模型 3）把后面結(jié)構(gòu)話的模型變?yōu)樯窠?jīng)網(wǎng)絡(luò)的layer 4）混合到一起訓(xùn)練。