星辰視界：智慧眼AI Lab之小樣本學習
當深度學習知名于業(yè)界時，存在于深度學習和人類智能的一個顯著差異亦為大眾所知：人類可以從很少的資源中學習或識別一個概念，而深度學習則需要大量的標注樣本進行訓練才能得到一個滿意的效果。
但是在實際應用場景中，能夠同時覆蓋時間、空間、顏色、形狀和行為等特征的數據少之又少，再加上數據標注通常非常困難，小樣本深度學習（few-shot learning）也就應運而生了。
什么是小樣本深度學習？
一歲多的嬰兒，根據繪本的物體圖片，比如一把綠色的鏟子，在學習一兩次后，就可以爬到玩具堆里找到幾把不同形狀和顏色的鏟子，同時把繪本翻到對應的頁面。
我們看到，人類具有只通過少量樣本或特征描述就可以識別物體的能力，受人類這種快速學習能力的啟發(fā)，研究人員希望機器學習也能夠只通過學習少量樣本就可以進行快速建模，對不同的類別進行區(qū)分，而且能在不改變模型參數的情況下，對新類別進行識別，這就是小樣本學習（few-shot learning）。
小樣本學習(FSL)利用先驗知識，可以快速泛化到只包含少量監(jiān)督信息的樣本新任務中。
小樣本學習，可認為是Meta Learning在監(jiān)督學習上的應用，即在訓練階段，每次迭代（episode）會對樣本采樣，得到一個meta task；在不同的迭代中，訓練數據包含了不同的組合，使得模型會去學習不同meta task中的共性部分，忘掉和task相關的部分。因此在面對meta test時也能進行較好的分類。
圖1 Few-shot Learning 示例
圖 1 展示的是一個 2-way 5-shot 的示例，可以看到 meta training 階段構建了一系列 meta-task 來讓模型學習根據 support set 預測 batch set 中的樣本標簽；meta testing 階段輸入數據的形式與訓練階段一致（2-way 5-shot），但是會在全新的類別上構建 support set 和 batch。
小樣本深度學習的分類
Few-shot Learning 模型大致可分為三類：Mode Based，Metric Based 和 Optimization Based。
圖2 FSL模型分類
Model Based方法旨在通過模型結構的設計快速在少量樣本上更新參數，直接建立輸入 x 和預測值P的映射函數；Metric Based方法通過度量batch集中樣本和 support 集中樣本的距離，借助最近鄰的思想完成分類；Optimization Based方法認為普通的梯度下降方法難以在 few-shot 場景下擬合，因此通過調整優(yōu)化方法來完成小樣本分類的任務。
智慧眼的應用探索
針對 Metric Based 系列方法，智慧眼AI Lab提出了 CNN-LSTM-Fusion的三級框架，如圖3所示，目前已應用到異常檢測場景，比如火災檢測、少數民族識別和表情識別當中。Spatial learning模塊用CNN結構學習每一幀的語義特征；Temporal Learning模塊用LSTM，可以歸納和融合出事件的典型類別特征；Fusion模塊用于融合特征和類別直接的關系，進而給出分類決策。
圖3 基于FSL的異常檢測模型
未來發(fā)展
可以預見，小樣本深度學習因其只需少量數據進行訓練就能得到較好效果的優(yōu)勢，可以應用于很多場景，如醫(yī)療數據、手機上用戶手動標注的數據、少量的異常數據等。
智慧眼AI Lab將對小樣本深度學習進行持續(xù)探索，同時嘗試將小樣本與強化學習、遷移學習等技術進行融合，以期為人工智能研究帶來新的技術突破！
湘ICP備20003263號-1