如何教人工智能提取抽象知識？遷移學習可以幫上忙

　　昂貴、罕見、難駕馭、有破壞性，人生哪有一帆風順，人工智能的“一生”也會遇到很多難以進行“訓練”的場景，也就是靠大量常規數據無法訓練的場景。

　　就好像拍電影，要拍《少年派的奇幻漂流》，需要一隻老虎做演員，怎麼辦？買好多隻這種珍稀動物，讓馴獸師教它演戲，到最后還任憑它因劇情需要而死去？

　　這肯定不行。於是李安讓特技團隊“造”出一隻相似度99%的虛擬虎，昂貴、罕見、難駕馭、有破壞性的難題迎刃而解，而以此為代表作品的虛擬場景構建技術也成為遷移學習的一種方法。

　　日前，有媒體轉載《日本經濟新聞》報道，日本在人工智能“遷移學習”研究方面取得進步。日本東北大學將遷移學習應用在模仿語氣的對話系統上，鬆下公司將其應用在了判定特定人群病情的軟件上，被視作加速人工智能應用落地的研究進展。

　　AI的學習為什麼要遷移，又如何遷移？它如何讓AI更智慧？科技日報記者1月3日專訪了北京語言大學教授荀恩東、智能一點公司CTO莫瑜等行業專家，聽聽他們的解讀。

　　舉一反三：用一般數據解決特殊問題

　　“有些模型的識別率已經超過了人的識別率。”荀恩東說，人們越來越擅長訓練深度神經網絡，但是高准確率是建立在現實情況與訓練情況相吻合的基礎上，即實戰與演習相一致。

　　如果是預設之外，就很難達到預期的識別准確率。“機器有機器的預設之外。”荀恩東以聲音識別為例告訴記者：比如太濃的口音、太大的背景噪音等，這些和人的“困難場景”一致，但是機器還會受到遠場噪音的影響，“例如太空曠的地方，會有回音，影響識別”。

　　那是不是每遇到一個特殊場景，都要重新建模，輸入大量的樣本讓機器重新學習一次呢？答案當然是否定的。

　　因為我們首先要考慮成本因素，這就是文章開頭提到的“昂貴、有破壞性”特點。其次就是“難駕馭”的問題了——即使我們能不惜成本地反復建模、學習新樣本，但有些特殊場景的樣本很罕見，或者無法控制其能產生的成本，也就無法達到組成訓練集的要求。比如《日本經濟新聞》報道的，有些罕見病的診斷分析案例隻有幾十件，這種情況下，如何讓人工智能擁有判斷的能力？

　　“現實世界真混亂啊”，當AI從模型訓練來到“塵世”，它可能會有這樣的慨嘆，大量的全新場景涌過來，“生搬硬套”根本使不上。

　　成功的模型目前仍然極度依賴數據，但能夠獲得大量可用數據的情況卻因領域不同，而分布極度不均。資料顯示，目前少數數據是公開的，還有不少數據是有專利的，或者購買起來很昂貴，剩下更多領域的數據是無法獲得或者沒有積累的。也就是說，AI的“訓練題庫”完全無法覆蓋“考試題庫”。

　　為了解決新的任務，“遷移學習”成為人們希望人工智能擁有的能力。“要能用一般的數據解決特殊的問題，用易獲得的數據解決難收集數據的問題。”北京語言大學教授荀恩東說，它能拓展人工智能的實際應用范圍。

　　“就是舉一反三的能力，”莫瑜解釋，比如，要讓機器在識別貓之后很容易識別狗，就需要構建一個識別貓的模型，包含一些特征，例如尾巴、腿、胡須等，這些特征在識別狗的時候可以被機器利用上。

　　說起來很簡單，但這意味著神經網絡有能力存儲並提取“概念性”的東西，也就是存儲和提取抽象的知識，而“不局限於給數據、出結果這種端對端的輸入輸出”，荀恩東說。

　　眼花繚亂：不同領域需要不同策略

　　“數據層面、特征層面、模型層面的內容都可以進行遷移。”荀恩東說，遷移學習並不是某個固定的算法或者具體的技術，更多地是一種解決問題的策略。

　　遷移學習之前被稱為自適應學習。它的初衷是節約人工標注樣本的時間，讓模型可以通過已有的標簽數據向未標簽數據遷移。“某個特定模型裡的標簽數據是機器能夠識別的，機器根據標簽來捕捉識別特點，如果成功將模型遷移至未標簽數據，那麼這些數據不用重新建模就可以使用。”荀恩東說。

　　遷移學習具體怎麼做呢？

　　“遷移學習就是開發一系列如何遷移的算法。”莫瑜解釋，怎麼讓在一個領域工作的算法在少量新數據的情況下可以應用到新的領域？例如，可能存在一種算法，不需要改造，在聽懂普通話的AI開發出來之后，直接就能聽懂廣東話。“一般機器學習算法研究如何解決問題，而遷移學習要創造遷移算法，實現從一個領域的問題解決方案遷移到另一個相似領域。”據稱，在過去20年中，科學家積累了上百種遷移學習的算法。

　　隨著研究的深入，遷移學習的策略越來越多，也取得了不小的進展。第四范式首席科學家楊強曾在一次演講中介紹，將機器學習的目標問題“打散”，即把問題的結構和內容分離開，會發現不同問題之間的共性。一篇發表在《科學》雜志上的文章顯示，將手寫字體識別上的結構和手寫方式區分開之后，結構的學習採用單個數據就能訓練。此外，層次化的系統更容易幫助構建機器學習的遷移﹔分階段地從已訓練領域到新領域的多步傳導式遷移也被証明是適用的策略。

　　可見，“遷移大法”的原則是在實現由A領域向B領域的遷移時，盡量“平滑”地推動——兩個域的表征要盡可能相似，或者通過一些操作增加兩個域表征的相似性，甚至創建出“通用”的表征。例如ImageNet花費了多年，用數千個小時來創建，“基於ImageNet數據集的圖像識別深度神經網絡模型，經常被用來作為圖像特征抽取，應用到其他圖像任務。”莫瑜說。一篇名為《基於深度學習和遷移學習的識花實踐》的文章進行了類似“百度經驗”的分享，就是基於ImageNet數據集，示范如何將一個原來隻能識別花的圖像的深度卷積網絡，遷移到識別花朵類型、具體品種的新任務上。通過“抽取圖像特征”“准備訓練集，驗証集和測試集”“訓練網絡”等步驟，這一“遷移”得到了88%的識別正確率，計算時間隻用大概半小時，比完成從零開始重新建模快很多。

　　歷久彌新：或成機器學習商業新驅力

　　事實上，遷移學習和人工智能一樣並不是新概念，在近幾年又恢復了研究熱度。2016年，前百度首席科學家吳恩達曾表示，遷移學習將會是繼監督學習之后的下一個機器學習商業成功的驅動力。楊強也認為，機器學習的明天是在小數據、個性化、可靠性上，這取決於遷移學習的發展。

　　國際巨頭也在著力於遷移學習的實踐，AlphaGo的開發團隊DeepMind在嘗試對機器人進行遷移學習的訓練。他們先從一隻胳膊開始——在仿真環境中訓練一個機械臂移動，訓練好之后，把知識遷移到真實的機械臂上，真實的機械臂稍加訓練可以做到和仿真一樣的效果。

　　谷歌通過仿真系統訓練無人車駕駛，然后遷移到實際駕駛中。傳授硅谷企業課程的在線大學優達學城也開源了用來進行無人駕駛汽車工程納米學位教學的模擬器，仿真更方便獲取不同類別的數據，更方便多因素並行地訓練學習。

　　“我們對話機器人也有類似問題，在一個客戶上訓練的對話系統，怎麼應用到新的客戶，而不用從零開始。”莫瑜說，遷移學習的應用范圍是很廣泛的。

　　“遷移學習大多是在解決實際問題，AI應用層面的內容多一些，”荀恩東說，“在實踐中也有各種各樣的做法，我國在AI的應用場景開發上，還是不落人后的。”（記者 張佳星）