原標(biāo)題:前沿 | 結(jié)合感知和概念思維，DeepMind提出可微歸納邏輯框架?ILP
最近，DeepMind 在 JAIR 上發(fā)表論文《Learning Explanatory Rules from Noisy Data》，表明將直觀感知思維和概念可解釋性推理思維整合到單個系統(tǒng)中是可能的。他們介紹的系統(tǒng)?ILP 對噪聲數(shù)據(jù)具備魯棒性，且可以高效地利用數(shù)據(jù)，并生成可解釋的規(guī)則。
假設(shè)你在踢足球，足球到了你腳下，你決定把球傳給無人盯防的前鋒。看似一個簡單的動作其實需要兩種不同類型的思維。
首先，你識別到腳下有一顆足球，這需要直觀感知思維，你無法清晰地表達你是如何知道腳下有一顆足球的，你只是看到它就在那里。其次，你決定將球傳給某個前鋒，這個決定需要概念性思維。你的決策是有依據(jù)的，你把球傳給那個前鋒是因為她沒有被盯防。
這種區(qū)別很有意思，因為這兩種類型的思維對應(yīng)兩種不同的機器學(xué)習(xí)方法：深度學(xué)習(xí)和符號程序合成（symbolic program synthesis）。深度學(xué)習(xí)聚焦于直觀感知思維，而符號程序合成聚焦于概念性的、基于規(guī)則的思維。每個系統(tǒng)有不同的指標(biāo)，深度學(xué)習(xí)系統(tǒng)對帶噪數(shù)據(jù)具備魯棒性，但其工作原理難以解釋，且需要大量訓(xùn)練數(shù)據(jù)；而符號系統(tǒng)更容易解釋，只需要少量的訓(xùn)練數(shù)據(jù)，但難以處理帶噪數(shù)據(jù)。雖然人類感知能力可以無縫結(jié)合這兩種思維方式，但如何將二者整合到 AI 系統(tǒng)中，尚無清晰的結(jié)論。
最近，DeepMind 在 JAIR 上發(fā)表論文《Learning Explanatory Rules from Noisy Data》，表明將直觀感知思維和概念可解釋性推理思維整合到單個系統(tǒng)中是可能的。他們所描述的系統(tǒng)?ILP 對噪聲是魯棒的，可以高效地利用數(shù)據(jù)，并生成可解釋的規(guī)則。
作者展示了?ILP 如何處理歸納任務(wù)。給定一對表示數(shù)字的圖像，其任務(wù)是輸出標(biāo)簽（0 或 1）指出左圖的數(shù)字是否比右圖的數(shù)字小。解決這個問題需要上述的兩種思維：直觀感知思維將圖像識別為特定數(shù)字的表征，概念性思維理解完全一般性的「小于」關(guān)系。
給標(biāo)準(zhǔn)的深度學(xué)習(xí)模型（如帶 MLP 的卷積神經(jīng)網(wǎng)絡(luò)）提供足夠的訓(xùn)練數(shù)據(jù)，它可以有效地解決這個任務(wù)。一旦網(wǎng)絡(luò)經(jīng)過了訓(xùn)練，你就可以向網(wǎng)絡(luò)輸入一對它未見過的圖像，網(wǎng)絡(luò)可以正確地對其分類。然而，只有用每對數(shù)字的多個樣本進行訓(xùn)練，網(wǎng)絡(luò)才能正確地泛化。這種模型的視覺泛化能力很好：泛化到新的圖像上，假定它已經(jīng)見過測試集中的所有數(shù)字對（參見下圖中的綠框部分）。但它無法進行符號泛化：泛化到它從未見過的數(shù)字對（參見下圖中的藍框）。Gary Marcus 和 Joel Grus 近日通過發(fā)人深省的文章指出了這一點。
?ILP 和標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)不同，它可以進行符號泛化；?ILP 也和標(biāo)準(zhǔn)的符號程序不同，它可以進行視覺泛化。它從可讀取、可解釋和可驗證的樣本中學(xué)習(xí)顯式的程序。向?ILP 提供部分樣本集（期望結(jié)果），它可以生成一個滿足需求的程序。它利用梯度下降來搜索程序空間。如果程序的輸出和參考數(shù)據(jù)的期望結(jié)果相沖突，系統(tǒng)將修正程序以更好地匹配數(shù)據(jù)。
?ILP 能夠進行符號泛化。在它見過足夠的 x < y、y < z、x < z 樣本之后，它就會考慮 < 關(guān)系可傳遞的可能性。一旦它意識到這條泛化規(guī)則后，就可以將其應(yīng)用到未見過的新的數(shù)字對。
DeepMind 認(rèn)為該系統(tǒng)可以初步回答深度神經(jīng)網(wǎng)絡(luò)能否進行符號泛化的問題。未來，DeepMind 計劃將?ILP 類系統(tǒng)整合進強化學(xué)習(xí)智能體和更大的深度學(xué)習(xí)模塊。DeepMind 希望其系統(tǒng)可以同時具備推斷和反應(yīng)的能力。