想用機(jī)器學(xué)習(xí)提升業(yè)務(wù)價(jià)值，在搭建平臺(tái)、處理數(shù)據(jù)、訓(xùn)練算法之前，真正要做的第一步應(yīng)該是什么？
本文會(huì)從幾個(gè)方面分析這個(gè)問(wèn)題：

第一，機(jī)器學(xué)習(xí)是不是萬(wàn)能良藥？我們首先需要想清楚,機(jī)器學(xué)習(xí)作為特別牛的技術(shù),它能解決什么樣的問(wèn)題。

第二，一個(gè)業(yè)務(wù)問(wèn)題，可能有各種千奇百怪的坑，假設(shè)我們初步判定可以通過(guò)機(jī)器學(xué)習(xí)來(lái)解決他，那么應(yīng)該通過(guò)怎樣的轉(zhuǎn)化，避開這些坑，把業(yè)務(wù)問(wèn)題變成機(jī)器學(xué)習(xí)的問(wèn)題。

第三，如果有一個(gè)好的可以轉(zhuǎn)化成機(jī)器學(xué)習(xí)的問(wèn)題，我怎么去設(shè)計(jì)機(jī)器學(xué)習(xí)的開發(fā)節(jié)奏，估算它的投入產(chǎn)出比，如何分階段去推動(dòng)問(wèn)題的建模和應(yīng)用。

這就是今天要介紹的，機(jī)器學(xué)習(xí)的MVP。

機(jī)器學(xué)習(xí)的最小可用產(chǎn)品

現(xiàn)在的互聯(lián)網(wǎng)技術(shù)，接受的一個(gè)概念是最小可用產(chǎn)品，MVP，就是開發(fā)團(tuán)隊(duì)、設(shè)計(jì)團(tuán)隊(duì)用最小的成本代價(jià)，最大程度去驗(yàn)證產(chǎn)品的可行性。這個(gè)產(chǎn)品的可行性，是指這個(gè)需求是否真實(shí)存在，一個(gè)產(chǎn)品滿足需求的方式是不是對(duì)的。

機(jī)器學(xué)習(xí)也是一樣的，我們做機(jī)器學(xué)習(xí)的投入是長(zhǎng)期的、持續(xù)的，帶來(lái)的收入和回報(bào)也是巨大的，在開始之前，我們一定會(huì)希望以比較低的成本知道：現(xiàn)在引入機(jī)器學(xué)習(xí)是否可以影響我們所面對(duì)的業(yè)務(wù)，產(chǎn)生價(jià)值的潛力有多大。

那么把一個(gè)業(yè)務(wù)真正用機(jī)器學(xué)習(xí)做之前，我們可以用兩步，做一個(gè)機(jī)器學(xué)習(xí)的 MVP：

第一步：我們要選擇正確的業(yè)務(wù)問(wèn)題，并不是所有的問(wèn)題都可以套在機(jī)器學(xué)習(xí)的框架里，有些適合機(jī)器學(xué)習(xí)解決，有些不適合機(jī)器學(xué)習(xí)解決。在任何的技術(shù)項(xiàng)目管理中，用差的方法解決好的問(wèn)題，一定優(yōu)于用好的方法解決錯(cuò)誤的問(wèn)題。

第二步：當(dāng)我們找到一個(gè)機(jī)器學(xué)習(xí)可以解決的問(wèn)題后，我如何通過(guò)最小的時(shí)間和人力代價(jià)，去證明機(jī)器學(xué)習(xí)可以解決它，帶來(lái)滿意的投入產(chǎn)出比。

選擇正確的問(wèn)題：從分類器開始

首先我們看看機(jī)器學(xué)習(xí)擅長(zhǎng)解決什么問(wèn)題。我舉一個(gè)例子，就是周志華老師的西瓜書講的例子，它很經(jīng)典，也很簡(jiǎn)單，還很深刻，這個(gè)問(wèn)題是說(shuō)我要判斷一個(gè)西瓜是好的還是不好的。

這個(gè)問(wèn)題的業(yè)務(wù)場(chǎng)景是什么呢，一個(gè)西瓜，我怎么在不交易、不打開的情況下，就知道它是好的還是不好的。如果我知道，我就可以用同樣的價(jià)錢買到更好的西瓜；而如果我是瓜商，有了一套標(biāo)準(zhǔn)之后，我就可以更好的管理我的貨品。

回到這個(gè)問(wèn)題，一個(gè)西瓜是好的還是不好的，這是典型的機(jī)器學(xué)習(xí)二分類問(wèn)題。首先我們要找到，判斷這個(gè)西瓜好不好有哪些可以用到的數(shù)據(jù)。我們不能把買賣西瓜之后的數(shù)據(jù)放進(jìn)去分析，比如買了西瓜之后，我打開就知道好不好了，那么這個(gè)就沒(méi)有價(jià)值。

所以我必須在不破壞西瓜的前提下，這時(shí)候能用到的數(shù)據(jù)是西瓜的產(chǎn)地、西瓜的紋路、重量、比重、敲擊西瓜的聲音是渾濁還是清脆、西瓜皮的質(zhì)感等等，這些不打開西瓜的情況就知道的數(shù)據(jù)。

剛剛我們的目標(biāo)已經(jīng)講得很清楚了，好的還是不好的，好的是 1，不好的是 0，甚至我還可以定義一個(gè)評(píng)分，0 到 1 之間的一個(gè)數(shù)，但總體而言我可以設(shè)定一個(gè)機(jī)器學(xué)習(xí)的目標(biāo)，我們稱之為 Label。

選擇正確的問(wèn)題：真實(shí)世界模型

這看起來(lái)是一個(gè)很簡(jiǎn)單的場(chǎng)景，好像一旦我們具備了這樣的數(shù)據(jù)，就可以嘗試建立機(jī)器學(xué)習(xí)模型了。然而在現(xiàn)實(shí)中，當(dāng)我們想用機(jī)器學(xué)習(xí)來(lái)解決實(shí)際問(wèn)題時(shí)，也會(huì)這么簡(jiǎn)單么？真實(shí)世界中往往是有很多陷阱的。這些陷阱可能有什么呢？

第一，西瓜好不好，是怎么定義的？是大？還是甜？皮厚不厚？瓤脆不脆？如果建立這個(gè)模型是為了西瓜的售賣，這些因素可能都會(huì)評(píng)價(jià)的因素之一，模型學(xué)習(xí)的樣本也都需要基于這個(gè)標(biāo)準(zhǔn)來(lái)建立。如果我們僅僅是基于西瓜大不大來(lái)定義樣本，而實(shí)際的應(yīng)用場(chǎng)景是綜合判斷西瓜好不好，那么可能會(huì)得不到想要的好的結(jié)果。

第二，西瓜好不好，是以什么為標(biāo)準(zhǔn)的？是用科學(xué)方法和儀器測(cè)量的？還是專家評(píng)測(cè)？如果是后者，評(píng)測(cè)者是同一個(gè)人么？如果是不同的人，大家對(duì)好西瓜的判斷標(biāo)準(zhǔn)一樣么？ 現(xiàn)實(shí)情況中，很可能是不一樣的，那就要想辦法消除Label的偏差。

第三，互聯(lián)網(wǎng)的場(chǎng)景下，往往是需要滿足所有人個(gè)性化的需求的 。有些人喜歡甜的西瓜，有些人喜歡脆的西瓜，那將問(wèn)題定義為分辨好的西瓜是否還合適？因?yàn)槊總€(gè)人對(duì)好西瓜的定義不一樣，這個(gè)問(wèn)題可能就轉(zhuǎn)化為了推薦一個(gè)西瓜給一個(gè)用戶，他（她）會(huì)不會(huì)喜歡。

第四，真實(shí)的應(yīng)用環(huán)境是怎樣的？假設(shè)我們需要一個(gè)在線實(shí)時(shí)的西瓜分類器，拿到西瓜那一刻馬上判斷它好不好，那是不是有些當(dāng)時(shí)不能馬上拿到的特征就不能用了？如果好瓜的判斷標(biāo)準(zhǔn)在不斷發(fā)生變化，或者瓜本身的特性在不斷變化，模型還需要能夠跟得上這個(gè)變化，基于新的數(shù)據(jù)和反饋?zhàn)鲎晕腋碌?，這就是我們搭建模型更新的方法。

可見，即便是簡(jiǎn)單的問(wèn)題，我們都需要思考一下業(yè)務(wù)的方方面面，理清哪些因素，邊際，個(gè)性化要素和基礎(chǔ)設(shè)施是要考慮進(jìn)去的。

選擇正確的問(wèn)題：業(yè)務(wù)問(wèn)題的本來(lái)面貌

我們從西瓜還原到業(yè)務(wù)，任何一個(gè)業(yè)務(wù)能不能做機(jī)器學(xué)習(xí)，我們要看三個(gè)要素。

第一，這個(gè)業(yè)務(wù)的目標(biāo)值是什么，它不一定是唯一的，但一定有主次。這個(gè)目標(biāo)是否可以量化、收集反饋、客觀觀測(cè)的。什么叫客觀觀測(cè)，我說(shuō)甜和你說(shuō)甜，這個(gè)事情就可能不客觀，那有沒(méi)有一個(gè)客觀的東西可以反饋。

第二，樣本應(yīng)該如何構(gòu)造,樣本不應(yīng)該違反因果關(guān)系,y=f(x),x一定是我們業(yè)務(wù)場(chǎng)景中所能知道的信息。在西瓜的問(wèn)題,就是打開西瓜之前我們能知道的信息,才可以作為x。同時(shí)，樣本應(yīng)該符合業(yè)務(wù)場(chǎng)景的真實(shí)情況，假設(shè)我們的業(yè)務(wù)是摸黑挑西瓜,我們看不見西瓜長(zhǎng)什么樣,我們只能敲,那西瓜的顏色就不能作為特征。

第三，樣本的每一行代表什么意思，每一行應(yīng)該代表西瓜的每次測(cè)量，然后才是選擇哪些數(shù)據(jù)作為x，這些我們已經(jīng)講得很清楚。

當(dāng)西瓜的問(wèn)題說(shuō)完后，我們來(lái)看看真實(shí)的業(yè)務(wù)問(wèn)題是怎樣的。

1.點(diǎn)擊率預(yù)估

比如說(shuō)我們看到的推薦系統(tǒng)問(wèn)題——點(diǎn)擊率預(yù)估。

一個(gè)推薦系統(tǒng)的目標(biāo)是什么？它的終極目標(biāo)一定是用戶體驗(yàn)，但這個(gè)目標(biāo)很虛幻，我們要把它量化，變成一系列可以測(cè)量的數(shù)據(jù)，比如說(shuō)點(diǎn)擊、觀看時(shí)長(zhǎng)、購(gòu)買、好評(píng)等，這些就是y。

然后我們看有哪些x，這些x代表的是我做出推薦排序的一瞬間，當(dāng)客戶請(qǐng)求時(shí)，在那個(gè)瞬間我知道的事情。我能知道客戶的屬性、特征，我能知道內(nèi)容特征、上下文特征，但不知道最終這個(gè)內(nèi)容是否有被展現(xiàn)和點(diǎn)擊。我可以知道內(nèi)容在這一瞬間之前被點(diǎn)擊了多少次，但一定不是這個(gè)瞬間之后被點(diǎn)擊了多少次，因?yàn)檫@樣就穿越了。

有了y和x，就可以構(gòu)造樣本了。我的樣本比如說(shuō)，我給用戶展現(xiàn)了 10 條推薦的內(nèi)容，這個(gè)的反饋可能是點(diǎn)擊和觀看，那么每一次的樣本展現(xiàn)就是一個(gè)樣本。

這里我們可以思考一個(gè)有趣的問(wèn)題，當(dāng)我們思考不同的特征對(duì)問(wèn)題的影響時(shí)，比如說(shuō)我們把展現(xiàn)作為一個(gè)樣本，一個(gè)避免不了的問(wèn)題是，我怎么知道這個(gè)內(nèi)容是否被用戶看到。

一種做法是我不去想這件事情，那么模型可能就是有偏的，比如說(shuō)你認(rèn)為這個(gè)樣本沒(méi)有被點(diǎn)擊，但也有可能是沒(méi)有被看到，但最理想的是把推薦到用戶手機(jī)屏幕上的作為一條樣本。

退一步，還有一個(gè)辦法，就是把展現(xiàn)的位置補(bǔ)充回來(lái)，作為一個(gè)特征。然后請(qǐng)求的時(shí)候雖然沒(méi)有這個(gè)特征，但是這個(gè)特征吸收了位置對(duì)于展現(xiàn)和反饋的偏差。

2.簡(jiǎn)歷匹配

再舉一個(gè)場(chǎng)景的例子 —— 簡(jiǎn)歷匹配。簡(jiǎn)歷匹配是什么意思？它其實(shí)想預(yù)測(cè)的是，我給企業(yè)推薦了一個(gè)簡(jiǎn)歷，這個(gè)人有沒(méi)有被企業(yè)聘用，這看起來(lái)是個(gè)簡(jiǎn)單的機(jī)器學(xué)習(xí)問(wèn)題。但是回到業(yè)務(wù)場(chǎng)景思考，這個(gè)問(wèn)題有沒(méi)有這么簡(jiǎn)單？對(duì)于內(nèi)容推薦來(lái)說(shuō)，用戶有沒(méi)有點(diǎn)擊這個(gè)內(nèi)容，點(diǎn)擊后看多久，都是用戶單方面的選擇。

但是簡(jiǎn)歷有兩個(gè)選擇，第一個(gè)選擇是企業(yè)通過(guò)面試、簡(jiǎn)歷的選擇，判斷這個(gè)人是否適合企業(yè)。第二個(gè)選擇是應(yīng)聘者，他會(huì)不會(huì)去企業(yè)面試，而即便拿到了企業(yè)的offer，會(huì)不會(huì)被打動(dòng)加入企業(yè)。

所以這就變成了多點(diǎn)、雙向的問(wèn)題，在這樣的情況下，就需要對(duì)問(wèn)題進(jìn)行拆解。我們可以不直接做個(gè)人被企業(yè)招聘的事情，而是分開來(lái)做，比如說(shuō)企業(yè)會(huì)不會(huì)邀請(qǐng)這個(gè)人去面試，以及這個(gè)人會(huì)不會(huì)接受企業(yè)的面試邀請(qǐng)，這樣就能把問(wèn)題做的更好。

解決正確的問(wèn)題：小結(jié)

總結(jié)一下我們剛剛所介紹的MVP第一步：做機(jī)器學(xué)習(xí)，首先不是著急去建機(jī)器學(xué)習(xí)的模型，而是認(rèn)真思考這件事情的業(yè)務(wù)場(chǎng)景到底是怎么樣的。

總結(jié)下來(lái)一個(gè)機(jī)器學(xué)習(xí)能解決的業(yè)務(wù)問(wèn)題，有這么幾個(gè)點(diǎn)：

第一它是否能轉(zhuǎn)化成分類/回歸的問(wèn)題

第二目標(biāo)是否是容易獲取、客觀無(wú)偏差的數(shù)據(jù)。

第三是問(wèn)題的預(yù)測(cè)目標(biāo)，因果關(guān)系是什么，因果關(guān)系越簡(jiǎn)單越好，如果是多因多果，或者說(shuō)描述“因”的相關(guān)信息不方便獲取，那是否可以拆分成多個(gè)模型。特征往往是因的數(shù)據(jù)，或者是一些不是直接原因的數(shù)據(jù)，只要它不破壞這個(gè)因果關(guān)系。

第四是我們剛剛沒(méi)具體去描述的, 就是這個(gè)問(wèn)題是不是一個(gè)真的業(yè)務(wù)需求。

一個(gè)真的業(yè)務(wù)需求是指，在我們用機(jī)器學(xué)習(xí)做出預(yù)測(cè)后，業(yè)務(wù)能否可以根據(jù)這個(gè)預(yù)測(cè)結(jié)果而受到影響？這個(gè)影響點(diǎn)是否足夠清晰、有效？因?yàn)闃I(yè)務(wù)人員會(huì)用對(duì)業(yè)務(wù)影響的結(jié)果來(lái)評(píng)估我們項(xiàng)目的效果，如果我們預(yù)測(cè)的結(jié)果并沒(méi)有有效影響業(yè)務(wù)，即使這個(gè)模型再好，也不會(huì)發(fā)揮作用。

比如說(shuō)推薦系統(tǒng)，我預(yù)測(cè)了新的點(diǎn)擊率后，可以按照點(diǎn)擊率倒排來(lái)影響業(yè)務(wù)結(jié)果。但如果是游戲呢？如果我們預(yù)測(cè)這個(gè)人明天有30%的幾率付費(fèi)，我該如何影響到他，我能不能影響他？

所以你一定要思考，你的預(yù)測(cè)結(jié)果會(huì)怎么在業(yè)務(wù)中使用，這個(gè)使用會(huì)不會(huì)對(duì)業(yè)務(wù)產(chǎn)生提升。如果你發(fā)現(xiàn)提升本身是很難的，那這本身就是個(gè)偽需求。然后你還需要思考，現(xiàn)在沒(méi)有用機(jī)器學(xué)習(xí)的業(yè)務(wù)，它是用了什么方法和數(shù)據(jù)，現(xiàn)在的方法和數(shù)據(jù)有什么缺陷，哪些是機(jī)器學(xué)習(xí)可以幫到的。

當(dāng)以上的問(wèn)題都有清晰的回答后，這時(shí)候你就可以提出一個(gè)好的問(wèn)題了。這時(shí)候你就成功 80% 了，而剩下的問(wèn)題都相對(duì)簡(jiǎn)單了。

機(jī)器學(xué)習(xí)的投入

這就是我們MVP的第二步：在可控的人力、金錢投入下，構(gòu)建一個(gè)有效的機(jī)器學(xué)習(xí)模型。

那什么是可控呢？1-3人月的投入，更多就會(huì)風(fēng)險(xiǎn)太高。我們會(huì)期望獲得什么提升？Case by case，不同的業(yè)務(wù)不一樣，有些業(yè)務(wù)比如說(shuō)廣告，1%的收入就是好幾百萬(wàn)，而有些問(wèn)題可能要提升好幾倍才有商業(yè)價(jià)值。

在機(jī)器學(xué)習(xí)成本分配中，最大比例在機(jī)器學(xué)習(xí)本身，調(diào)參、特征工程、模型評(píng)估、模型上線這些工程的事情占了大量的時(shí)間，而問(wèn)題的定義、數(shù)據(jù)的采集占的時(shí)間非常小，我們認(rèn)為這是有問(wèn)題的。

我們認(rèn)為一個(gè)機(jī)器學(xué)習(xí)的項(xiàng)目，無(wú)論通過(guò)合作還是使用第三方平臺(tái)的方式，應(yīng)該把大錢花在采集好的數(shù)據(jù)，定義好的問(wèn)題上去，甚至這要超過(guò)一半的時(shí)間。而另一半的時(shí)間，才是真正做機(jī)器學(xué)習(xí)模型的時(shí)間。

降低數(shù)據(jù)的成本

那我們?cè)趺唇档蛿?shù)據(jù)的成本呢？我給大家一些思考。

第一，除非必要，只使用采集好的數(shù)據(jù)。因?yàn)閿?shù)據(jù)采集是一個(gè)有成本的事情，當(dāng)一個(gè)公司的體系越復(fù)雜，它采集數(shù)據(jù)的成本就越高，所以除非這個(gè)數(shù)據(jù)采集起來(lái)很輕松，或者已經(jīng)有了，你才會(huì)去考慮。

第二，如果你要開發(fā)新的數(shù)據(jù)，首先要考慮的是成本。開發(fā)新的數(shù)據(jù)源是有風(fēng)險(xiǎn)的。機(jī)器學(xué)習(xí)最怕的是說(shuō)不清楚這是算法的問(wèn)題，還是數(shù)據(jù)問(wèn)題，還是問(wèn)題定義的問(wèn)題，所以讓 MVP 環(huán)節(jié)中能出問(wèn)題的環(huán)節(jié)越少越好。

前面我們介紹了問(wèn)題定義的問(wèn)題如何避免，而算法一般是不太容易出問(wèn)題的，除非用錯(cuò)，而數(shù)據(jù)其實(shí)是很容易出問(wèn)題的，所以我們盡量用簡(jiǎn)單、可靠、成熟的數(shù)據(jù)。

第三，我們講到在建模的過(guò)程中，盡量使用成熟的工具。真正在數(shù)據(jù)處理，特征計(jì)算，和算法訓(xùn)練的這些過(guò)程中，大量的工作是可標(biāo)準(zhǔn)化，甚至可以用算法自動(dòng)優(yōu)化的，大量的坑其實(shí)也是可總結(jié)，或者說(shuō)可以在產(chǎn)品引導(dǎo)中避免的。我們一直在研發(fā)的第四范式先知建模平臺(tái)，就是在努力將建模過(guò)程中的know-how封裝到產(chǎn)品中，讓用戶操作更簡(jiǎn)單，而且少踩坑，更有效的獲得好模型。

總結(jié)一下，這一步總的思想是，能不制造新的風(fēng)險(xiǎn)點(diǎn)，就不制造風(fēng)險(xiǎn)點(diǎn)，能降低不確定性就降低不確定性。

如何Review機(jī)器學(xué)習(xí)的模型？

好了，做好了前面介紹的兩步，我們已經(jīng)有了機(jī)器學(xué)習(xí)的MVP，機(jī)器學(xué)習(xí)對(duì)業(yè)務(wù)的影響已經(jīng)初見結(jié)論，如果業(yè)務(wù)有明顯提升，那么祝賀你，找到了新的價(jià)值增長(zhǎng)點(diǎn)，優(yōu)化后一定還會(huì)有更大的提升潛力；而如果效果不明顯，我們這里再給大家一些關(guān)于如何review，如何檢查MVP的建議：

首先要 Review 問(wèn)題的方向是不是對(duì)的，模型的效果是否符合預(yù)期，模型的優(yōu)化目標(biāo)是否有明顯的變化，比如優(yōu)化的目標(biāo)是西瓜好不好，優(yōu)化之后是不是買到的西瓜好的變多了。

如果不是，那就是這個(gè)問(wèn)題沒(méi)有解決。那還會(huì)有什么原因？是不是指定了錯(cuò)誤的目標(biāo)，用在了錯(cuò)誤的環(huán)境，或者數(shù)據(jù)有問(wèn)題。其實(shí)說(shuō)白了，要么是目標(biāo)有錯(cuò)，要么是模型用錯(cuò)，要么是數(shù)據(jù)有問(wèn)題，基于這 3 點(diǎn)來(lái)檢查。

在現(xiàn)實(shí)業(yè)務(wù)中，解決了一個(gè)問(wèn)題，有時(shí)也會(huì)帶來(lái)新的問(wèn)題。比如說(shuō)新聞推薦的系統(tǒng)，現(xiàn)在點(diǎn)擊的人多了，那么是不是由于推薦，新聞變得更加娛樂(lè)化了，是不是新聞的點(diǎn)擊變得更集中化了，這可能并不是業(yè)務(wù)上非常希望的，需要繼續(xù)想辦法來(lái)優(yōu)化。

第二步是 Review 數(shù)據(jù)，這些數(shù)據(jù)里面哪些起了關(guān)鍵作用，哪些數(shù)據(jù)是經(jīng)驗(yàn)上認(rèn)為會(huì)有作用的，但實(shí)際上沒(méi)有的。那么重新檢查這些數(shù)據(jù)，看是不是數(shù)據(jù)質(zhì)量的問(wèn)題，使得沒(méi)有發(fā)揮應(yīng)該發(fā)揮的作用。還可以看下一步我們可以引入哪些新的數(shù)據(jù)，數(shù)據(jù)最好一批一批引入，我加入一批，一次性開發(fā)結(jié)束。

第三步，當(dāng)我 Review 上面的事情后，我要制定下一步的方案，往往是我會(huì)有新的、更多的數(shù)據(jù)。我也可能會(huì)調(diào)整目標(biāo)，有可能是目標(biāo)錯(cuò)了要改，也可能是增加目標(biāo)，原來(lái)一個(gè)目標(biāo)不夠了，我要加入好幾個(gè)新的指標(biāo)，使模型變得更平衡。還有就是在工程上，看性能能不能優(yōu)化等。