5秒導(dǎo)讀，本文將講述偏導(dǎo)數(shù)，梯度，方向?qū)?shù)，與線性回歸權(quán)重向量θ的求法
大家好，我是玩ai時(shí)長兩年半的個(gè)人程序猿ASRay，喜歡讀，寫，編程，數(shù)學(xué)....板磚！
要理解什么是偏導(dǎo)數(shù)，就必須先明白“雞你太美”的奧義，這可不是瞎扯！因?yàn)槠珜?dǎo)數(shù)指的是多元函數(shù)對(duì)某個(gè)自變量如y或x的導(dǎo)數(shù)，而雞的眼睛長在側(cè)邊，當(dāng)雞看一個(gè)立體的函數(shù)，它只能看見一個(gè)面，所以雞眼多元函數(shù)的導(dǎo)數(shù)正是偏導(dǎo)數(shù)！
不過在開始偏導(dǎo)數(shù)前我們先回顧一下線性回歸的內(nèi)容
線性回歸，總結(jié)下來其實(shí)非常簡(jiǎn)單，為了根據(jù)工作年限等預(yù)測(cè)工資，我們把收集到的真實(shí)數(shù)據(jù)畫在坐標(biāo)中，然后用一條直線去擬合所有點(diǎn)，只要直線到點(diǎn)的平均距離足夠近，那么我們的直線就能通過已知數(shù)據(jù)預(yù)測(cè)未知
圖中，黑點(diǎn)為真實(shí)數(shù)據(jù)，紅點(diǎn)為預(yù)測(cè)數(shù)據(jù)，直線方程為y=kx+b。
而到了空間中，“直線”方程則變?yōu)橄蛄奎c(diǎn)乘：
為了找到適合的θ值，我們通過距離公式寫下代價(jià)函數(shù)（圖中藍(lán)線的平均距離）
只要求出使該函數(shù)取得最小值的θ，那么我的線性回歸則大功告成！（如果不太理解請(qǐng)回看第3期）
總結(jié)到此為止，讓我們開始偏導(dǎo)的內(nèi)容，music! 雞你太美！雞你實(shí)在是太美！別取關(guān)，我們認(rèn)錯(cuò)！
之前我們習(xí)慣的的函數(shù)，都是單變量函數(shù)，比如y=2x, y=sinx等，但是其實(shí)函數(shù)可以有不止一個(gè)變量，比如褲襠函數(shù)（這名字我取的，至于為啥看圖）：
之前我們說過，函數(shù)的導(dǎo)數(shù)表示函數(shù)切線的斜率也即函數(shù)變化的快慢，那么什么是偏導(dǎo)數(shù)？——偏的導(dǎo)數(shù)，也就是某個(gè)方向的導(dǎo)數(shù)！考慮f(x,y)，由于決定函數(shù)值的自變量不止一個(gè)，所以函數(shù)值的變化，會(huì)從不同方向進(jìn)行，考慮一下爬山，假設(shè)你站在山頂準(zhǔn)備下山，是不是每個(gè)方向的陡峭程度都不相同？
OK，讓我們從簡(jiǎn)單的開始，比如x軸方向的斜率，如果我們把任意固定y=b帶入函數(shù)，那么函數(shù)的變量自然就少了一個(gè)（可以看作對(duì)著函數(shù)圖像切一刀），這時(shí)候x軸方向的斜率只需要當(dāng)作單元函數(shù)處理就行。
如果用極限定義導(dǎo)數(shù)，那么f(x,y)對(duì)x的偏導(dǎo)為：
而用“套路”求導(dǎo)時(shí)，求對(duì)x的偏導(dǎo)，只需要把y看作常數(shù)就行，至于對(duì)y的偏導(dǎo),只需要把x當(dāng)常數(shù)就行！看見了吧，眼睛長在側(cè)面，自有他的好處，雞不但美，還能自動(dòng)做偏導(dǎo)！
特別的，我們把
由f(x,y)對(duì)x和對(duì)y的偏導(dǎo)組成的向量叫做——函數(shù)的梯度，梯度也可以寫作
（備注下i為（1，0），j為（0,1）記不清的可以回看第二期復(fù)習(xí)下向量）
讓我們回到爬山的問題，x和y只是無數(shù)個(gè)方向中的2個(gè)，那么我們想要任意的方向應(yīng)該怎么辦？
回答很簡(jiǎn)單，用函數(shù)的梯度點(diǎn)乘xy平面上的單位向量u
這個(gè)等式展開為
這玩意，就叫做函數(shù)的方向?qū)?shù)！
特別的，函數(shù)沿著梯度方向，函數(shù)上升的最快，方向?qū)?shù)大小為梯度的絕對(duì)值，而沿著與梯度相反的方向，函數(shù)下降的最快，方向?qū)?shù)大小為負(fù)的梯度的絕對(duì)值。
為什么？讓我們看看方向?qū)?shù)
因?yàn)閡為單位向量，所以大小恒為1，而cos最大值只能取到1！
偏導(dǎo)數(shù)的內(nèi)容到此為止，讓我們進(jìn)入AI主題線性回歸！現(xiàn)在我們的目標(biāo)是要取到代價(jià)函數(shù)的最小值。想象一下，代價(jià)函數(shù)的圖像是一個(gè)大山谷，你站在一點(diǎn)上，準(zhǔn)備下到谷底，你先選擇一個(gè)最陡峭的坡，向下走一段，再最陡峭的坡，向下走一段.......直到你再也找不到陡峭的坡，于是乎，就算你沒到谷底，也已經(jīng)不遠(yuǎn)了！
這個(gè)最陡峭的坡是什么，沒錯(cuò)就是我們的梯度！
現(xiàn)在讓我們從一個(gè)點(diǎn)開始下坡，用下式不斷更新θ，就是從上圖中的一個(gè)點(diǎn)跑到另一個(gè)點(diǎn)！直到梯度大小很??！
至于你問偏導(dǎo)數(shù)算出來是什么，見下圖
當(dāng)然計(jì)算這玩意，那可不是人干的事，還是交給計(jì)算機(jī)好了！畢竟計(jì)算機(jī)也是雞?。‰u你太美！
如果本期內(nèi)容讓您感到不適，請(qǐng)見諒，我們保證下次不會(huì)出現(xiàn)類似情況！
關(guān)注我們，獲取更多有關(guān) AI與大數(shù)據(jù)的信息。ASRay明日麗科技——科技助力企業(yè)發(fā)展，攜手共創(chuàng)更美明天！
暫無評(píng)論，快來評(píng)論吧!