卡爾曼濾波

　背景

　　斯坦利• 施密特(Stanley Schmidt)首次實(shí)

　　現(xiàn)了卡爾曼濾波器?？柭贜ASA埃姆斯研究中心訪問時(shí),發(fā)現(xiàn)他的方法對(duì)于解決阿波羅計(jì)劃的軌道預(yù)測(cè)很有用,后來阿波羅飛船的導(dǎo)航電腦使用了這種濾波器。關(guān)于這種濾波器的論文由Swerling (1958), Kalman (1960)與 Kalman and Bucy (1961)發(fā)表。

　　定義

　　傳統(tǒng)的濾波方法，只能是在有用信號(hào)與噪聲具有不同頻帶的條件下才能實(shí)現(xiàn)．20世紀(jì)40年代，N．維納和A．H．柯爾莫哥羅夫把信號(hào)和噪聲的統(tǒng)計(jì)性質(zhì)引進(jìn)了濾波理論，在假設(shè)信號(hào)和噪聲都是平穩(wěn)過程的條件下，利用最優(yōu)化方法對(duì)信號(hào)真值進(jìn)行估計(jì)，達(dá)到濾波目的，從而在概念上與傳統(tǒng)的濾波方法聯(lián)系起來，被稱為維納濾波。這種方法要求信號(hào)和噪聲都必須是以平穩(wěn)過程為條件。60年代初，卡爾曼(R．E．Kalman)和布塞(R． S．Bucy)發(fā)表了一篇重要的論文《線性濾波和預(yù)測(cè) 理論的新成果》，提出了一種新的線性濾波和預(yù)測(cè)理由論，被稱之為卡爾曼濾波。特點(diǎn)是在線性狀態(tài)空間表示的基礎(chǔ)上對(duì)有噪聲的輸入和觀測(cè)信號(hào)進(jìn)行處理，求取系統(tǒng)狀態(tài)或真實(shí)信號(hào)。

　　這種理論是在時(shí)間域上來表述的，基本的概念是：在線性系統(tǒng)的狀態(tài)空間表示基礎(chǔ)上，從輸出和輸入觀測(cè)數(shù)據(jù)求系統(tǒng)狀態(tài)的最優(yōu)估計(jì)。這里所說的系統(tǒng)狀態(tài)，是總結(jié)系統(tǒng)所有過去的輸入和擾動(dòng)對(duì)系統(tǒng)的作用的最小參數(shù)的集合，知道了系統(tǒng)的狀態(tài)就能夠與未來的輸入與系統(tǒng)的擾動(dòng)一起確定系統(tǒng)的整個(gè)行為。

　　卡爾曼濾波不要求信號(hào)和噪聲都是平穩(wěn)過程的假設(shè)條件。對(duì)于每個(gè)時(shí)刻的系統(tǒng)擾動(dòng)和觀測(cè)誤差（即噪聲），只要對(duì)它們的統(tǒng)計(jì)性質(zhì)作某些適當(dāng)?shù)募俣?，通過對(duì)含有噪聲的觀測(cè)信號(hào)進(jìn)行處理，就能在平均的意義上，求得誤差為最小的真實(shí)信號(hào)的估計(jì)值。因此，自從卡爾曼濾波理論問世以來，在通信系統(tǒng)、電力系統(tǒng)、航空航天、環(huán)境污染控制、工業(yè)控制、雷達(dá)信號(hào)處理等許多部門都得到了應(yīng)用，取得了許多成功應(yīng)用的成果。例如在圖像處理方面，應(yīng)用卡爾曼濾波對(duì)由于某些噪聲影響而造成模糊的圖像進(jìn)行復(fù)原。在對(duì)噪聲作了某些統(tǒng)計(jì)性質(zhì)的假定后，就可以用卡爾曼的算法以遞推的方式從模糊圖像中得到均方差最小的真實(shí)圖像，使模糊的圖像得到復(fù)原。

　　性質(zhì)

　?、倏柭鼮V波是一個(gè)算法，它適用于線性、離散和有限維系統(tǒng)。每一個(gè)有外部變量的自回歸移動(dòng)平均系統(tǒng)(ARMAX)或可用有理傳遞函數(shù)表示的系統(tǒng)都可以轉(zhuǎn)換成用狀態(tài)空間表示的系統(tǒng)，從而能用卡爾曼濾波進(jìn)行計(jì)算。

　?、谌魏我唤M觀測(cè)數(shù)據(jù)都無助于消除x(t)的確定性。增益K(t)也同樣地與觀測(cè)數(shù)據(jù)無關(guān)。

　?、郛?dāng)觀測(cè)數(shù)據(jù)和狀態(tài)聯(lián)合服從高斯分布時(shí)用卡爾曼遞歸公式計(jì)算得到的是高斯隨機(jī)變量的條件均值和條件方差，從而卡爾曼濾波公式給出了計(jì)算狀態(tài)的條件概率密度的更新過程線性最小方差估計(jì)，也就是最小方差估計(jì)。

　　形式

　　卡爾曼濾波已經(jīng)有很多不同的實(shí)現(xiàn)，卡爾曼最初提出的形式一般稱為簡(jiǎn)單卡爾曼濾波器。除此以外，還有施密特?cái)U(kuò)展濾波器、信息濾波器以及很多Bierman, Thornton 開發(fā)的平方根濾波器的變種。最常見的卡爾曼濾波器是鎖相環(huán)，它在收音機(jī)、計(jì)算機(jī)和幾乎任何視頻或通訊設(shè)備中廣泛存在。

　　實(shí)例

　　卡爾曼濾波的一個(gè)典型實(shí)例是從一組有限的，對(duì)物體位置的，包含噪聲的觀察序列中預(yù)測(cè)出物體的坐標(biāo)位置及速度。在很多工程應(yīng)用(雷達(dá)、計(jì)算機(jī)視覺)中都可以找到它的身影。同時(shí)，卡爾曼濾波也是控制理論以及控制系統(tǒng)工程中的一個(gè)重要話題。

　　應(yīng)用

　　比如，在雷達(dá)中，人們感興趣的是跟蹤目標(biāo)，但目標(biāo)的位置、速度、加速度的測(cè)量值往往在任何時(shí)候都有噪聲?？柭鼮V波利用目標(biāo)的動(dòng)態(tài)信息,設(shè)法去掉噪聲的影響，得到一個(gè)關(guān)于目標(biāo)位置的好的估計(jì)。這個(gè)估計(jì)可以是對(duì)當(dāng)前目標(biāo)位置的估計(jì)(濾波)，也可以是對(duì)于將來位置的估計(jì)(預(yù)測(cè))，也可以是對(duì)過去位置的估計(jì)(插值或平滑)。

　　擴(kuò)展卡爾曼濾波（EXTEND KALMAN FILTER, EKF）

　　擴(kuò)展卡爾曼濾波器

　　是由kalman filter考慮時(shí)間非線性的動(dòng)態(tài)系統(tǒng)，常應(yīng)用于目標(biāo)跟蹤系統(tǒng)。

　　狀態(tài)估計(jì)

　　狀態(tài)估計(jì)

　　狀態(tài)估計(jì)是卡爾曼濾波的重要組成部分。一般來說，根據(jù)觀測(cè)數(shù)據(jù)對(duì)隨機(jī)量進(jìn)行定量推斷就是估計(jì)問題，特別是對(duì)動(dòng)態(tài)行為的狀態(tài)估計(jì)，它能實(shí)現(xiàn)實(shí)時(shí)運(yùn)行狀態(tài)的估計(jì)和預(yù)測(cè)功能。比如對(duì)飛行器狀態(tài)估計(jì)。狀態(tài)估計(jì)對(duì)于了解和控制一個(gè)系統(tǒng)具有重要意義，所應(yīng)用的方法屬于統(tǒng)計(jì)學(xué)中的估計(jì)理論。最常用的是最小二乘估計(jì)，線性最小方差估計(jì)、最小方差估計(jì)、遞推最小二乘估計(jì)等。其他如風(fēng)險(xiǎn)準(zhǔn)則的貝葉斯估計(jì)、最大似然估計(jì)、隨機(jī)逼近等方法也都有應(yīng)用。

　　狀態(tài)量

　　受噪聲干擾的狀態(tài)量是個(gè)隨機(jī)量，不可能測(cè)得精確值，但可對(duì)它進(jìn)行一系列觀測(cè)，并依據(jù)一組觀測(cè)值，按某種統(tǒng)計(jì)觀點(diǎn)對(duì)它進(jìn)行估計(jì)。使估計(jì)值盡可能準(zhǔn)確地接近真實(shí)值，這就是最優(yōu)估計(jì)。真實(shí)值與估計(jì)值之差稱為估計(jì)誤差。若估計(jì)值的數(shù)學(xué)期望與真實(shí)值相等，這種估計(jì)稱為無偏估計(jì)?？柭岢龅倪f推最優(yōu)估計(jì)理論，采用狀態(tài)空間描述法，在算法采用遞推形式，卡爾曼濾波能處理多維和非平穩(wěn)的隨機(jī)過程。

　　理論

　　卡爾曼濾波理論的提出，克服了威納濾波理論的局限性使其在工程上得到了廣泛的應(yīng)用，尤其在控制、制導(dǎo)、導(dǎo)航、通訊等現(xiàn)代工程方面。

　　通俗解釋

　　簡(jiǎn)單來說，卡爾曼濾波器是一個(gè)“optimal recursive data processing algorithm（最優(yōu)化自回歸數(shù)據(jù)處理算法）”。對(duì)于解決很大部分的問題，他是最優(yōu)，效率最高甚至是最有用的。他的廣泛應(yīng)用已經(jīng)超過30年，包括機(jī)器人導(dǎo)航，控制，傳感器數(shù)據(jù)融合甚至在軍事方面的雷達(dá)系統(tǒng)以及導(dǎo)彈追蹤等等。近來更被應(yīng)用于計(jì)算機(jī)圖像處理，例如頭臉識(shí)別，圖像分割，圖像邊緣檢測(cè)等等。

　　卡爾曼濾波器的介紹 ：

　　為了可以更加容易的理解卡爾曼濾波器，這里會(huì)應(yīng)用形象的描述方法來講解，而不是像大多數(shù)參考書那樣羅列一大堆的數(shù)學(xué)公式和數(shù)學(xué)符號(hào)。但是，他的5條公式是其核心內(nèi)容。結(jié)合現(xiàn)代的計(jì)算機(jī)，其實(shí)卡爾曼的程序相當(dāng)?shù)暮?jiǎn)單，只要你理解了他的那5條公式。

　　在介紹他的5條公式之前，先讓我們來根據(jù)下面的例子一步一步的探索。

　　假設(shè)我們要研究的對(duì)象是一個(gè)房間的溫度。根據(jù)你的經(jīng)驗(yàn)判斷，這個(gè)房間的溫度是恒定的，也就是下一分鐘的溫度等于現(xiàn)在這一分鐘的溫度（假設(shè)我們用一分鐘來做時(shí)間單位）。假設(shè)你對(duì)你的經(jīng)驗(yàn)不是100%的相信，可能會(huì)有上下偏差幾度。我們把這些偏差看成是高斯白噪聲（White Gaussian Noise），也就是這些偏差跟前后時(shí)間是沒有關(guān)系的而且符合高斯分布（Gaussian Distribution）。另外，我們?cè)诜块g里放一個(gè)溫度計(jì)，但是這個(gè)溫度計(jì)也不準(zhǔn)確的，測(cè)量值會(huì)比實(shí)際值偏差。我們也把這些偏差看成是高斯白噪聲。

　　好了，現(xiàn)在對(duì)于某一分鐘我們有兩個(gè)有關(guān)于該房間的溫度值：你根據(jù)經(jīng)驗(yàn)的預(yù)測(cè)值（系統(tǒng)的預(yù)測(cè)值）和溫度計(jì)的值（測(cè)量值）。下面我們要用這兩個(gè)值結(jié)合他們各自的噪聲來估算出房間的實(shí)際溫度值。

　　假如我們要估算k時(shí)刻的實(shí)際溫度值。首先你要根據(jù)k-1時(shí)刻的溫度值，來預(yù)測(cè)k時(shí)刻的溫度。因?yàn)槟阆嘈艤囟仁呛愣ǖ?，所以你?huì)得到k時(shí)刻的溫度預(yù)測(cè)值是跟k-1時(shí)刻一樣的，假設(shè)是23度，同時(shí)該值的高斯噪聲的偏差是5度（5是這樣得到的：如果k-1時(shí)刻估算出的最優(yōu)溫度值的偏差是3，你對(duì)自己預(yù)測(cè)的不確定度是4度，他們平方相加再開方，就是5）。然后，你從溫度計(jì)那里得到了k時(shí)刻的溫度值，假設(shè)是25度，同時(shí)該值的偏差是4度。

　　由于我們用于估算k時(shí)刻的實(shí)際溫度有兩個(gè)溫度值，分別是23度和25度。究竟實(shí)際溫度是多少呢？相信自己還是相信溫度計(jì)呢？究竟相信誰多一點(diǎn)，我們可以用他們的協(xié)方差(covariance)來判斷。因?yàn)镵g=5^2/(5^2+4^2)，所以Kg=0.61，我們可以估算出k時(shí)刻的實(shí)際溫度值是：23+0.61*(25-23)=24.22度?？梢钥闯?，因?yàn)闇囟扔?jì)的協(xié)方差(covariance)比較?。ū容^相信溫度計(jì)），所以估算出的最優(yōu)溫度值偏向溫度計(jì)的值。

　　現(xiàn)在我們已經(jīng)得到k時(shí)刻的最優(yōu)溫度值了，下一步就是要進(jìn)入k+1時(shí)刻，進(jìn)行新的最優(yōu)估算。到現(xiàn)在為止，好像還沒看到什么自回歸的東西出現(xiàn)。對(duì)了，在進(jìn)入k+1時(shí)刻之前，我們還要算出k時(shí)刻那個(gè)最優(yōu)值（24.22度）的偏差。算法如下：((1-Kg)*5^2)^0.5=3.12。這里的5就是上面的k時(shí)刻你預(yù)測(cè)的那個(gè)23度溫度值的偏差，得出的3.12就是進(jìn)入k+1時(shí)刻以后k時(shí)刻估算出的最優(yōu)溫度值的偏差（對(duì)應(yīng)于上面的3）。

　　就是這樣，卡爾曼濾波器就不斷的把(協(xié)方差(covariance)遞歸，從而估算出最優(yōu)的溫度值。他運(yùn)行的很快，而且它只保留了上一時(shí)刻的協(xié)方差(covariance)。上面的Kg，就是卡爾曼增益（Kalman Gain）。他可以隨不同的時(shí)刻而改變他自己的值，是不是很神奇！

　　下面就要言歸正傳，討論真正工程系統(tǒng)上的卡爾曼。

　　卡爾曼濾波器算法 ：

　　在這一部分，我們就來描述源于Dr Kalman 的卡爾曼濾波器。下面的描述，會(huì)涉及一些基本的概念知識(shí)，包括概率（Probability），隨機(jī)變量（Random Variable），高斯或正態(tài)分配（Gaussian Distribution）還有State-space Model等等。但對(duì)于卡爾曼濾波器的詳細(xì)證明，這里不能一一描述。

　　首先，我們先要引入一個(gè)離散控制過程的系統(tǒng)。該系統(tǒng)可用一個(gè)線性隨機(jī)微分方程（Linear Stochastic Difference equation）來描述：

　　X(k)=A X(k-1)+B U(k)+W(k)

　　再加上系統(tǒng)的測(cè)量值：

　　Z(k)=H X(k)+V(k)

　　上兩式子中，X(k)是k時(shí)刻的系統(tǒng)狀態(tài)，U(k)是k時(shí)刻對(duì)系統(tǒng)的控制量。A和B是系統(tǒng)參數(shù)，對(duì)于多模型系統(tǒng)，他們?yōu)榫仃?。Z(k)是k時(shí)刻的測(cè)量值，H是測(cè)量系統(tǒng)的參數(shù)，對(duì)于多測(cè)量系統(tǒng)，H為矩陣。W(k)和V(k)分別表示過程和測(cè)量的噪聲。他們被假設(shè)成高斯白噪聲(White Gaussian Noise)，他們的協(xié)方差(covariance)分別是Q，R（這里我們假設(shè)他們不隨系統(tǒng)狀態(tài)變化而變化）。

　　對(duì)于滿足上面的條件(線性隨機(jī)微分系統(tǒng)，過程和測(cè)量都是高斯白噪聲)，卡爾曼濾波器是最優(yōu)的信息處理器。下面我們結(jié)合他們的協(xié)方差來估算系統(tǒng)的最優(yōu)化輸出（類似上一節(jié)那個(gè)溫度的例子）。

　　首先我們要利用系統(tǒng)的過程模型，來預(yù)測(cè)下一狀態(tài)的系統(tǒng)。假設(shè)現(xiàn)在的系統(tǒng)狀態(tài)是k，根據(jù)系統(tǒng)的模型，可以基于系統(tǒng)的上一狀態(tài)而預(yù)測(cè)出現(xiàn)在狀態(tài)：

　　X(k|k-1)=A X(k-1|k-1)+B U(k) ……….. (1)

　　式(1)中，X(k|k-1)是利用上一狀態(tài)預(yù)測(cè)的結(jié)果，X(k-1|k-1)是上一狀態(tài)最優(yōu)的結(jié)果，U(k)為現(xiàn)在狀態(tài)的控制量，如果沒有控制量，它可以為0。

　　到現(xiàn)在為止，我們的系統(tǒng)結(jié)果已經(jīng)更新了，可是，對(duì)應(yīng)于X(k|k-1)的協(xié)方差還沒更新。我們用P表示協(xié)方差(covariance)：

　　P(k|k-1)=A P(k-1|k-1) A’+Q ……… (2)

　　式(2)中，P(k|k-1)是X(k|k-1)對(duì)應(yīng)的協(xié)方差，P(k-1|k-1)是X(k-1|k-1)對(duì)應(yīng)的協(xié)方差，A’表示A的轉(zhuǎn)置矩陣，Q是系統(tǒng)過程的協(xié)方差。式子1，2就是卡爾曼濾波器5個(gè)公式當(dāng)中的前兩個(gè)，也就是對(duì)系統(tǒng)的預(yù)測(cè)。

　　現(xiàn)在我們有了現(xiàn)在狀態(tài)的預(yù)測(cè)結(jié)果，然后我們?cè)偈占F(xiàn)在狀態(tài)的測(cè)量值。結(jié)合預(yù)測(cè)值和測(cè)量值，我們可以得到現(xiàn)在狀態(tài)(k)的最優(yōu)化估算值X(k|k)：

　　X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1)) ……… (3)

　　其中Kg為卡爾曼增益(Kalman Gain)：

　　Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R) ……… (4)

　　到現(xiàn)在為止，我們已經(jīng)得到了k狀態(tài)下最優(yōu)的估算值X(k|k)。但是為了要令卡爾曼濾波器不斷的運(yùn)行下去直到系統(tǒng)過程結(jié)束，我們還要更新k狀態(tài)下X(k|k)的協(xié)方差：

　　P(k|k)=（I-Kg(k) H）P(k|k-1) ……… (5)

　　其中I 為1的矩陣，對(duì)于單模型單測(cè)量，I=1。當(dāng)系統(tǒng)進(jìn)入k+1狀態(tài)時(shí)，P(k|k)就是式子(2)的P(k-1|k-1)。這樣，算法就可以自回歸的運(yùn)算下去。

　　卡爾曼濾波器的原理基本描述了，式子1，2，3，4和5就是他的5 個(gè)基本公式。根據(jù)這5個(gè)公式，可以很容易用計(jì)算機(jī)編程實(shí)現(xiàn)。

　　在上面的例子中，過程誤差和測(cè)量誤差設(shè)定為4是為了討論的方便。實(shí)際中，溫度的變化速度以及溫度計(jì)的測(cè)量誤差都沒有這么大。