1.人工神經網絡

　　神經網絡是一種運算模型，由大量的節(jié)點(或稱神經元)之間相互聯接構成。每個節(jié)點代表一種特定的輸出函數，稱為激勵函數(activation function)。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

　　人工神經網絡(ANN)以大腦處理機制作為基礎，開發(fā)用于建立復雜模式和預測問題的算法。該類型算法在語音、語義、視覺、各類游戲等任務中表現極好，但需要大量數據進行訓練，且訓練要求很高的硬件配置。

　　ANN在圖像和字符識別中起著重要的作用，手寫字符識別在欺詐檢測甚至國家安全評估中有很多應用。ANN 的研究為深層神經網絡鋪平了道路，是「深度學習」的基礎，現已在計算機視覺、語音識別、自然語言處理等方向開創(chuàng)了一系列令人激動的創(chuàng)新。

　　2.決策樹

　　在機器學習中，決策樹是一個預測模型，他代表的是對象屬性與對象值之間的一種映射關系。其采用一種樹形結構，其中每個內部節(jié)點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節(jié)點代表一種類別。

　　決策樹算法屬于非參數型，較為容易解釋，但其趨向過擬合;可能陷入局部最小值中;無法在線學習。決策樹的生成主要分為兩步：1.節(jié)點的分裂：當一個節(jié)點所代表的屬性無法給出判斷時，則選擇將該節(jié)點分成2個子節(jié)點 2. 閾值的確定：選擇適當的閾值使得分類錯誤率最小。

　　分類樹(決策樹)是一種十分常用的分類方法。它是一種監(jiān)督學習，所謂監(jiān)督學習就是給定一堆樣本，每個樣本都有一組屬性和一個類別，這些類別是事先確定的，那么通過學習得到一個分類器，這個分類器能夠對新出現的對象給出正確的分類。這樣的機器學習就被稱之為監(jiān)督學習。

　　3.集成算法

　　簡單算法一般復雜度低、速度快、易展示結果，其中的模型可以單獨進行訓練，并且它們的預測能以某種方式結合起來去做出一個總體預測。每種算法好像一種專家，集成就是把簡單的算法組織起來，即多個專家共同決定結果。

　　集成算法比使用單個模型預測出來的結果要精確的多，但需要進行大量的維護工作。

　　AdaBoost的實現是一個漸進的過程，從一個最基礎的分類器開始，每次尋找一個最能解決當前錯誤樣本的分類器。好處是自帶了特征選擇，只使用在訓練集中發(fā)現有效的特征，這樣就降低了分類時需要計算的特征數量，也在一定程度上解決了高維數據難以理解的問題。

　　4.回歸算法

　　回歸分析是在一系列的已知自變量與因變量之間的相關關系的基礎上，建立變量之間的回歸方程，把回歸方程作為算法模型，通過其來實現對新自變量得出因變量的關系。因此回歸分析是實用的預測模型或分類模型。

　　在線性回歸中，數據使用線性預測函數來建模，并且未知的模型參數也是通過數據來估計。這些模型被叫做線性模型。最常用的線性回歸建模是給定X值的y的條件均值是X的仿射函數。不太一般的情況，線性回歸模型可以是一個中位數或一些其他的給定X的條件下y的條件分布的分位數作為X的線性函數表示。像所有形式的回歸分析一樣，線性回歸也把焦點放在給定X值的y的條件概率分布，而不是X和y的聯合概率分布(多元分析領域)。

　　線性回歸是回歸分析中第一種經過嚴格研究并在實際應用中廣泛使用的類型。這是因為線性依賴于其未知參數的模型比非線性依賴于其未知參數的模型更容易擬合，而且產生的估計的統(tǒng)計特性也更容易確定。

　　線性回歸模型經常用最小二乘逼近來擬合，但他們也可能用別的方法來擬合，比如用最小化“擬合缺陷”在一些其他規(guī)范里(比如最小絕對誤差回歸)，或者在橋回歸中最小化最小二乘損失函數的懲罰.相反,最小二乘逼近可以用來擬合那些非線性的模型.因此，盡管“最小二乘法”和“線性模型”是緊密相連的，但他們是不能劃等號的。

　　5.貝葉斯算法

　　樸素貝葉斯分類是一種十分簡單的分類算法：對于給出的待分類項，求解在此項出現的條件下各個類別出現的概率，哪個最大，就認為此待分類項屬于哪個類別。

　　樸素貝葉斯分類分為三個階段，1.根據具體情況確定特征屬性，并對每個特征屬性進行適當劃分，形成訓練樣本集合2.計算每個類別在訓練樣本中的出現頻率及每個特征屬性劃分對每個類別的條件概率估計3.使用分類器對待分類項進行分類。

　　分類是數據分析和機器學習領域的一個基本問題。文本分類已廣泛應用于網絡信息過濾、信息檢索和信息推薦等多個方面。數據驅動分類器學習一直是近年來的熱點，方法很多，比如神經網絡、決策樹、支持向量機、樸素貝葉斯等。相對于其他精心設計的更復雜的分類算法，樸素貝葉斯分類算法是學習效率和分類效果較好的分類器之一。直觀的文本分類算法，也是最簡單的貝葉斯分類器，具有很好的可解釋性，樸素貝葉斯算法特點是假設所有特征的出現相互獨立互不影響，每一特征同等重要。但事實上這個假設在現實世界中并不成立：首先，相鄰的兩個詞之間的必然聯系，不能獨立;其次，對一篇文章來說，其中的某一些代表詞就確定它的主題，不需要通讀整篇文章、查看所有詞。所以需要采用合適的方法進行特征選擇，這樣樸素貝葉斯分類器才能達到更高的分類效率。