Ⅰ python 機器學習 用什麼庫
（1）scikit-learn
Python下做機器學習，首推scikit-learn。該項目文檔齊全、講解清晰，功能齊備，使用方便，而且社區活躍。
（2）Orange
機器學習是其的功能之一，主要還是側重數據挖掘，可以用可視化語言或Python進行操作，擁有機器學習組件，還具有生物信息學以及文本挖掘的插件。
（3）shogun
shogun，非日本的老外弄的一個機器學習庫，還專門配了一個我們能看懂的日文名「將軍」（是日本幕府時代的將軍）。文檔齊全，開發活躍，更新快，運算速度也很快。主攻大尺度的核函數，尤其是大尺度核函數下的SVM。具有很多SVM的高級用法，比如多核配用等。支持Python、R、C++、Matlab等語言。
（4）其它
A.pyml(a python mole for machine learning，支持svm/knn/k-means==)
B.milk(python的機器學習工具包，主要是針對監督學習，包括svm/knn/決策樹)
Ⅱ 機器學習中的數據預處理有哪些常見/重要的工具
大數據發展的挑戰： 目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失;內部數據孤島嚴重，導致數據價值不能充分挖掘;數據可用性低，數據質量差，導致數據無法利用;數據相關管理技。
機器學習之常見的數據預處理：原始數據存在的幾個問題：不一致;重復;含雜訊;維度高。
1.1 數據挖掘中使用的數據的原則
盡可能賦予屬性名和屬性值明確的含義; 去除惟一屬性; 去除重復性; 合理選擇關聯欄位。
1.2 常見的數據預處理方法
數據清洗：數據清洗的目的不只是要消除錯誤、冗餘和數據噪音，還要能將按不同的、不兼容的規則所得的各種數據集一致起來。 數據集成：將多個數據源中的數據合並，並存放到一個一致的數據存儲(如數據倉庫)中。這些數據源可能包括多個資料庫、數據立方體或一般文件。
數據變換：找到數據的特徵表示，用維度變換來減少有效變數的數目或找到數據的不變式，包括規格化、規約、切換和投影等操作。 數據規約：是在對發現任務和數據本身內容理解的基礎上，尋找依賴於發現目標的表達數據的有用特徵，以縮減數據模型，從而在盡可能保持數據原貌的前提下最大限度的精簡數據量，主要有兩個途徑：屬性選擇和數據抽樣，分別針對資料庫中的屬性和記錄。
二、數據清洗
2.1 缺失值處理的兩種方法
刪除法，根據數據處理的不同角度，刪除法可分為以下4種：
(1)刪除觀測樣本 (2)刪除變數：當某個變數缺失值較多且對研究目標影響不大時，可以將整個變數整體刪除 (3)使用完整原始數據分析：當數據存在較多缺失而其原始數據完整時，可以使用原始數據替代現有數據進行分析; (4)改變權重：當刪除缺失數據會改變數據結構時，通過對完整數據按照不同的權重進行加工，可以降低刪除數據帶來的偏差。
插補法：在條件允許的情況下，找到缺失值的替代值進行插補，盡可能還原真實數據是更好的方法。常見的方法有均值插補、回歸插補、二階插補、熱平台、冷平台等單一變數插補。
(1)均值法是通過計算缺失值所在變數所有非缺失觀測值的均值，使用均值來代替缺失值的插補方法。 (2)均值法不能利用相關變數信息，因此會存在一定偏差，而回歸模型是將需要插補變數作為因變數，其他相關變數作為自變數，通過建立回歸模型預測出因變數的值對缺失變數進行插補。 (3)熱平台插補是指在非缺失數據集中找到一個與缺失值所在樣本相似的樣本(匹配樣本)，利用其中的觀測值對缺失值進行插補。 (4)在實際操作中，尤其當變數數量很多時，通常很難找到與需要插補樣本完全相同的樣本，此時可以按照某些變數將數據分層，在層中對缺失值使用均值插補，即採取冷平台插補法。
2.2 雜訊數據處理
雜訊是一個測量變數中的隨機錯誤和偏差，包括錯誤值或偏離期望的孤立點值。
雜訊檢查中比較常見的方法：
(1)通過尋找數據集中與其他觀測值及均值差距最大的點作為異常 (2)聚類方法檢測，將類似的取值組織成「群」或「簇」，落在「簇」集合之外的值被視為離群點。 在進行雜訊檢查後，通常採用分箱、聚類、回歸、計算機檢查和人工檢查結合等方法「光滑」數據，去掉數據中的雜訊。
分箱：分箱方法是一種簡單常用的預處理方法，通過考察相鄰數據來確定最終值。所謂「分箱」，實際上就是按照屬性值劃分的子區間，如果一個屬性值處於某個子區間范圍內，就稱把該屬性值放進這個子區間所代表的「箱子」內。把待處理的數據(某列屬性值)按照一定的規則放進一些箱子中，考察每一個箱子中的數據，採用某種方法分別對各個箱子中的數據進行處理。在採用分箱技術時，需要確定的兩個主要問題就是：如何分箱以及如何對每個箱子中的數據進行平滑處理。
2.2.1 分箱的方法：有4種：等深分箱法、等寬分箱法、最小熵法和用戶自定義區間法。
等深分箱法(統一權重)：將數據集按記錄行數分箱，每箱具有相同的記錄數，每箱記錄數稱為箱子的深度。這是最簡單的一種分箱方法。
設定權重(箱子深度)為4，分箱後
箱1：800 1000 1200 1500
箱2：1500 1800 2000 2300
箱3：2500 2800 3000 3500
箱4：4000 4500 4800 5000
等寬分箱法(統一區間)：使數據集在整個屬性值的區間上平均分布，即每個箱的區間范圍是一個常量，稱為箱子寬度。
設定區間范圍(箱子寬度)為1000元人民幣，分箱後
箱1：800 1000 1200 1500 1500 1800
箱2：2000 2300 2500 2800 3000
箱3：3500 4000 4500
箱4：4800 5000
用戶自定義區間：用戶可以根據需要自定義區間，當用戶明確希望觀察某些區間范圍內的數據分布時，使用這種方法可以方便地幫助用戶達到目的。
如將客戶收入劃分為1000元以下、1000~2000、2000~3000、3000~4000和4000元以上幾組，分箱後
箱1：800
箱2：1000 1200 1500 1500 1800 2000
箱3：2300 2500 2800 3000
箱4：3500 4000
箱5：4500 4800 5000
2.2.2 數據平滑方法
按平均值平滑 ：對同一箱值中的數據求平均值，用平均值替代該箱子中的所有數據。 按邊界值平滑：用距離較小的邊界值替代箱中每一數據。 按中值平滑：取箱子的中值，用來替代箱子中的所有數據。
三、數據集成
數據集成中的兩個主要問題是：
(1)如何對多個數據集進行匹配，當一個資料庫的屬性與另一個資料庫的屬性匹配時，必須注意數據的結構; (2)數據冗餘。兩個數據集有兩個命名不同但實際數據相同的屬性，那麼其中一個屬性就是冗餘的。
四、數據變換
數據變換策略主要包括以下幾種：
光滑：去掉雜訊; 屬性構造：由給定的屬性構造出新屬性並添加到數據集中。例如，通過「銷售額」和「成本」構造出「利潤」，只需要對相應屬性數據進行簡單變換即可 聚集：對數據進行匯總。比如通過日銷售數據，計算月和年的銷售數據; 規范化：把數據單按比例縮放，比如數據標准化處理; 離散化：將定量數據向定性數據轉化。比如一系列連續數據，可用標簽進行替換(0,1);
五、數據歸約
數據歸約通常用維歸約、數值歸約方法實現。維歸約指通過減少屬性的方式壓縮數據量，通過移除不相關的屬性，可以提高模型效率。常見的維歸約方法有：分類樹、隨機森林通過對分類效果的影響大小篩選屬性;小波變換、主成分分析通過把原數據變換或投影到較小的空間來降低維數。
Ⅲ 機器學習系統和大數據挖掘工具有哪些
1、KNIME
KNIME可以完成常規的數據分析，進行數據挖掘，常見的數據挖掘演算法，如回歸、分類、聚類等等都有。而且它引入很多大數據組件，如Hive，Spark等等。它還通過模塊化的數據流水線概念，集成了機器學習和數據挖掘的各種組件，能夠幫助商業智能和財務數據分析。
2、Rapid Miner
Rapid Miner，也叫YALE，以Java編程語言編寫，通過基於模板的框架提供高級分析，是用於機器學習和數據挖掘實驗的環境，用於研究和實踐數據挖掘。使用它，實驗可以由大量的可任意嵌套的操作符組成，而且用戶無需編寫代碼，它已經有許多模板和其他工具，幫助輕松地分析數據。
3、SAS Data Mining
SAS Data Mining是一個商業軟體，它為描述性和預測性建模提供了更好的理解數據的方法。SAS Data Mining有易於使用的GUI，有自動化的數據處理工具。此外，它還包括可升級處理、自動化、強化演算法、建模、數據可視化和勘探等先進工具。
4、IBM SPSS Modeler
IBM SPSS Modeler適合處理文本分析等大型項目，它的可視化界面做得很好。它允許在不編程的情況下生成各種數據挖掘演算法，而且可以用於異常檢測、CARMA、Cox回歸以及使用多層感知器進行反向傳播學習的基本神經網路。
5、Orange
Orange是一個基於組件的數據挖掘和機器學習軟體套件，它以Python編寫。它的數據挖掘可以通過可視化編程或Python腳本進行，它還包含了數據分析、不同的可視化、從散點圖、條形圖、樹、到樹圖、網路和熱圖的特徵。
6、Rattle
Rattle是一個在統計語言R編寫的開源數據挖掘工具包，是免費的。它提供數據的統計和可視化匯總，將數據轉換為便於建模的表單，從數據中構建無監督模型和監督模型，以圖形方式呈現模型性能，並對新數據集進行評分。它支持的操作系統有GNU / Linux，Macintosh OS X和MS / Windows。
7、Python
Python是一個免費且開放源代碼的語言，它的學習曲線很短，便於開發者學習和使用，往往很快就能開始構建數據集，並在幾分鍾內完成極其復雜的親和力分析。只要熟悉變數、數據類型、函數、條件和循環等基本編程概念，就能輕松使用Python做業務用例數據可視化。
8、Oracle Data Mining
Oracle數據挖掘功能讓用戶能構建模型來發現客戶行為目標客戶和開發概要文件，它讓數據分析師、業務分析師和數據科學家能夠使用便捷的拖放解決方案處理資料庫內的數據， 它還可以為整個企業的自動化、調度和部署創建SQL和PL / SQL腳本。
9、Kaggle
Kaggle是全球最大的數據科學社區，裡面有來自世界各地的統計人員和數據挖掘者競相製作最好的模型，相當於是數據科學競賽的平台，基本上很多問題在其中都可以找到，感興趣的朋友可以去看看。
10、Framed Data
最後介紹的Framed Data是一個完全管理的解決方案，它在雲中訓練、優化和存儲產品的電離模型，並通過API提供預測，消除基礎架構開銷。也就是說，框架數據從企業獲取數據，並將其轉化為可行的見解和決策，這樣使得用戶很省心。
Ⅳ 機器學習使用什麼工具比較好
用Python做機器學習，推薦scikit-learn。
分布式機器學習推薦Spark mllib。
深度學習推薦TensorFlow、Keras。
Ⅳ 機器學習中涉及到哪些數學工具
在機器學習中涉及到很多的工具，其中最重要的當屬數學工具。機器學習涉及到的數據工具總共有三種，分別是線性代數、概率統計和最優化理論。在這篇文章中我們就來詳細給大家介紹一下這些知識，讓大家在日常的機器學習中可以更好地運用到數學工具。
首先我們給大家介紹一下線性代數，線性代數起到的一個最主要的作用就是把具體的事物轉化成抽象的數學模型。不管我們的世界當中有多麼紛繁復雜，我們都可以把它轉化成一個向量，或者一個矩陣的形式。這就是線性代數最主要的作用。所以，在線性代數解決表示這個問題的過程中，我們主要包括這樣兩個部分，一方面是線性空間理論，也就是我們說的向量、矩陣、變換這樣一些問題。第二個是矩陣分析。給定一個矩陣，我們可以對它做所謂的SVD分解，也就是做奇異值分解，或者是做其他的一些分析。這樣兩個部分共同構成了我們機器學習當中所需要的線性代數。
然後我們說一下概率統計，在評價過程中，我們需要使用到概率統計。概率統計包括了兩個方面，一方面是數理統計，另外一方面是概率論。一般來說數理統計比較好理解，我們機器學習當中應用的很多模型都是來源於數理統計。像最簡單的線性回歸，還有邏輯回歸，它實際上都是來源於統計學。在具體地給定了目標函數之後，我們在實際地去評價這個目標函數的時候，我們會用到一些概率論。當給定了一個分布，我們要求解這個目標函數的期望值。在平均意義上，這個目標函數能達到什麼程度呢？這個時候就需要使用到概率論。所以說在評價這個過程中，我們會主要應用到概率統計的一些知識。
最後我們說一下最優化理論，其實關於優化，就不用說了，我們肯定用到的是最優化理論。在最優化理論當中，主要的研究方向是凸優化。凸優化當然它有些限制，但它的好處也很明顯，比如說能夠簡化這個問題的解。因為在優化當中我們都知道，我們要求的是一個最大值，或者是最小值，但實際當中我們可能會遇到一些局部的極大值，局部的極小值，還有鞍點這樣的點。凸優化可以避免這個問題。在凸優化當中，極大值就是最大值，極小值也就是最小值。但在實際當中，尤其是引入了神經網路還有深度學習之後，凸優化的應用范圍越來越窄，很多情況下它不再適用，所以這裡面我們主要用到的是無約束優化。同時，在神經網路當中應用最廣的一個演算法，一個優化方法，就是反向傳播。
在這篇文章中我們給大家介紹了機器學習涉及到的數學工具，分別是線性代數、概率統計和最優化理論。相信大家看了這篇文章以後已經對這些工具的作用有所了解，希望這篇文章能夠更好地幫助大家。
Ⅵ 機器學習的特徵處理工具有哪些
天雲平台的產品特別垃圾，組件並不通用而且基本上都是開源庫的源代碼直接拿來用。開源的內容也是再常見不過的H20 SciKit Learn之類的。而且平台功能封裝得太死，只能輸出模型文件，沒有實際應用價值。要我還不如自己租個裸的雲計算硬體資源自己裝Anaconda底層呢，價格一個月才幾百封頂。
Ⅶ 機器學習和 AI 領域必須了解的工具
機器學習和 AI 領域必須了解的工具
關於數據科學，工具可能並不是那麼熱門的話題。人們似乎更關注最新的聊天機器人技術以及深度學習框架。
但這顯然是不合理的。為什麼不花些時間，挑選合適的工具呢？畢竟好的工具能夠讓你事半功倍。在本文中介紹了機器學習和 AI 方面的優質工具。
應該使用哪種語言？
這是一個有爭議的問題。存在很多不同的觀點。我個人的觀點可能不那麼常見，我認為越多越好。你應該同時使用 R 語言和 Python。
為什麼？R語言更擅長數據可視化，並且有大量的統計數據包。另一方面，Python可以幫助你將模型部署生產，並更好地與團隊中其他開發人員合作。
基本的軟體包
我們應該充分利用的優秀開源社區。首先讓我們回顧一下數據科學工作的主要流程。
典型的機器學習工作流程
最重要的步驟是：數據獲取、數據清洗、可視化、建模、溝通。這些過程都需要用到庫。
數據清洗
針對數據清洗，R語言中有一個出色的包——dplyr。無可否認，它的語法有些奇怪。注意 ％>％ 與* nix中的（|）運算符的工作原理相同，前一個操作的輸出成為下一個操作的輸入。這樣，只需幾行代碼，你就可以構建相當復雜且可讀的數據清洗操作。
另一方面，Python中可以用到Pandas。這個庫很大程度上借鑒了R語言，特別是數據框的概念（當中行是觀測，列是特徵）。這需要一定的學習過程，但在習慣了之後，你可以在數據處理中做很多事情（甚至可以直接寫入資料庫）。
數據可視化
針對數據可視化，R語言中有ggplot2和plotly。ggplot2 非常強大，但級別較低。同樣它的語法很奇怪，你需要通過圖形語法來進行理解。plotly是一個較新的庫，具有 ggplot 的功能，只需要一行代碼就能進行交互。
Python中進行可視化的基礎包是 matplotlib。但它的語法有些奇怪，默認顏色也不那麼理想，因此我建議你使用新的seaborn軟體包。Python缺少對模型性能的可視化，這里可以使用 yellowbrick 解決。你可以使用它來創建漂亮的圖表分類器進行評估，查看特徵，甚至繪制文本模型。
使用 seaborn 對 iris 數據集進行繪制
API
使用R語言進行機器學習常常會遇到一個問題。幾乎所有模型都有不同的API，除非你記住所有的內容，如果你只想測試不同演算法，那麼就需要打開好幾個文檔標簽。這個缺陷可以用 caret 和 mlr 解決，後者較新。我推薦用mlr，因為它更結構化，維護也更積極。而且功能強大，具有分解數據、訓練、預測和性能評估功能。
Python中相應的庫是scikit-learn。這也是我最喜歡的庫，同時 scikit-learn 也備受一些科技公司的青睞 。它有一致的API，超過150種演算法（包括神經網路），出色的文檔，主動維護和教程。
Python中的ROC/AUC圖，使用yellowbrick
集成開發環境
對於R語言來說，RStudio 是一個非常棒的工具，而且沒有其他的競爭工具。我們希望在Python中找到相應的工具，我篩選了十幾個(Spyder，PyCharm，Rodeo，spacemacs，Visual Studio，Canopy等等)，主要推薦當中的兩個工具：Jupyter Lab和Atom + Hydrogen。
Jupyter Lab很棒。但它仍然繼承了Jupyter Notebook 中存在的一些缺點，比如單元狀態，安全性，以及最嚴重的VCS集成問題。出於這個原因，我建議使用Atom + Hydrogen。你可以用它完成各種數據科學任務，比如檢查數據框和變數，繪圖等。
Atom + Hydrogen
EDA 工具
為什麼需要？在數據科學過程中，尤其是起步階段，我們需要快速地探索數據。在進行可視化之前，我們需要探索，並通過最少的技術投入來實現。因此寫一大堆 seaborn、ggplot 代碼並不是最佳選擇，你需要使用 GUI 界面。因為不涉及任何代碼，業務人員也可以使用。有兩個非常棒的跨平台工具，並且免費——Past和Orange。前者更側重於統計分析，後者更側重於建模。兩者都可以做很棒的數據可視化，因此完全符合我們的目標。
用Orange你能夠進行的操作
結語
通過對工具進行優化，你能夠更高效地完成數據分析工作(但也不要以此為借口不去工作哦)。
Ⅷ 數據挖掘常用的軟體有哪些
1、Rapid Miner
Rapid Miner是一個數據科學軟體平台，為數據准備、機器學習、深度學習、文本挖掘和預測分析提供一種集成環境。它是領先的數據挖掘開源系統之一。該程序完全用Java編程語言編寫。該程序提供了一個選項，以便用戶試用大量可任意嵌套的操作符，這些操作符在XML文件中有詳細說明，可由Rapid Miner的圖形用戶界面來構建。
2、Orange
Orange是一個開源數據可視化、機器學習和數據挖掘工具包。它有一個可視化編程前端，可用於探索性數據分析和互動式數據可視化。Orange是一個基於組件的可視化編程軟體包，用於數據可視化、機器學習、數據挖掘和數據分析。Orange組件稱為窗口組件，范圍廣泛：從簡單的數據可視化、子集選擇和預處理，到學習演算法和預測建模的評估，不一而足。Orange的可視化編程通過界面來進行，其中工作流程通過連接預定義或用戶設計的窗口組件來創建，而高級用戶可以將Orange用作Python庫，以便操縱數據和更改窗口組件。
3、Kaggle
Kaggle是世界上數據科學家和機器學習者社區。Kaggle以開設機器學習競賽起家，但現在逐漸變成基於公共雲的數據科學平台。Kaggle是一個平台，有助於解決難題、招募強大的團隊並宣傳數據科學的力量。
4、Weka
懷卡托知識分析環境(Weka)是紐西蘭懷卡託大學開發的一套機器學習軟體。該軟體用Java編寫。它含有一系列面向數據分析和預測建模的可視化工具和演算法，附帶圖形用戶界面。Weka支持幾種標准數據挖掘任務，更具體地說是指數據預處理、聚類、分類、回歸、可視化和特徵選擇。
關於數據挖掘常用的軟體有哪些，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。