Ⅰ python 机器学习 用什么库
（1）scikit-learn
Python下做机器学习，首推scikit-learn。该项目文档齐全、讲解清晰，功能齐备，使用方便，而且社区活跃。
（2）Orange
机器学习是其的功能之一，主要还是侧重数据挖掘，可以用可视化语言或Python进行操作，拥有机器学习组件，还具有生物信息学以及文本挖掘的插件。
（3）shogun
shogun，非日本的老外弄的一个机器学习库，还专门配了一个我们能看懂的日文名“将军”（是日本幕府时代的将军）。文档齐全，开发活跃，更新快，运算速度也很快。主攻大尺度的核函数，尤其是大尺度核函数下的SVM。具有很多SVM的高级用法，比如多核配用等。支持Python、R、C++、Matlab等语言。
（4）其它
A.pyml(a python mole for machine learning，支持svm/knn/k-means==)
B.milk(python的机器学习工具包，主要是针对监督学习，包括svm/knn/决策树)
Ⅱ 机器学习中的数据预处理有哪些常见/重要的工具
大数据发展的挑战： 目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技。
机器学习之常见的数据预处理：原始数据存在的几个问题：不一致;重复;含噪声;维度高。
1.1 数据挖掘中使用的数据的原则
尽可能赋予属性名和属性值明确的含义; 去除惟一属性; 去除重复性; 合理选择关联字段。
1.2 常见的数据预处理方法
数据清洗：数据清洗的目的不只是要消除错误、冗余和数据噪音，还要能将按不同的、不兼容的规则所得的各种数据集一致起来。 数据集成：将多个数据源中的数据合并，并存放到一个一致的数据存储(如数据仓库)中。这些数据源可能包括多个数据库、数据立方体或一般文件。
数据变换：找到数据的特征表示，用维度变换来减少有效变量的数目或找到数据的不变式，包括规格化、规约、切换和投影等操作。 数据规约：是在对发现任务和数据本身内容理解的基础上，寻找依赖于发现目标的表达数据的有用特征，以缩减数据模型，从而在尽可能保持数据原貌的前提下最大限度的精简数据量，主要有两个途径：属性选择和数据抽样，分别针对数据库中的属性和记录。
二、数据清洗
2.1 缺失值处理的两种方法
删除法，根据数据处理的不同角度，删除法可分为以下4种：
(1)删除观测样本 (2)删除变量：当某个变量缺失值较多且对研究目标影响不大时，可以将整个变量整体删除 (3)使用完整原始数据分析：当数据存在较多缺失而其原始数据完整时，可以使用原始数据替代现有数据进行分析; (4)改变权重：当删除缺失数据会改变数据结构时，通过对完整数据按照不同的权重进行加工，可以降低删除数据带来的偏差。
插补法：在条件允许的情况下，找到缺失值的替代值进行插补，尽可能还原真实数据是更好的方法。常见的方法有均值插补、回归插补、二阶插补、热平台、冷平台等单一变量插补。
(1)均值法是通过计算缺失值所在变量所有非缺失观测值的均值，使用均值来代替缺失值的插补方法。 (2)均值法不能利用相关变量信息，因此会存在一定偏差，而回归模型是将需要插补变量作为因变量，其他相关变量作为自变量，通过建立回归模型预测出因变量的值对缺失变量进行插补。 (3)热平台插补是指在非缺失数据集中找到一个与缺失值所在样本相似的样本(匹配样本)，利用其中的观测值对缺失值进行插补。 (4)在实际操作中，尤其当变量数量很多时，通常很难找到与需要插补样本完全相同的样本，此时可以按照某些变量将数据分层，在层中对缺失值使用均值插补，即采取冷平台插补法。
2.2 噪声数据处理
噪声是一个测量变量中的随机错误和偏差，包括错误值或偏离期望的孤立点值。
噪声检查中比较常见的方法：
(1)通过寻找数据集中与其他观测值及均值差距最大的点作为异常 (2)聚类方法检测，将类似的取值组织成“群”或“簇”，落在“簇”集合之外的值被视为离群点。 在进行噪声检查后，通常采用分箱、聚类、回归、计算机检查和人工检查结合等方法“光滑”数据，去掉数据中的噪声。
分箱：分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据(某列属性值)按照一定的规则放进一些箱子中，考察每一个箱子中的数据，采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时，需要确定的两个主要问题就是：如何分箱以及如何对每个箱子中的数据进行平滑处理。
2.2.1 分箱的方法：有4种：等深分箱法、等宽分箱法、最小熵法和用户自定义区间法。
等深分箱法(统一权重)：将数据集按记录行数分箱，每箱具有相同的记录数，每箱记录数称为箱子的深度。这是最简单的一种分箱方法。
设定权重(箱子深度)为4，分箱后
箱1：800 1000 1200 1500
箱2：1500 1800 2000 2300
箱3：2500 2800 3000 3500
箱4：4000 4500 4800 5000
等宽分箱法(统一区间)：使数据集在整个属性值的区间上平均分布，即每个箱的区间范围是一个常量，称为箱子宽度。
设定区间范围(箱子宽度)为1000元人民币，分箱后
箱1：800 1000 1200 1500 1500 1800
箱2：2000 2300 2500 2800 3000
箱3：3500 4000 4500
箱4：4800 5000
用户自定义区间：用户可以根据需要自定义区间，当用户明确希望观察某些区间范围内的数据分布时，使用这种方法可以方便地帮助用户达到目的。
如将客户收入划分为1000元以下、1000~2000、2000~3000、3000~4000和4000元以上几组，分箱后
箱1：800
箱2：1000 1200 1500 1500 1800 2000
箱3：2300 2500 2800 3000
箱4：3500 4000
箱5：4500 4800 5000
2.2.2 数据平滑方法
按平均值平滑 ：对同一箱值中的数据求平均值，用平均值替代该箱子中的所有数据。 按边界值平滑：用距离较小的边界值替代箱中每一数据。 按中值平滑：取箱子的中值，用来替代箱子中的所有数据。
三、数据集成
数据集成中的两个主要问题是：
(1)如何对多个数据集进行匹配，当一个数据库的属性与另一个数据库的属性匹配时，必须注意数据的结构; (2)数据冗余。两个数据集有两个命名不同但实际数据相同的属性，那么其中一个属性就是冗余的。
四、数据变换
数据变换策略主要包括以下几种：
光滑：去掉噪声; 属性构造：由给定的属性构造出新属性并添加到数据集中。例如，通过“销售额”和“成本”构造出“利润”，只需要对相应属性数据进行简单变换即可 聚集：对数据进行汇总。比如通过日销售数据，计算月和年的销售数据; 规范化：把数据单按比例缩放，比如数据标准化处理; 离散化：将定量数据向定性数据转化。比如一系列连续数据，可用标签进行替换(0,1);
五、数据归约
数据归约通常用维归约、数值归约方法实现。维归约指通过减少属性的方式压缩数据量，通过移除不相关的属性，可以提高模型效率。常见的维归约方法有：分类树、随机森林通过对分类效果的影响大小筛选属性;小波变换、主成分分析通过把原数据变换或投影到较小的空间来降低维数。
Ⅲ 机器学习系统和大数据挖掘工具有哪些
1、KNIME
KNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够帮助商业智能和财务数据分析。
2、Rapid Miner
Rapid Miner，也叫YALE，以Java编程语言编写，通过基于模板的框架提供高级分析，是用于机器学习和数据挖掘实验的环境，用于研究和实践数据挖掘。使用它，实验可以由大量的可任意嵌套的操作符组成，而且用户无需编写代码，它已经有许多模板和其他工具，帮助轻松地分析数据。
3、SAS Data Mining
SAS Data Mining是一个商业软件，它为描述性和预测性建模提供了更好的理解数据的方法。SAS Data Mining有易于使用的GUI，有自动化的数据处理工具。此外，它还包括可升级处理、自动化、强化算法、建模、数据可视化和勘探等先进工具。
4、IBM SPSS Modeler
IBM SPSS Modeler适合处理文本分析等大型项目，它的可视化界面做得很好。它允许在不编程的情况下生成各种数据挖掘算法，而且可以用于异常检测、CARMA、Cox回归以及使用多层感知器进行反向传播学习的基本神经网络。
5、Orange
Orange是一个基于组件的数据挖掘和机器学习软件套件，它以Python编写。它的数据挖掘可以通过可视化编程或Python脚本进行，它还包含了数据分析、不同的可视化、从散点图、条形图、树、到树图、网络和热图的特征。
6、Rattle
Rattle是一个在统计语言R编写的开源数据挖掘工具包，是免费的。它提供数据的统计和可视化汇总，将数据转换为便于建模的表单，从数据中构建无监督模型和监督模型，以图形方式呈现模型性能，并对新数据集进行评分。它支持的操作系统有GNU / Linux，Macintosh OS X和MS / Windows。
7、Python
Python是一个免费且开放源代码的语言，它的学习曲线很短，便于开发者学习和使用，往往很快就能开始构建数据集，并在几分钟内完成极其复杂的亲和力分析。只要熟悉变量、数据类型、函数、条件和循环等基本编程概念，就能轻松使用Python做业务用例数据可视化。
8、Oracle Data Mining
Oracle数据挖掘功能让用户能构建模型来发现客户行为目标客户和开发概要文件，它让数据分析师、业务分析师和数据科学家能够使用便捷的拖放解决方案处理数据库内的数据， 它还可以为整个企业的自动化、调度和部署创建SQL和PL / SQL脚本。
9、Kaggle
Kaggle是全球最大的数据科学社区，里面有来自世界各地的统计人员和数据挖掘者竞相制作最好的模型，相当于是数据科学竞赛的平台，基本上很多问题在其中都可以找到，感兴趣的朋友可以去看看。
10、Framed Data
最后介绍的Framed Data是一个完全管理的解决方案，它在云中训练、优化和存储产品的电离模型，并通过API提供预测，消除基础架构开销。也就是说，框架数据从企业获取数据，并将其转化为可行的见解和决策，这样使得用户很省心。
Ⅳ 机器学习使用什么工具比较好
用Python做机器学习，推荐scikit-learn。
分布式机器学习推荐Spark mllib。
深度学习推荐TensorFlow、Keras。
Ⅳ 机器学习中涉及到哪些数学工具
在机器学习中涉及到很多的工具，其中最重要的当属数学工具。机器学习涉及到的数据工具总共有三种，分别是线性代数、概率统计和最优化理论。在这篇文章中我们就来详细给大家介绍一下这些知识，让大家在日常的机器学习中可以更好地运用到数学工具。
首先我们给大家介绍一下线性代数，线性代数起到的一个最主要的作用就是把具体的事物转化成抽象的数学模型。不管我们的世界当中有多么纷繁复杂，我们都可以把它转化成一个向量，或者一个矩阵的形式。这就是线性代数最主要的作用。所以，在线性代数解决表示这个问题的过程中，我们主要包括这样两个部分，一方面是线性空间理论，也就是我们说的向量、矩阵、变换这样一些问题。第二个是矩阵分析。给定一个矩阵，我们可以对它做所谓的SVD分解，也就是做奇异值分解，或者是做其他的一些分析。这样两个部分共同构成了我们机器学习当中所需要的线性代数。
然后我们说一下概率统计，在评价过程中，我们需要使用到概率统计。概率统计包括了两个方面，一方面是数理统计，另外一方面是概率论。一般来说数理统计比较好理解，我们机器学习当中应用的很多模型都是来源于数理统计。像最简单的线性回归，还有逻辑回归，它实际上都是来源于统计学。在具体地给定了目标函数之后，我们在实际地去评价这个目标函数的时候，我们会用到一些概率论。当给定了一个分布，我们要求解这个目标函数的期望值。在平均意义上，这个目标函数能达到什么程度呢？这个时候就需要使用到概率论。所以说在评价这个过程中，我们会主要应用到概率统计的一些知识。
最后我们说一下最优化理论，其实关于优化，就不用说了，我们肯定用到的是最优化理论。在最优化理论当中，主要的研究方向是凸优化。凸优化当然它有些限制，但它的好处也很明显，比如说能够简化这个问题的解。因为在优化当中我们都知道，我们要求的是一个最大值，或者是最小值，但实际当中我们可能会遇到一些局部的极大值，局部的极小值，还有鞍点这样的点。凸优化可以避免这个问题。在凸优化当中，极大值就是最大值，极小值也就是最小值。但在实际当中，尤其是引入了神经网络还有深度学习之后，凸优化的应用范围越来越窄，很多情况下它不再适用，所以这里面我们主要用到的是无约束优化。同时，在神经网络当中应用最广的一个算法，一个优化方法，就是反向传播。
在这篇文章中我们给大家介绍了机器学习涉及到的数学工具，分别是线性代数、概率统计和最优化理论。相信大家看了这篇文章以后已经对这些工具的作用有所了解，希望这篇文章能够更好地帮助大家。
Ⅵ 机器学习的特征处理工具有哪些
天云平台的产品特别垃圾，组件并不通用而且基本上都是开源库的源代码直接拿来用。开源的内容也是再常见不过的H20 SciKit Learn之类的。而且平台功能封装得太死，只能输出模型文件，没有实际应用价值。要我还不如自己租个裸的云计算硬件资源自己装Anaconda底层呢，价格一个月才几百封顶。
Ⅶ 机器学习和 AI 领域必须了解的工具
机器学习和 AI 领域必须了解的工具
关于数据科学，工具可能并不是那么热门的话题。人们似乎更关注最新的聊天机器人技术以及深度学习框架。
但这显然是不合理的。为什么不花些时间，挑选合适的工具呢？毕竟好的工具能够让你事半功倍。在本文中介绍了机器学习和 AI 方面的优质工具。
应该使用哪种语言？
这是一个有争议的问题。存在很多不同的观点。我个人的观点可能不那么常见，我认为越多越好。你应该同时使用 R 语言和 Python。
为什么？R语言更擅长数据可视化，并且有大量的统计数据包。另一方面，Python可以帮助你将模型部署生产，并更好地与团队中其他开发人员合作。
基本的软件包
我们应该充分利用的优秀开源社区。首先让我们回顾一下数据科学工作的主要流程。
典型的机器学习工作流程
最重要的步骤是：数据获取、数据清洗、可视化、建模、沟通。这些过程都需要用到库。
数据清洗
针对数据清洗，R语言中有一个出色的包——dplyr。无可否认，它的语法有些奇怪。注意 ％>％ 与* nix中的（|）运算符的工作原理相同，前一个操作的输出成为下一个操作的输入。这样，只需几行代码，你就可以构建相当复杂且可读的数据清洗操作。
另一方面，Python中可以用到Pandas。这个库很大程度上借鉴了R语言，特别是数据框的概念（当中行是观测，列是特征）。这需要一定的学习过程，但在习惯了之后，你可以在数据处理中做很多事情（甚至可以直接写入数据库）。
数据可视化
针对数据可视化，R语言中有ggplot2和plotly。ggplot2 非常强大，但级别较低。同样它的语法很奇怪，你需要通过图形语法来进行理解。plotly是一个较新的库，具有 ggplot 的功能，只需要一行代码就能进行交互。
Python中进行可视化的基础包是 matplotlib。但它的语法有些奇怪，默认颜色也不那么理想，因此我建议你使用新的seaborn软件包。Python缺少对模型性能的可视化，这里可以使用 yellowbrick 解决。你可以使用它来创建漂亮的图表分类器进行评估，查看特征，甚至绘制文本模型。
使用 seaborn 对 iris 数据集进行绘制
API
使用R语言进行机器学习常常会遇到一个问题。几乎所有模型都有不同的API，除非你记住所有的内容，如果你只想测试不同算法，那么就需要打开好几个文档标签。这个缺陷可以用 caret 和 mlr 解决，后者较新。我推荐用mlr，因为它更结构化，维护也更积极。而且功能强大，具有分解数据、训练、预测和性能评估功能。
Python中相应的库是scikit-learn。这也是我最喜欢的库，同时 scikit-learn 也备受一些科技公司的青睐 。它有一致的API，超过150种算法（包括神经网络），出色的文档，主动维护和教程。
Python中的ROC/AUC图，使用yellowbrick
集成开发环境
对于R语言来说，RStudio 是一个非常棒的工具，而且没有其他的竞争工具。我们希望在Python中找到相应的工具，我筛选了十几个(Spyder，PyCharm，Rodeo，spacemacs，Visual Studio，Canopy等等)，主要推荐当中的两个工具：Jupyter Lab和Atom + Hydrogen。
Jupyter Lab很棒。但它仍然继承了Jupyter Notebook 中存在的一些缺点，比如单元状态，安全性，以及最严重的VCS集成问题。出于这个原因，我建议使用Atom + Hydrogen。你可以用它完成各种数据科学任务，比如检查数据框和变量，绘图等。
Atom + Hydrogen
EDA 工具
为什么需要？在数据科学过程中，尤其是起步阶段，我们需要快速地探索数据。在进行可视化之前，我们需要探索，并通过最少的技术投入来实现。因此写一大堆 seaborn、ggplot 代码并不是最佳选择，你需要使用 GUI 界面。因为不涉及任何代码，业务人员也可以使用。有两个非常棒的跨平台工具，并且免费——Past和Orange。前者更侧重于统计分析，后者更侧重于建模。两者都可以做很棒的数据可视化，因此完全符合我们的目标。
用Orange你能够进行的操作
结语
通过对工具进行优化，你能够更高效地完成数据分析工作(但也不要以此为借口不去工作哦)。
Ⅷ 数据挖掘常用的软件有哪些
1、Rapid Miner
Rapid Miner是一个数据科学软件平台，为数据准备、机器学习、深度学习、文本挖掘和预测分析提供一种集成环境。它是领先的数据挖掘开源系统之一。该程序完全用Java编程语言编写。该程序提供了一个选项，以便用户试用大量可任意嵌套的操作符，这些操作符在XML文件中有详细说明，可由Rapid Miner的图形用户界面来构建。
2、Orange
Orange是一个开源数据可视化、机器学习和数据挖掘工具包。它有一个可视化编程前端，可用于探索性数据分析和交互式数据可视化。Orange是一个基于组件的可视化编程软件包，用于数据可视化、机器学习、数据挖掘和数据分析。Orange组件称为窗口组件，范围广泛：从简单的数据可视化、子集选择和预处理，到学习算法和预测建模的评估，不一而足。Orange的可视化编程通过界面来进行，其中工作流程通过连接预定义或用户设计的窗口组件来创建，而高级用户可以将Orange用作Python库，以便操纵数据和更改窗口组件。
3、Kaggle
Kaggle是世界上数据科学家和机器学习者社区。Kaggle以开设机器学习竞赛起家，但现在逐渐变成基于公共云的数据科学平台。Kaggle是一个平台，有助于解决难题、招募强大的团队并宣传数据科学的力量。
4、Weka
怀卡托知识分析环境(Weka)是新西兰怀卡托大学开发的一套机器学习软件。该软件用Java编写。它含有一系列面向数据分析和预测建模的可视化工具和算法，附带图形用户界面。Weka支持几种标准数据挖掘任务，更具体地说是指数据预处理、聚类、分类、回归、可视化和特征选择。
关于数据挖掘常用的软件有哪些，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。