Ⅰ 大数据十大商业应用场景
大数据十大商业应用场景
大数据时代,在未来的几十年里,大数据都将会是一个重要都话题。大数据影响着每一个人,并在可以预见的未来继续影响着。大数据冲击着许多主要行业,包括零售业、金融行业、医疗行业等等,大数据也在彻底地改变着我们的生活。现在我们就来看看大数据给中国带来的十商业应用场景,未来大数据产业将会是一个万亿市场。
1、智慧城市
如今,世界超过一半的人口生活在城市里,到2050年这一数字会增长到75%。政府需要利用一些技术手段来管理好城市,使城市里的资源得到良好配置。既不出现由于资源配置不平衡而导致的效率低下以及骚乱,又要避免不必要的资源浪费而导致的财政支出过大。大数据作为其中的一项技术可以有效帮助政府实现资源科学配置,精细化运营城市,打造智慧城市。
城市的道路交通,完全可以利用GPS数据和摄像头数据来进行规划,包括道路红绿灯时间间隔和关联控制,包括直行和左右转弯车道的规划、单行道的设置。利用大数据技术实施的城市交通智能规划,至少能够提高30%左右的道路运输能力,并能够降低交通事故率。在美国,政府依据某一路段的交通事故信息来增设信号灯,降低了50%以上的交通事故率。机场的航班起降依靠大数据将会提高航班管理的效率,航空公司利用大数据可以提高上座率,降低运行成本。铁路利用大数据可以有效安排客运和货运列车,提高效率、降低成本。
城市公共交通规划、教育资源配置、医疗资源配置、商业中心建设、房地产规划、产业规划、城市建设等都可以借助于大数据技术进行良好规划和动态调整。
大数据技术可以了解经济发展情况,各产业发展情况,消费支出和产品销售情况,依据分析结果,科学地制定宏观政策,平衡各产业发展,避免产能过剩,有效利用自然资源和社会资源,提高社会生产效率。大数据技术也能帮助政府进行支出管理,透明合理的财政支出将有利于提高公信力和监督财政支出。大数据及大数据技术带给政府的不仅仅是效率提升、科学决策、精细管理,更重要的是数据治国、科学管理的意识改变,未来大数据将会从各个方面来帮助政府实施高效和精细化管理,具有极大的想象空间。
2、金融行业
大数据在金融行业应用范围较广,典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品,美国银行利用客户点击数据集为客户提供特色服务。中国金融行业大数据应用开展得较早,但都是以解决大数据效率问题为主,很多金融行业建立了大数据平台,对金融行业的交易数据进行采集和处理。
金融行业过去的大数据应用以分析自身财务数据为主,以提供动态财务报表为主,以风险管理为主。在大数据价值变现方面,开展的不够深入,这同金融行业每年上万亿的净利润相比是不匹配的。现在已经有一些银行和证券开始和移动互联网公司合作,一起进行大数据价值变现,其中招商银行、平安集团、兴业银行、国信证券、海通证券和Talking Data在移动大数据精准营销、获客、用户体验等方面进行了不少的尝试,大数据价值变现效果还不错,大数据正在帮助金融行业进行价值变现。大数据在金融行业的应用可以总结为以下五个方面:
(1)精准营销:依据客户消费习惯、地理位置、消费时间进行推荐
(2)风险管控:依据客户消费和现金流提供信用评级或融资支持,利用客户社交行为记录实施信用卡反欺诈
(3)决策支持:利用抉策树技术进抵押贷款管理,利用数据分析报告实施产业信贷风险控制
(4)效率提升:利用金融行业全局数据了解业务运营薄弱点,利用大数据技术加快内部数据处理速度
(5)产品设计:利用大数据计算技术为财富客户推荐产品,利用客户行为数据设计满足客户需求的金融产品
3、医疗行业
医疗行业拥有大量病例、病理报告、医疗方案、药物报告等。如果这些数据进行整理和分析,将会极大地帮助医生和病人。在未来,借助于大数据平台我们可以收集疾病的基本特征、病例和治疗方案,建立针对疾病的数据库,帮助医生进行疾病诊断。
如果未来基因技术发展成熟,可以根据病人的基因序列特点进行分类,建立医疗行业的病人分类数据库。在医生诊断病人时可以参考病人的疾病特征、化验报告和检测报告,参考疾病数据库来快速帮助病人确诊。在制定治疗方案时,医生可以依据病人的基因特点,调取相似基因、年龄、人种、身体情况相同的有效治疗方案,制定出适合病人的治疗方案,帮助更多人及时进行治疗。同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械。
医疗行业的数据应用一直在进行,但是数据没有打通,都是孤岛数据,没有办法起大规模应用。未来需要将这些数据统一收集起来,纳入统一的大数据平台,为人类健康造福。政府是推动这一趋势的重要动力,未来市场将会超过几千亿元。
4、农牧业
农产品不容易保存,合理种植和养殖农产品对农民非常重要。借助于大数据提供的消费能力和趋势报告,政府将为农牧业生产进行合理引导,依据需求进行生产,避免产能过剩,造成不必要的资源和社会财富浪费。大数据技术可以帮助政府实现农业的精细化管理,实现科学决策。在数据驱动下,结合无人机技术,农民可以采集农产品生长信息,病虫害信息。
农业生产面临的危险因素很多,但这些危险因素很大程度上可以通过除草剂、杀菌剂、杀虫剂等技术产品进行消除。天气成了影响农业非常大的决定因素。过去的天气预报仅仅能提供当地的降雨量,但农民更关心有多少水分可以留在他们的土地上,这些是受降雨量和土质来决定的。Climate公司利用政府开放的气象站的数据和土地数据建立了模型,他们可以告诉农民可以在哪些土地上耕种,哪些土地今天需要喷雾并完成耕种,哪些正处于生长期的土地需要施肥,哪些土地需要5天后才可以耕种,大数据技术可以帮助农业创造巨大的商业价值。
5、零售行业
零售行业比较有名气的大数据案例就是沃尔玛的啤酒和尿布的故事,以及Target通过向年轻女孩寄送尿布广告而告知其父亲,女孩怀孕的故事。
零售行业可以通过客户购买记录,了解客户关联产品购买喜好,将相关的产品放到一起增加来增加产品销售额,例如将洗衣服相关的化工产品例如洗衣粉、消毒液、衣领净等放到一起进行销售。根据客户相关产品购买记录而重新摆放的货物将会给零售企业增加30%以上的产品销售额。
零售行业还可以记录客户购买习惯,将一些日常需要的必备生活用品,在客户即将用完之前,通过精准广告的方式提醒客户进行购买。或者定期通过网上商城进行送货,既帮助客户解决了问题,又提高了客户体验。
电商行业的巨头天猫和京东,已经通过客户的购买习惯,将客户日常需要的商品例如尿不湿,卫生纸,衣服等商品依据客户购买习惯事先进行准备。当客户刚刚下单,商品就会在24小时内或者30分钟内送到客户门口,提高了客户体验,让客户连后悔等时间都没有。
利用大数据的技术,零售行业将至少会提高30%左右的销售额,并提高客户购买体验。
6、大数据技术产业
进入移动互联网之后,非结构化数据和结构化数据呈指数方式增长。现在人类社会每两年产生的数据将超过人类历史过去所有数据之和。进入到2015年,人类社会所有的数据之和有望突破5泽B(5ZB),这些数据如何存储和处理将会成为很大的问题。
这些大数据为大数据技术产业提供了巨大的商业机会。据估计全世界在大数据采集、存储、处理、清晰、分析所产生的商业机会将会超过2000亿美金,包括政府和企业在大数据计算和存储,数据挖掘和处理等方面等投资。中国2014年大数据产业产值已经超过了千亿人民币,本届贵阳大数据博览会就吸引了400多家厂商来参展,充分说明大数据产业的未来的商业价值巨大。
未来中国的大数据产业将会呈几何级数增长,在5年之内,中国的大数据产业将会形成万亿规模的市场。不仅仅是大数据技术产品的市场,也将是大数据商业价值变现的市场。大数据将会在企业的精准营销、决策分析、风险管理、产品设计、运营优化等领域发挥重大的作用。
大数据技术产业将会解决大数据存储和处理的问题,大数据服务公司将利用自身的数据将解决大数据价值变现问题,其所带来的市场规模将会超过千亿人民币。中国目前拥有大数据,并提供大数据价值变现服务的公司除了我们众所周知的BAT和移动运营商之外,360、小米、京东、Talking Data、九次方等都会成为大数据价值变现市场的有力参与者,市场足够大,期望他们将市场做大,帮助所有企业实现大数据价值变现。
7、物流行业
中国的物流产业规模大概有5万亿左右,其中公里物流市场大概有3万亿左右。物流行业的整体净利润从过去的30%以上降低到了20%左右,并且下降的趋势明显。物流行业很多的运力浪费在返程空载、重复运输、小规模运输等方面。中国市场最大等物流公司所占的市场份额不到1%。因此资源需要整合,运送效率需要提高。
物流行业借助于大数据,可以建立全国物流网络,了解各个节点的运货需求和运力,合理配置资源,降低货车的返程空载率,降低超载率,减少重复路线运输,降低小规模运输比例。通过大数据技术,及时了解各个路线货物运送需求,同时建立基于地理位置和产业链的物流港口,实现货物和运力的实时配比,提高物流行业的运输效率。借助于大数据技术对物流行业进行的优化资源配置,至少可以增加物流行业10%左右的收入,其市场价值将在5000亿左右。
8、房地产业
中国房地产业发展的高峰已经过去,其面临的挑战逐渐增加,房地产业正从过去的粗放发展方式转向精细运营方式,房地产企业在拍卖土地、住房地产开发规划、商业地产规划方面也将会谨慎进行。
借助于大数据,特别是移动大数据技术。房地产业可以了解开发土地所在范围常驻人口数量、流动人口数量、消费能力、消费特点、年龄阶段、人口特征等重要信息。这些信息将会帮助房地商在商业地产开发、商户招商、房屋类型、小区规模进行科学规划。利用大数据技术,房地产行业将会降低房地产开发前的规划风险,合理制定房价,合理制定开发规模,合理进行商业规划。大数据技术可以降低土地价格过高,实际购房需求过低的风险。已经有房地产公司将大数据技术应用于用户画像、土地规划、商业地产开发等领域,并取得了良好的效果。
9、制造业
制造业过去面临生产过剩的压力,很多产品包括家电、纺织产品、钢材、水泥、电解铝等都没有按照市场实际需要生产,造成了资源的极大浪费。利用电商数据、移动互联网数据、零售数据,我们可以了解未来产品市场都需求,合理规划产品生产,避免生产过剩。
例如依据用户在电商搜索产品的数据以及物流数据,可以推测出家电产品和纺织产品未来的实际需求量,厂家将依据这些数据来进行生产,避免生产过剩。移动互联网的位置信息可以帮助了解当地人口进出的趋势,避免生产过多的钢材和水泥。
大数据技术还可以根据社交数据和购买数据来了解客户需求,帮助厂商进行产品开发,设计和生产出满足客户需要的产品。
10、互联网广告业
2014年中国互联网广告市场迎来发展高峰,市场规模预计达到1500亿元左右,较2013年增长56.5%。数字广告越来越受到广告主的重视,其未来市场规模越来越大。2014年美国的互联网广告市场规模接近500亿美元,参考中国的人口消费能力,其市场规模会很快达到2000亿人民币左右。
过去到广告投放都是以好的广告渠道+广播式投放为主,广告主将广告交给广告公司,由广告公司安排投放,其中SEM广告市场最大,其他的广告投放方式也是以页面展示为主,大多是广播式广告投放。广播式投放的弊端是投入资金大,没有针对目标客户,面对所有客户进行展示,广告的转化率较低,并存在数字广告营销陷阱等问题。
大数据技术可以将客户在互联网上的行为记录下来,对客户的行为进行分析,打上标签并进行用户画像。特别是进入移动互联网时代之后,客户主要的访问方式转向了智能手机和平台电脑,移动互联网的数据包含了个人的位置信息,其360度用户画像更加接近真实人群。360度用户画像可以帮助广告主进行精准营销,广告公司可以依据用户画像的信息,将广告直接投放到用户的移动设备,通过用户经常使用的APP进行广告投放,其广告的转化可以大幅度提高。利用移动互联网大数据技术进行的精准营销将会提高十倍以上的客户转化率,广告行业的程序化购买正在逐步替代广播式广告投放。大数据技术将帮助广告主和广告公司直接将广告投放给目标用户,其将会降低广告投入,提高广告的转化率。
目前,影响大数据产业发展主要有两个大问题,一个是大数据应用场景,一个是大数据隐私保护问题。
大数据商业价值的应用场景,大数据公司和企业正在寻找,目前在移动互联网的精准营销和获客、360度用户画像、房地产开发和规划、互联网金融的风险管理、金融行业的供应链金融,个人征信等方面已经取得了进步,拥有了很多经典案例。
但在有关大数据隐私保护以及大数据应用过程中个人信息保护方面还停滞不前,大家都在摸石头过河,不知道哪些事情可以做,哪些事情不可以做。国家在大数据隐私保护方面正在进行立法,估计不久的将来,大数据服务公司和企业将会了解大数据隐私保护方面的具体要求。在没有明确有关大数据隐私保护法规前,我们可以参考国外的隐私法,严格遵守国际上通用的个人隐私保护法,在实施大数据价值变现的过程中,充分保护所有相关方的个人利益。
最后纵观人类历史,在任何领域,如果我们可以拿到数据进行分析,我们就会取得进步。如果我们拿不到数据,无法进行分析,我们注定要落后。我们过去因数据不足导致的错误远远好过那些根本不用数据的错误,因此我们需要掌握大数据这个武器,利用好它,帮助人类社会加速进化,帮助企业实现大数据的价值变现。
以上是小编为大家分享的关于大数据十大商业应用场景的相关内容,更多信息可以关注环球青藤分享更多干货
Ⅱ 大数据可以应用在哪些方面
可以应用在云计算方面。
大数据具体的应用:
1、洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。
2、google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。
3、统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。
4、麻省理工学院利用手机定位数据和交通数据建立城市规划。
5、梅西百货的实时定价机制。根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价。
6、医疗行业早就遇到了海量数据和非结构化数据的挑战,而近年来很多国家都在积极推进医疗信息化发展,这使得很多医疗机构有资金来做大数据分析。
7、及时解析故障、问题和缺陷的根源,每年可能为企业节省数十亿美元。
8、为成千上万的快递车辆规划实时交通路线,躲避拥堵。
9、分析所有SKU,以利润最大化为目标来定价和清理库存。
10、根据客户的购买习惯,为其推送他可能感兴趣的优惠信息。
(2)以下哪个场景可以成为大数据产品扩展阅读:
大数据的用处:
1、与云计算的深度结合。大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。
自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
2、科学理论的突破。随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。
参考资料:
网络--大数据
Ⅲ 大数据可以应用在哪些行业
1)第一大类是互联网和营销行业。
互联网行业是离消费者距离最近的行业,同时拥有大量实时产生的数据。业务数据化是其企业运营的基本要素,因此,互联网行业的大数据应用的程度是最高的。与互联网行业相伴的营销行业,是围绕着互联网用户行为分析,以为消费者提供个性化营销服务为主要目标的行业。
2)第二大类是信息化水平比较高的行业。
如金融、电信等行业。它们比较早地进行信息化建设,内部业务系统的信息化相对比较完善,对内部数据有大量的历史积累,并且有一些深层次的分析类应用,目前正处于将内外部数据结合起来共同为业务服务的阶段。
3)第三类是政府及公用事业行业。
不同部门的信息化程度和数据化程度差异较大,例如,交通行业目前已经有了不少大数据应用案例,但有些行业还处在数据采集和积累阶段。政府将会是未来整个大数据产业快速发展的关键,通过政府及公用数据开放可以使政府数据在线化走得更快,从而激发大数据应用的大发展。
4)第四类是制造业、物流、医疗、农业等行业。
它们的大数据应用水平还处在初级阶段,但未来消费者驱动的 C2B 模式会倒逼着这些行业的大数据应用进程逐步加快。
Ⅳ 大数据的应用领域有哪些
1.了解和定位客户
这是大数据目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集,通过大数据技术创建预测模型,从而更全面地了解客户以及他们的行为、喜好。
利用大数据,美国零售商Target公司甚至能推测出客户何时会有Baby;电信公司可以更好地预测客户流失;沃尔玛可以更准确的预测产品销售情况;汽车保险公司能更真实的了解客户实际驾驶情况。
滑雪场利用大数据来追踪和锁定客户。如果你是一名狂热的滑雪者,想象一下,你会收到最喜欢的度假胜地的邀请;或者收到定制化服务的短信提醒;或者告知你最合适的滑行线路。。。。。。同时提供互动平台(网站、手机APP)记录每天的数据——多少次滑坡,多少次翻越等等,在社交媒体上分享这些信息,与家人和朋友相互评比和竞争。
除此之外,政府竞选活动也引入了大数据分析技术。一些人认为,奥巴马在2012年总统大选中获胜,归功于他们团队的大数据分析能力更加出众。
2.
改善医疗保健和公共卫生
大数据分析的能力可以在几分钟内解码整个DNA序列,有助于我们找到新的治疗方法,更好地理解和预测疾病模式。试想一下,当来自所有智能手表等可穿戴设备的数据,都可以应用于数百万人及其各种疾病时,未来的临床试验将不再局限于小样本,而是包括所有人!
苹果公司的一款健康APP ResearchKit有效将手机变成医学研究设备。通过收集用户的相关数据,可以追踪你一天走了多少步,或者提示你化疗后感觉如何,帕金森病进展如何等问题。研究人员希望这一过程变得更容易、更自动化,吸引更多的参与者,并提高数据的准确度。
大数据技术也开始用于监测早产儿和患病婴儿的身体状况。通过记录和分析每个婴儿的每一次心跳和呼吸模式,提前24小时预测出身体感染的症状,从而及早干预,拯救那些脆弱的随时可能生命危险的婴儿。
更重要的是,大数据分析有助于我们监测和预测流行性或传染性疾病的暴发时期,可以将医疗记录的数据与有些社交媒体的数据结合起来分析。比如,谷歌基于搜索流量预测流感爆发,尽管该预测模型在2014年并未奏效——因为你搜索“流感症状”并不意味着真正生病了,但是这种大数据分析的影响力越来越为人所知。
3.提供个性化服务
大数据不仅适用于公司和政府,也适用于我们每个人,比如从智能手表或智能手环等可穿戴设备采集的数据中获益。Jawbone的智能手环可以分析人们的卡路里消耗、活动量和睡眠质量等。Jawbone公司已经能够收集长达60年的睡眠数据,从中分析出一些独到的见解反馈给每个用户。从中受益的还有网络平台“寻找真爱”,大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。
4.
了解和优化业务流程
大数据也越来越多地应用于优化业务流程,比如供应链或配送路径优化。通过定位和识别系统来跟踪货物或运输车辆,并根据实时交通路况数据优化运输路线。
人力资源业务流程也在使用大数据进行优化。Sociometric Solutions公司通过在员工工牌里植入传感器,检测其工作场所及社交活动——员工在哪些工作场所走动,与谁交谈,甚至交流时的语气如何。美国银行在使用中发现呼叫中心表现最好的员工——他们制定了小组轮流休息制度,平均业绩提高了23%。
如果在手机、钥匙、眼镜等随身物品上粘贴RFID标签,万一不小心丢失就能迅速定位它们。假想一下未来可能创造出贴在任何东西上的智能标签。它们能告诉你的不仅是物体在哪里,还可以反馈温度,湿度,运动状态等等。这将打开一个全新的大数据时代,“大数据”领域寻求共性的信息和模式,那么孕育其中的“小数据”着重关注单个产品。
5.
改善城市和国家建设
大数据被用于改善我们城市和国家的方方面面。目前很多大城市致力于构建智慧交通。车辆、行人、道路基础设施、公共服务场所都被整合在智慧交通网络中,以提升资源运用的效率,优化城市管理和服务。
加州长滩市正在使用智能水表实时检测非法用水,帮助一些房主减少80%的用水量。洛杉矶利用磁性道路传感器和交通摄像头的数据来控制交通灯信号,从而优化城市的交通流量。据统计目前已经控制了全市4500个交通灯,将交通拥堵状况减少了约16%。
6.提升科学研究
大数据带来的无限可能性正在改变科学研究。欧洲核子研究中心(CERN)在全球遍布了150个数据中心,有65,000个处理器,能同时分析30pb的数据量,这样的计算能力影响着很多领域的科学研究。比如政府需要的人口普查数据、自然灾害数据等,变的更容易获取和分析,从而为我们的健康和社会发展创造更多的价值。
7.提升机械设备性能
大数据使机械设备更加智能化、自动化。例如,丰田普锐斯配备了摄像头、全球定位系统以及强大的计算机和传感器,在无人干预的条件下实现自动驾驶。Xcel Energy在科罗拉多州启动了“智能电网”的首批测试,在用户家中安装智能电表,然后登录网站就可实时查看用电情况。“智能电网”还能够预测使用情况,以便电力公司为未来的基础设施需求进行规划,并防止出现电力耗尽的情况。在爱尔兰,杂货连锁店Tescos的仓库员工佩戴专用臂带,追踪货架上的商品分配,甚至预测一项任务的完成时间。
8.强化安全和执法能力
大数据在改善安全和执法方面得到了广泛应用。美国国家安全局(NSA)利用大数据技术,检测和防止网络攻击(挫败恐怖分子的阴谋)。警察运用大数据来抓捕罪犯,预测犯罪活动。信用卡公司使用大数据来检测欺诈交易等等。
2014年2月,芝加哥警察局对大数据生成的“名单”——有可能犯罪的人员,进行通告和探访,目的是提前预防犯罪。
9.
提高体育运动技能
如今大多数顶尖的体育赛事都采用了大数据分析技术。用于网球比赛的IBM SlamTracker工具,通过视频分析跟踪足球落点或者棒球比赛中每个球员的表现。许多优秀的运动队也在训练之外跟踪运动员的营养和睡眠情况。NFL开发了专门的应用平台,帮助所有球队根据球场上的草地状况、天气状况、以及学习期间球员的个人表现做出最佳决策,以减少球员不必要的受伤。
还有一件非常酷的事情是智能瑜伽垫:嵌入在瑜伽垫中的传感器能对你的姿势进行反馈,为你的练习打分,甚至指导你在家如何练习。
10.金融交易
大数据在金融交易领域应用也比较广泛。大多数股票交易都是通过一定的算法模型进行决策的,如今这些算法的输入会考虑来自社交媒体、新闻网络的数据,以便更全面的做出买卖决策。同时根据客户的需求和愿望,这些算法模型也会随着市场的变化而变化。
更多精彩:14_spark体系之分布式计算课程Spark 集群搭建+S
Ⅳ 大数据应用主要是应用在哪些方面
1、大数据改善校园生活实现“刷脸”结算、实时监控、智能快递。
2、大数据在医疗行业回,改善人民健康状况答。当大数据应用于医疗行业解决民生问题时,可对区域性疾病发生情况提供技术支持。
3、大数据在就业方面,解决失业再就业问题。就业问题是关乎人民群众生计的大问题,大数据能够为政府解决民众就业问题提供决策支撑,预测出某一地区的经济状况、收入动态、失业率等情况。
大数据的价值体现在以下几个方面:
1、对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。
2、 做小而美模式的中小微企业可以利用大数据做服务转型。
3、 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。
Ⅵ 物联网时代的八大工业大数据应用场景
物联网时代的八大工业大数据应用场景
工业大数据是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据。
随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用,尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业的新的发展阶段,工业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转,由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据,从数据类型看也多是非结构化数据,生产线的高速运转则对数据的实时性要求也更高。因此,工业大数据应用所面临的问题和挑战并不比互联网行业的大数据应用少,某些情况下甚至更为复杂。
工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析,信息技术和全球工业系统正在深入融合,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。工业大数据的典型应用包括产品创新、产品故障诊断与预测、工业生产线物联网分析、工业企业供应链优化和产品精准营销等诸多方面。本文将对工业大数据在制造企业的应用场景进行逐一梳理。
1.加速产品创新
客户与工业企业之间的交互和交易行为将产生大量数据,挖掘和分析这些客户动态数据,能够帮助客户参与到产品的需求分析和产品设计等创新活动中,为产品创新作出贡献。福特公司是这方面的表率,他们将大数据技术应用到了福特福克斯电动车的产品创新和优化中,这款车成为了一款名副其实的“大数据电动车”。第一代福特福克斯电动车在驾驶和停车时产生大量数据。在行驶中,司机持续地更新车辆的加速度、刹车、电池充电和位置信息。这对于司机很有用,但数据也传回福特工程师那里,以了解客户的驾驶习惯,包括如何、何时以及何处充电。即使车辆处于静止状态,它也会持续将车辆胎压和电池系统的数据传送给最近的智能电话。
这种以客户为中心的大数据应用场景具有多方面的好处,因为大数据实现了宝贵的新型产品创新和协作方式。司机获得有用的最新信息,而位于底特律的工程师汇总关于驾驶行为的信息,以了解客户,制订产品改进计划,并实施新产品创新。而且,电力公司和其他第三方供应商也可以分析数百万英里的驾驶数据,以决定在何处建立新的充电站,以及如何防止脆弱的电网超负荷运转。
2.产品故障诊断与预测
这可以被用于产品售后服务与产品改进。无所不在的传感器、互联网技术的引入使得产品故障实时诊断变为现实,大数据应用、建模与仿真技术则使得预测动态性成为可能。在马航MH370失联客机搜寻过程中,波音公司获取的发动机运转数据对于确定飞机的失联路径起到了关键作用。我们就拿波音公司飞机系统作为案例,看看大数据应用在产品故障诊断中如何发挥作用。在波音的飞机上,发动机、燃油系统、液压和电力系统等数以百计的变量组成了在航状态,这些数据不到几微秒就被测量和发送一次。以波音737为例,发动机在飞行中每30分钟就能产生10TB数据。
这些数据不仅仅是未来某个时间点能够分析的工程遥测数据,而且还促进了实时自适应控制、燃油使用、零件故障预测和飞行员通报,能有效实现故障诊断和预测。再看一个通用电气(GE)的例子,位于美国亚特兰大的GE能源监测和诊断(M&D)中心,收集全球50多个国家上千台GE燃气轮机的数据,每天就能为客户收集10G的数据,通过分析来自系统内的传感器振动和温度信号的恒定大数据流,这些大数据分析将为GE公司对燃气轮机故障诊断和预警提供支撑。风力涡轮机制造商Vestas也通过对天气数据及期涡轮仪表数据进行交叉分析,从而对风力涡轮机布局进行改善,由此增加了风力涡轮机的电力输出水平并延长了服务寿命。
3.工业物联网生产线的大数据应用
现代化工业制造生产线安装有数以千计的小型传感器,来探测温度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据,利用这些数据可以实现很多形式的分析,包括设备诊断、用电量分析、能耗分析、质量事故分析(包括违反生产规定、零部件故障)等。首先,在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,了解每个环节是如何执行的。一旦有某个流程偏离了标准工艺,就会产生一个报警信号,能更快速地发现错误或者瓶颈所在,也就能更容易解决问题。利用大数据技术,还可以对工业产品的生产过程建立虚拟模型,仿真并优化生产流程,当所有流程和绩效数据都能在系统中重建时,这种透明度将有助于制造商改进其生产流程。再如,在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,能够发现能耗的异常或峰值情形,由此便可在生产过程中优化能源的消耗,对所有流程进行分析将会大大降低能耗。
4.工业供应链的分析和优化
当前,大数据分析已经是很多电子商务企业提升供应链竞争力的重要手段。例如,电子商务企业京东商城,通过大数据提前分析和预测各地商品需求量,从而提高配送和仓储的效能,保证了次日货到的客户体验。RFID等产品电子标识技术、物联网技术以及移动互联网技术能帮助工业企业获得完整的产品供应链的大数据,利用这些数据进行分析,将带来仓储、配送、销售效率的大幅提升和成本的大幅下降。
以海尔公司为例,海尔公司供应链体系很完善,它以市场链为纽带,以订单信息流为中心,带动物流和资金流的运动,整合全球供应链资源和全球用户资源。在海尔供应链的各个环节,客户数据、企业内部数据、供应商数据被汇总到供应链体系中,通过供应链上的大数据采集和分析,海尔公司能够持续进行供应链改进和优化,保证了海尔对客户的敏捷响应。美国较大的OEM供应商超过千家,为制造企业提供超过1万种不同的产品,每家厂商都依靠市场预测和其他不同的变量,如销售数据、市场信息、展会、新闻、竞争对手的数据,甚至天气预报等来销售自己的产品。
利用销售数据、产品的传感器数据和出自供应商数据库的数据,工业制造企业便可准确地预测全球不同区域的需求。由于可以跟踪库存和销售价格,可以在价格下跌时买进,所以制造企业便可节约大量的成本。如果再利用产品中传感器所产生的数据,知道产品出了什么故障,哪里需要配件,他们还可以预测何处以及何时需要零件。这将会极大地减少库存,优化供应链。
5.产品销售预测与需求管理
通过大数据来分析当前需求变化和组合形式。大数据是一个很好的销售分析工具,通过历史数据的多维度组合,可以看出区域性需求占比和变化、产品品类的市场受欢迎程度以及最常见的组合形式、消费者的层次等,以此来调整产品策略和铺货策略。在某些分析中我们可以发现,在开学季高校较多的城市对文具的需求会高很多,这样我们可以加大对这些城市经销商的促销,吸引他们在开学季多订货,同时在开学季之前一两个月开始产能规划,以满足促销需求。对产品开发方面,通过消费人群的关注点进行产品功能、性能的调整,如几年前大家喜欢用音乐手机,而现在大家更倾向于用手机上网、拍照分享等,手机的拍照功能提升就是一个趋势,4G手机也占据更大的市场份额。通过大数据对一些市场细节的分析,可以找到更多的潜在销售机会。
6.生产计划与排程
制造业面对多品种小批量的生产模式,数据的精细化自动及时方便的采集(MES/DCS)及多变性导致数据剧烈增大,再加上十几年的信息化的历史数据,对于需要快速响应的APS来说,是一个巨大的挑战。大数据可以给予我们更详细的数据信息,发现历史预测与实际的偏差概率,考虑产能约束、人员技能约束、物料可用约束、工装模具约束,通过智能的优化算法,制定预计划排产,并监控计划与现场实际的偏差,动态的调整计划排产。帮我们规避“画像”的缺陷,直接将群体特征直接强加给个体(工作中心数据直接改变为具体一个设备、人员、模具等数据)。通过数据的关联分析并监控它,我们就能计划未来。虽然,大数据略有瑕疵,只要得到合理的应用,大数据会变成我们强大的武器。当年,福特问大数据的客户需求是什么?而回答是“一匹更快的马”,而不是现在已经普及的汽车。所以,在大数据的世界里,创意、直觉、冒险精神和知识野心尤为重要。
7.产品质量管理与分析
传统的制造业正面临着大数据的冲击,在产品研发、工艺设计、质量管理、生产运营等各方面都迫切期待着有创新方法的诞生,来应对工业背景下的大数据挑战。例如在半导体行业,芯片在生产过程中会经历许多次掺杂、增层、光刻和热处理等复杂的工艺制程,每一步都必须达到极其苛刻的物理特性要求,高度自动化的设备在加工产品的同时,也同步生成了庞大的检测结果。这些海量数据究竟是企业的包袱,还是企业的金矿呢?如果说是后者的话,那么又该如何快速地拨云见日,从“金矿”中准确地发现产品良率波动的关键原因呢?这是一个已经困扰半导体工程师们多年的技术难题。
某半导体科技公司生产的晶圆在经过测试环节后,每天都会产生包含一百多个测试项目、长度达几百万行测试记录的数据集。按照质量管理的基本要求,一个必不可少的工作就是需要针对这些技术规格要求各异的一百多个测试项目分别进行一次过程能力分析。如果按照传统的工作模式,我们需要按部就班地分别计算一百多个过程能力指数,对各项质量特性一一考核。这里暂且不论工作量的庞大与繁琐,哪怕有人能够解决了计算量的问题,但也很难从这一百多个过程能力指数中看出它们之间的关联性,更难对产品的总体质量性能有一个全面的认识与总结。然而,如果我们利用大数据质量管理分析平台,除了可以快速地得到一个长长的传统单一指标的过程能力分析报表之外,更重要的是,还可以从同样的大数据集中得到很多崭新的分析结果。
8.工业污染与环保检测
《穹顶之下》令人印象深刻的一点是通过可视化报表,柴静团队向观众传递雾霾问题的严峻性、雾霾的成因等等。
这给我们带来的一个启示,即大数据对环保具有巨大价值。《穹顶之下》图表的原生数据哪里来的呢?其实并非都是凭借高层关系获取,不少数据都是公开可查,在中国政府网、各部委网站、中石油中石化官网、环保组织官网以及一些特殊机构,可查询的公益环保数据越来越多,包括全国空气、水文等数据,气象数据,工厂分布及污染排放达标情况等数据等等。只不过这些数据太分散、太专业、缺少分析、没有可视化,普通人看不懂。如果能够看懂并保持关注,大数据将成为社会监督环保的重要手段。近日网络上线《全国污染监测地图》就是一个很好的方式,结合开放的环保大数据,网络地图加入了污染检测图层,任何人都可以通过它查看全国及自己所在区域省市,所有的在环保局监控之下的排放机构(包括各类火电厂、国控工业企业和污水处理厂等)的位置信息、机构名称、排放污染源的种类,最近一次环保局公布的污染排放达标情况等。可查看距离自己最近的污染源,出现提醒,该监测点检测项目,哪些超标,超标多少倍。这些信息可以实时分享到社交媒体平台,告知好友,提醒大家一同注意污染源情况及个人安全健康。
总结工业大数据应用的价值潜力巨大。但是,实现这些价值还有很多工作要做。一个是大数据意识建立的问题。过去,也有这些大数据,但由于没有大数据的意识,数据分析手段也不足,很多实时数据被丢弃或束之高阁,大量数据的潜在价值被埋没。还有一个重要问题是数据孤岛的问题。很多工业企业的数据分布于企业中的各个孤岛中,特别是在大型跨国公司内,要想在整个企业内提取这些数据相当困难。因此,工业大数据应用一个重要议题是集成应用。
以上是小编为大家分享的关于物联网时代的八大工业大数据应用场景的相关内容,更多信息可以关注环球青藤分享更多干货
Ⅶ 大数据常见的应用场景有哪些
大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果,确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。
对于大数据的应用场景,包括各行各业对大数据处理和分析的应用,最核心的还是用户需求。
一、医疗大数据看病更高效
除了较早前就开始利用大数据的互联网公司,医疗行业是让大数据分析最先发扬光大的传统行业之一。
二、生物大数据改良基因
当下,我们所说的生物大数据技术主要是指大数据技术在基因分析上的应用,通过大数据平台人类可以将自身和生物体基因分析的结果进行记录和存储,利用建立基于大数据技术的基因数据库。
三、金融大数据理财利器
大数据在金融行业的应用可以总结为以下五个方面:精准营销、风险管控、决策支持、效率提升、产品设计等。
四、零售大数据最懂消费者
零售行业大数据应用有两个层面,一个层面是零售行业可以了解客户消费喜好和趋势,进行商品的精准营销,降低营销成本。另一层面是依据客户购买产品,为客户提供可能购买的其它产品,扩大销售额,也属于精准营销范畴。另外零售行业可以通过大数据掌握未来消费趋势,有利于热销商品的进货管理和过季商品的处理。
五、电商大数据精准营销法宝
电商是最早利用大数据进行精准营销的行业,除了精准营销,电商可以依据客户消费习惯来提前为客户备货,并利用便利店作为货物中转点,在客户下单15分钟内将货物送上门,提高客户体验。
六、农牧大数据量化生产
大数据在农业应用主要是指依据未来商业需求的预测来进行农牧产品生产,降低菜贱伤农的概率。同时大数据的分析将会更见精确预测未来的天气气候,帮助农牧民做好自然灾害的预防工作。大数据同时也会帮助农民依据消费者消费习惯决定来增加哪些品种的种植,减少哪些品种农作物的生产,提高单位种植面积的产值,同时有助于快速销售农产品,完成资金回流。
七、交通大数据畅通出行
交通作为人类行为的重要组成和重要条件之一,对于大数据的感知也是最急迫的。
尽管现在已经基本实现了数字化,但是数字化和数据化还根本不是一回事,只是局部的提高了采集、存储和应用的效率,本质上并没有太大的改变。而大数据时代的到来必然带来破解难题的重大机遇。
八、教育大数据因材施教
随着技术的发展,信息技术已在教育领域有了越来越广泛的应用。考试、课堂、师生互动、校园设备使用、家校关系……只要技术达到的地方,各个环节都被数据包裹。在课堂上,数据不仅可以帮助改善教育教学,在重大教育决策制定和教育改革方面,大数据更有用武之地。
九、体育大数据夺冠精灵
大数据对于体育的改变可以说是方方面面,从运动员本身来讲,可穿戴设备收集的数据可以让自己更了解身体状况。媒体评论员,通过大数据提供的数据更好的解说比赛,分析比赛。数据已经通过大数据分析转化成了洞察力,为体育竞技中的胜利增加筹码,也为身处世界各地的体育爱好者随时随地观赏比赛提供了个性化的体验。尽管鲜有职业网球选手愿意公开承认自己利用大数据来制定比赛策划和战术,但几乎每一个球员都会在比赛前后使用大数据服务。
十、环保大数据对抗PM2.5
气象对社会的影响涉及到方方面面。传统上依赖气象的主要是农业、林业和水运等行业部门,而如今,气象俨然成为了二十一世纪社会发展的资源,并支持定制化服务满足各行各业用户需要。借助于大数据技术,天气预报的准确性和实效性将会大大提高,预报的及时性将会大大提升,同时对于重大自然灾害,例如龙卷风,通过大数据计算平台,人们将会更加精确地了解其运动轨迹和危害的等级,有利于帮助人们提高应对自然灾害的能力。
十一、食品大数据舌尖上的安全
大数据不仅能带来商业价值,亦能产生社会价值。随着信息技术的发展,食品监管也面临着众多的各种类型的海量数据,如何从中提取有效数据成为关键所在。可见,大数据管理是一项巨大挑战,一方面要及时提取数据以满足食品安全监管需求;另一方面需在数据的潜在价值与个人隐私之间进行平衡。相信大数据管理在食品监管方面的应用,可以为食品安全撑起一把有力的保护伞。
十二、调控和财政支出大数据令其有条不紊
政府利用大数据技术可以了解各地区的经济发展情况,各产业发展情况,消费支出和产品销售情况,依据数据分析结果,科学地制定宏观政策,平衡各产业发展,避免产能过剩,有效利用自然资源和社会资源,提高社会生产效率。
十三、舆情监控大数据
国家正在将大数据技术用于舆情监控,其收集到的数据除了解民众诉求,降低群体事件之外,还可以用于犯罪管理。
Ⅷ 大数据时代有哪些代表性产品
大数据时代有哪些代表性产品
现在大数据风靡全球,那真正使用大数据技术的地方且比较有代表性的产品有那些你都了解吗?小编带你走进大数据的智能时代。
云存储:中国比较好的有网络云,国外比较好的有AWS等。正是因为有这些产品的出现,数据在云端的概念才终于变成现实了,大家都不用踹着U盘到处跑了。
内容推荐:最具代表性的有今日头条,它正是运用了大数据技术来找到你喜欢的内容并且推荐给你。自从这个产品出现以后已经有很多人抛弃以前的新闻阅读方式。它让网易新闻、新浪新闻、腾讯新闻等产品上了不少火。现在大家都开始纷纷的学习它。
物品推荐:电影网站、音乐网站、电商网站这些网站都会把根据你的浏览行为进行分析,根据你的兴趣推荐给你相应的物品,比如爱奇艺、QQ音乐、京东等。
广告计算:应用比较好的有网络、谷歌、淘宝、腾讯,他们要根据广告主的价格和广告的效果计算广告的排序,好在流量中达到最好的变现效果,这时数据的处理速度与数据的量级直接影响了他们的收入。
金融:银行正使用大数据分析用户的消费行为、购买能力以及还款能力,用来降低提供给用户的贷款风险,减少环帐率。
信用:支付宝的芝麻信用加入了更多的维度,比如你的人际关系、学历、车等等元素来评估你的信用值,给信用值高的人提供更好的服务,比如信用度高住酒店就不用交押金。
数据分析:这个具有代表性的产品不多,但确是大数据应用非常主要的场景,一般都是公司内部定制性的,所以一般不公开,但确实各种公司都在用,比如网站的流量分析、相关产品的用户特性分析、微博的语义分析。可以根据这些分析为自己的业务或者产品发展方向提供决策依据。
智慧城市:这个现在比较有代表性的功能就是可以根据人流控制路灯的亮度,可以达到省电的效果。通过车流控制红绿灯的变化,减少道路拥堵。正是有了大数据处理技术的应用才使以上这些方面有了更好的发展,如果没有大数据处理技术的出现那可能就会因为数据太多处理不过来或者根本就无法处理。那自然就会导致一些业务的发展落后或者根本无法进行的。当然未来大数据的应用场景将会越来越多,比如物联网、人工智能等等。前景十分看好。
Ⅸ 大数据包括哪些
简单来说,从大数据的生命周期来看,无外乎四个方面:大数据采集、大数据预处理、大数据存储、大数据分析,共同组成了大数据生命周期里最核心的技术,下面分开来说:
一、大数据采集
大数据采集,即对各种来源的结构化和非结构化海量数据,所进行的采集。
数据库采集:流行的有Sqoop和ETL,传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式。当然了,目前对于开源的Kettle和Talend本身,也集成了大数据集成内容,可实现hdfs,hbase和主流Nosq数据库之间的数据同步和集成。
网络数据采集:一种借助网络爬虫或网站公开API,从网页获取非结构化或半结构化数据,并将其统一结构化为本地数据的数据采集方式。
文件采集:包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等等。
数据清理:指利用ETL等清洗工具,对有遗漏数据(缺少感兴趣的属性)、噪音数据(数据中存在着错误、或偏离期望值的数据)、不一致数据进行处理。
数据集成:是指将不同数据源中的数据,合并存放到统一数据库的,存储方法,着重解决三个问题:模式匹配、数据冗余、数据值冲突检测与处理。
数据转换:是指对所抽取出来的数据中存在的不一致,进行处理的过程。它同时包含了数据清洗的工作,即根据业务规则对异常数据进行清洗,以保证后续分析结果准确性。
数据规约:是指在最大限度保持数据原貌的基础上,最大限度精简数据量,以得到较小数据集的操作,包括:数据方聚集、维规约、数据压缩、数值规约、概念分层等。
二、大数据预处理
大数据预处理,指的是在进行数据分析之前,先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作,旨在提高数据质量,为后期分析工作奠定基础。数据预处理主要包括四个部分:数据清理、数据集成、数据转换、数据规约。
三、大数据存储
大数据存储,指用存储器,以数据库的形式,存储采集到的数据的过程,包含三种典型路线:
1、基于MPP架构的新型数据库集群
采用Shared Nothing架构,结合MPP架构的高效分布式计算模式,通过列存储、粗粒度索引等多项大数据处理技术,重点面向行业大数据所展开的数据存储方式。具有低成本、高性能、高扩展性等特点,在企业分析类应用领域有着广泛的应用。
较之传统数据库,其基于MPP产品的PB级数据分析能力,有着显着的优越性。自然,MPP数据库,也成为了企业新一代数据仓库的最佳选择。
2、基于Hadoop的技术扩展和封装
基于Hadoop的技术扩展和封装,是针对传统关系型数据库难以处理的数据和场景(针对非结构化数据的存储和计算等),利用Hadoop开源优势及相关特性(善于处理非结构、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型等),衍生出相关大数据技术的过程。
伴随着技术进步,其应用场景也将逐步扩大,目前最为典型的应用场景:通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑,其中涉及了几十种NoSQL技术。
3、大数据一体机
这是一种专为大数据的分析处理而设计的软、硬件结合的产品。它由一组集成的服务器、存储设备、操作系统、数据库管理系统,以及为数据查询、处理、分析而预安装和优化的软件组成,具有良好的稳定性和纵向扩展性。
四、大数据分析挖掘
从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面,对杂乱无章的数据,进行萃取、提炼和分析的过程。
1、可视化分析
可视化分析,指借助图形化手段,清晰并有效传达与沟通信息的分析手段。主要应用于海量数据关联分析,即借助可视化数据分析平台,对分散异构数据进行关联分析,并做出完整分析图表的过程。
具有简单明了、清晰直观、易于接受的特点。
2、数据挖掘算法
数据挖掘算法,即通过创建数据挖掘模型,而对数据进行试探和计算的,数据分析手段。它是大数据分析的理论核心。
数据挖掘算法多种多样,且不同算法因基于不同的数据类型和格式,会呈现出不同的数据特点。但一般来讲,创建模型的过程却是相似的,即首先分析用户提供的数据,然后针对特定类型的模式和趋势进行查找,并用分析结果定义创建挖掘模型的最佳参数,并将这些参数应用于整个数据集,以提取可行模式和详细统计信息。
3、预测性分析
预测性分析,是大数据分析最重要的应用领域之一,通过结合多种高级分析功能(特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等),达到预测不确定事件的目的。
帮助分用户析结构化和非结构化数据中的趋势、模式和关系,并运用这些指标来预测将来事件,为采取措施提供依据。
4、语义引擎
语义引擎,指通过为已有数据添加语义的操作,提高用户互联网搜索体验。
5、数据质量管理
指对数据全生命周期的每个阶段(计划、获取、存储、共享、维护、应用、消亡等)中可能引发的各类数据质量问题,进行识别、度量、监控、预警等操作,以提高数据质量的一系列管理活动。
以上是从大的方面来讲,具体来说大数据的框架技术有很多,这里列举其中一些:
文件存储:Hadoop HDFS、Tachyon、KFS
离线计算:Hadoop MapRece、Spark
流式、实时计算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie
······
想要学习更多关于大数据的知识可以加群和志同道合的人一起交流一下啊[https://sourl.cn/d9wRmb ]