2016 - 2024

感恩一路有你

机器学习中的贝叶斯方法 大数据方面核心技术有哪些?

浏览量:1628 时间:2023-07-12 10:36:53 作者:采采

大数据方面核心技术有哪些?

这个问题提问的很有深度,目前大数据是个比较好广义的概念,牵涉的方方面面太大,若要给个很官方的说法是比较好难,简单说帮一下忙我清楚的理解:

一是数据采集与预处理,也就是说你无论是任何的大数据分析,简单的方法要有数据支撑,但是数据是很广的,你要的数据得按关键词也可以一定的分类把数据接受预处理,以备万一总结时提供动态创建。数据采集分很多很多种,也可以是网络资源破霸体、硬件采集、人工录入系统、数据两个对接、去购买第三方资源等等,技术很多种FlumeNG、NDC、Logstash、Sqoop、Strom、Zookeeper等。

二是数据存储,这是个很消耗硬件资源的本质问题,既然如此是大数据,只能证明是一个规模很大不能量化的过程,与此同时你分析需求,数据会紧接着时间的推移变得异常庞大,应用多技术方法有Hadoop、HBase、Phoenix、Yarm、Mesos、Redis、Atlas、Kudu等。

三是数据清洗,你的数据庞大无比会让你的是一个整体响应速度造成如此大考验,读写分离,负载均衡等等问题就不需要你去想防范方案,应用方法到的查询引擎工作流调度引擎技术有MapReduce、Oozie、Azkaban等。

四是数据查询分析,这个根据你的业务数据需求,比如说现在应用形式也很应用范围完全成熟的有商城产品信息推送、头条新闻定时推送、广告推送等等,大都以积攒用户历史信息只有那去结论,应用方法到的技术有Hive、Impala、Spark、Nutch、Solr、Elasticsearch等,其实还有一个一些机器学习语言,机器学习算法如贝叶斯、逻辑回归、决策树、神经网络和协同过滤等等。

五是数据可视化,这也是数据分析的到了最后目的,该如何去好的呈现你的数据,使你的数据变得有价值不是你做这个分析平台的制高点,当下应用形式比较成熟的技术有BI Tableau、Qlikview、PowrerBI、SmallBI等。

归纳过来应该是你不需要基于分析什么,简单要有来源,接着要有方法,主要要有目的,最后你要面向用户,这可能会是个漫长而艰辛而又你的心性技术的过程,人力物力环境时间都将很可能是你的无法应付的难题。

以下图片来源于网络

为什么贝叶斯定理能够广泛应用于医疗诊断、风险预测、机器学习、人工智能等许多领域?

为什么不贝叶斯定理(“逆向运动概率”问题)目前能广泛应用于医疗诊断、风险分析预测、机器学习、人工智能等许多领域?贝叶斯定理相比于比较传统的“朝概率”问题,有什么优势?而“向这边概率”问题,在详细解释工作、生产等假的问题当中,又有哪些弊端?

贝叶斯定理描述了一种因果关系的概率可以表示。像医疗中由讲究望闻问切的外在表现出的果来回溯病因这种应用正适合来用贝叶斯方法来能解决。

机器学习,人工智能等领域目前的一个主流方法那就是以样本,大致的说是带标签的样本来训练模型,这也可以不怀疑是由因果事实来推导过程因果关系(模型)。

所以,从形式上看,贝叶斯定理很比较适合做模型自学,不错做直观上再理解。

再说“正向概率”问题,不太理解指的是怎么做这些问题。但不关公面前耍大刀了。

数据 方法 技术 问题 应用

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。