就大数据而言,是非常庞大和复杂的数据集的集合。 数据太大,传统的数据处理工具无法对其进行分析。 同样,大数据分析背后的挑战也相当大。 其中包括如何收集数据、如何存储数据、如何分析数据、可视化、传输、数据敏感性和数据有效性问题。
大数据的概念本身就伴随而来 三个V, 或“三个字母 V”,即:
体积 其中,大数据是大量数据的集合,有时是非结构化的。 其中一些数据是例如 饲料 ,用户点击网页或应用程序上的流程。 数据的体积值可以达到TB甚至PB(PB)的大小。
速度 或速度,其中必须以高速处理数据流。 接收或处理大数据的速度必须很高。 即使是当前的一些技术也能够在数据处理和数据评估中 即时的.
种类 又名变异。 说到传统数据,一般收集到的数据是 结构合理 以便于分析。 而在大数据中,获得的数据通常是非结构化的,并且来自各种来源,因此需要事先处理,以便对数据进行分析。
大数据的历史
大数据本身,虽然只是在最近几年才知道。 大数据的历史始于 60 年代初至 70 年代。 正是在那些年里,“世界公民”开始熟悉数据及其通过统计科学进行的分析。 同时,2000 年代 Facebook 和其他各种社交媒体的出现,让人们开始意识到这些社交媒体平台所拥有的用户数据的重要性。
但是,问题出现了,因为当时来自社交媒体平台的输入太大而无法存储和处理。 随着 Apache Hadoop(目前使用 Apache Spark)和 NoSQL 的出现,这个问题逐渐得到解决。 Spark 本身就是一个 开源框架 这是专门为存储和分析大数据而创建的。 使用 Spark,可以处理与大数据相关的问题。 从那时起,大数据量增长非常迅速。
再者,科技对人类生活的方方面面的介入,使得大数据的输入量越来越大。 机器可以获得的关于其用户的信息越多。
大数据如何运作
作为企业家的您可能会使用大数据来运营您的公司。 有了这个大数据,你可以得到很多 洞察力 做公司规划。 所以这就是为什么您还必须了解如何处理大数据!
数据整合
与“ETL”又名可以处理的传统数据相比 提取变换和加载,大数据处理远比这复杂得多。
原因是大数据由一组不同的输入组成,必须先进行处理,然后才能实际处理。 例如,您可以在公共场所以消费者评论的形式收集数据,在社交媒体上收集消费者与您的产品合影的数据,甚至 交通 在您的网站和社交媒体页面上。
处理并创建统一格式后,您可以将数据提交给业务分析师。
管理
为了能够正确管理数据,您不能忘记的最重要因素是如何存储数据。 确实有很多选择,但是对于你们这些资金有限的人来说,当然 云储存 是一种解决方案。
数据分析
大笔的收藏和投资 管理 只有能够进行大数据分析,数据才能得到回报。
不幸的是,正如我们之前所解释的,传统的数据处理软件将无法处理大而复杂的大数据。 您必须能够使用 机器学习 和 人工智能 以便正确分析。 分析完数据后,相信我,您会发现很多新的输入、见解和发现,可用于公司的进步
具体的大数据应用
随着大数据规模的不断扩大,大数据的处理能力也越来越成熟。 当前的大数据应用不再是虚构的。 最初针对公司用于营销和维护目的的大数据应用程序现在开始在许多领域中使用。
政府
可以说,大数据在政府部门的运用,让政府的流程变得更加轻松高效。 但是,掌握了大数据,就意味着政府对人民的控制力和控制力更强。
今天在政府中非常流行的大数据用途之一是 CRVS 系统(民事登记和生命统计) 由世卫组织引入作为民事登记,其中包括出生、死亡数据,详细包括死亡原因、结婚和离婚历史。
这个系统已经流行了很长时间,在印度尼西亚它由 Disdukcapil(人口和民事登记部)运行。 问题是,以这种传统方式,数据的准确性存在问题。 大数据就是答案!
已经启动基于大数据的 CVRS 的几个国家包括卢旺达、阿曼和新西兰。 还有世界卫生组织及其 监测重要事件 (MOVE-IT) 系统和非洲国家及其 iCivil Africa。
医疗保健服务
大数据分析使医疗保健提供商能够改善整体服务。 这包括个性化医疗、处方分析、临床治疗风险、预测健康分析等等。
此外,在健康数据收集领域并不新鲜。 许多健康服务已经使用了包含数字健康信息的电子病历技术。
随着电子病历的长期存在,今天的大数据管理和分析技术可以帮助医疗保健提供者对现有的电子病历集合进行分析。
医疗保健中大数据分析的唯一问题是道德和 隐私. 因为在卫生领域收集的大数据一般都是患者的健康数据,在任何国家都必须受到法律的保护。
好吧,我希望这最后一个问题能够得到解决,因为如果大数据分析在健康领域真正实现100%,收益会非常大!
教育
它不是大数据的具体实现,但今天大数据的发现让很多教育机构意识到,以前存在的数据处理科学不足以应对这个大数据问题。
此外,还有几个形式的短节目 私人训练营 例如数据孵化器或大会,专门旨在培养大数据处理和分析领域的专家。
此外,世界各地的商学院也提出了这个问题。 当前的商学院应该意识到,商学院毕业生必须能够处理不再适用的大数据。 一刀切 和传统的数据处理一样。
这样他们最终可以培养出能够整体处理大数据的业务顾问和营销专家。
媒体
如果我们不讨论大数据在媒体世界中的使用,那么谈论大数据的使用当然是缺乏的。 因为今天的社交媒体实际上是一个大数据的集合,准备好被媒体从业者收集和分析。
过去,这些从业者分别从报纸、杂志和电视节目中收集信息。 所以目前社交媒体和互联网的存在使得从业者不得不收集数以百万计的与消费者信息相关的数据给消费者 行为 在里面。