<数据分析五大步骤-知识百科-满米百科
> 知识百科 > 列表
数据分析五大步骤
时间:2024-12-23 21:22:18
答案

(一)问题识别

大数据分析的第一步是要清晰界定需要回答的问题。对问题的界定有两个标准,一是清晰、二是符合现实。

(二)数据可行性论证

论证现有数据是否足够丰富、准确,以致可以为问题提供答案,是大数据分析的第二步,项目是否可行取决于这步的结论。

(三)数据准备

数据准备环节需要梳理分析所需每个条目的数据,为下一步建立模型做好从充分预备。这种准备可以分为数据的采集准备和清洗整理准备两步。

(四)建立模型

大数据分析项目需要建立的模型可以分为两类。对于这两类模型,团队都需要在设立模型、论证模型的可靠性方面下功夫。

(五)评估结果

评估结果阶段是要评估上述步骤得到的结果是否足够严谨可靠,并确保数据分析结果能够有利于决策。评估结果包括定量评估和定性评估两部分。

大数据的应用

大数据可应用于各行各业,将人们收集到的庞大数据进行分析整理,实现资讯的有效利用。举个本专业的例子,比如在奶牛基因层面寻找与产奶量相关的主效基因,我们可以首先对奶牛全基因组进行扫描,尽管我们获得了所有表型信息和基因信息,但是由于数据量庞大,这就需要采用大数据技术,进行分析比对,挖掘主效基因。

大数据的意义和前景

总的来说,大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西。以前,面对庞大的数据,我们可能会一叶障目、可见一斑,因此不能了解到事物的真正本质,从而在科学工作中得到错误的推断,而大数据时代的来临,一切真相将会展现在我么面前。

大数据发展战略

传统的数据方法,不管是传统的 OLAP技术还是数据挖掘技术,都难以应付大数据的挑战。首先是执行效率低。传统数据挖掘技术都是基于集中式的底层软件架构开发,难以并行化,因而在处理 TB级以上数据的效率低。其次是数据分析精度难以随着数据量提升而得到改进,特别是难以应对非结构化数据。

在人类全部数字化数据中,仅有非常小的一部分(约占总数据量的1%)数值型数据得到了深入分析和挖掘(如回归、分类、聚类),大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析(如排序),占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析

卤鹅

推荐
© 2024 满米百科