大数据概述

什么是大数据？

高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑是核心推动力。

那么，什么是“大数据”呢？如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据？不同的机构或学者有不同的理解，难以有一个非常定量的定义，只能说，大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB来衡量。

最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡，他是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度四大特征。

研究机构Gartner是这样定义大数据的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流转优化能力来适应海量、高增长率和多样化的信息资产。

若从技术角度来看，大数据的战略意义不在于掌握庞大的数据，而在于对这些含有意义的数据进行专业化处理，换言之，如果把大数据比作一种产业，那么这种产业盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据有什么特征？

一般认为，大数据主要具有以下四个方面的典型特征，即大量（Volume）、多样（Varity）、高速（Velocity）和价值（Value），即所谓的“4V”，接下来，通过一张图来描述，具体图1所示。

接下来针对图1中的4V特征进行简要介绍，具体如下：

1．Volume（大量）

大数据的特征首先就是数据规模大。随着互联网、物联网、移动互联技术的发展，人和事物的所有轨迹都可以被记录下来，数据呈现出爆发性增长。数据相关计量单位的换算关系如表1所示。

表1 单位换算关系

2．Variety（多样）

数据来源的广泛性，决定了数据形式的多样性。大数据可以分为三类，一是结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强；二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；三是半结构化数据，如HTML文档、邮件、网页等，其特点是数据问的因果关系弱。有统计显示，目前结构化数据占据整个互联网数据量的75%以上，而产生价值的大数据，往往是这些非结构化数据。

3．Velocity（高速）

数据的增长速度和处理速度是大数据高速性的重要体现。与以往的报纸、书信等传统数据载体生产传播方式不同，在大数据时代，大数据的交换和传播主要是通过互联网和云计算等方式实现的，其生产和传播数据的速度是非常迅速的。另外，大数据还要求处理数据的响应速度要快，例如，上亿条数据的分析必须在几秒内完成。数据的输入、处理与丢弃必须立刻见效，几乎无延迟。

4．Value（价值）

大数据的核心特征是价值，其实价值密度的高低和数据总量的大小是成反比的，即数据价值密度越高数据总量越小，数据价值密度越低数据总量越大。任何有价值的信息的提取依托的就是海量的基础数据，当然目前大数据背景下有个未解决的问题，如何通过强大的机器算法更迅速的在海量数据中完成数据的价值提纯。

大数据的应用场景

电商方面

精准广告为，通过对用户的浏览行为，点击行为等进行大数据采集，分析，挖掘用户的二层、三层喜欢，扩大产出。

传媒方面

猜你细化，通过对手中人群机型大数据分析，结合对应算法， 对手中喜欢的进行交互推荐

金融领域

理财投资，通过对个人的信用评估，风险承担能力评估，集合众多理财产品、推荐响应的投资理财产品。

交通方面

目前，交通的大数据应用主要在两个方面：一方面通过对车流量等海量数据的手机，估算，预测该路段一定时间内的车流量情况，给用户提供遍历，合理进行道路规划；另一方面可以利用大数据来实现信号灯调度，提高已有线路通行能力

电信方面

智慧营业厅，通过对用户当前的行为习惯，偏好，节假日的相应数据变化，调节自身业务结构，做到按需分配

大数据业务分析步骤

（1）明确分析目的和思路

（2）数据收集

比如市场调查：进行数据分析时，需要了解用户的想法与需求，但是通过以上三种方式获得此类数据会比较困难，因此可以尝试使用市场调查的方法收集用户的想法和需求数据。

（3）数据处理

数据处理是数据分析的基础。通过数据处理，将收集到的原始数据转换为可以分析的形式，并且保证数据的一致性和有效性。

（4）数据分析

数据分析是指用适当的分析方法及工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程。由于数据分析多是通过软件来完成的，这就要求数据分析师不仅要掌握各种数据分析方法，还要熟悉数据分析软件的操作。

（5）数据展现

一般情况下，数据是通过表格和图形的方式来呈现的，我们常说用图表说话就是这个意思。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等，当然可以对这些图表进一步整理加工，使之变为我们所需要的图形，例如金字塔图、矩阵图、漏斗图等。

（6）报告撰写