大数据为什么能知道那么多秘密？

麦肯锡全球研究所说：“大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征”。还有更多的权威专家们，总结了大数据的若干其它特性，比如，容量的超大性呀，种类的多样性呀，获取的快速性呀，管理的可变性呀，质量的真实性呀，渠道来源的复杂性呀，价值提取的重复性呀，等等。有点晕吧?

关注OTPUB官方公众号ydotpub，获取更多IT技能干货分享～

其实，形象地说，所谓大数据，就是由许多千奇百怪的数据，杂乱无章地堆积在一起的东西。比如，你主动在网上说的话、发的微博微信、存的照片、收发的电子邮件、留下的诸如上网记录等行动痕迹等，都是大数据的组成部分。在不知道的情况下，你被采集的众多信息，比如，被马路摄像头获取的视频、手机定位系统留下的路线图、在各种情况下被录下的语音、驾车时的GPS信号、电子病历档案、公交刷卡记录等被动信息，也都是大数据的组成部分。还有，各种传感器设备自动采集的有关温度、湿度、速度等万物信息，仍然是大数据的组成部分。总之，每个人、每种通信和控制类设备，无论它是软件还是硬件，都是大数据之源。甚至，像本·拉登那样完全与世隔绝，不对外流露任何蛛丝马迹的人，也在为大数据提供信息;因为，一个大活人，“不对外提供信息”本身，就是一条重要的信息，说明此人必定有超级秘密!

一句话，无论你是否喜欢，大数据它就在那里;无论主动还是被动，你都在为大数据做贡献。

大数据到底是靠什么法宝，才知道那么多秘密的呢?用行话说，它利用了一种名叫“大数据挖掘”的技术，采用了诸如神经网络、遗传算法、决策树方法、粗糙集方法、覆盖正例排斥反例方法、统计分析方法、模糊集方法等高大上的方法。大数据挖掘的过程，可以分为数据收集、数据集成、数据规约、数据清理、数据变换、挖掘分析、模式评估、知识表示等八大步骤。

大数据产业，可能将是世界上最挣钱的产业!无论从工作原理、原料结构，还是从利润率等方面来看，能够与大数据产业相比拟的，也许只有另一个，从来就不被重视的产业，即，垃圾处理和废品回收!

真的，我可不是在开玩笑，更不是在自我贬低哟。

先看工作原理。其实，废品回收和大数据处理几乎如出一辙：废品收购和垃圾收集，可算做是“数据收集”吧;将废品和垃圾送往集中处理工场，算是“数据集成”吧;将废品和垃圾初步分类，算是“数据规约”吧;将废品和垃圾适当清洁和整理，算是“数据清理”吧;将破沙发拆成木、铁、皮等原料，算是“数据变换”吧;认真分析如何将这些原料卖个好价值，算是“数据挖掘”吧;不断总结经验，选择并固定上下游卖家和买家，算是“模式评估”吧;最后，把这些技巧整理成口诀，算是“知识表示”吧!

再看原料结构。与大数据的异构特性一样，生活垃圾、工作垃圾、建筑垃圾、可回收垃圾和不可回收垃圾等，无论从外形、质地，还是从内涵等方面来看，也都是完全不同的。与大数据一样，垃圾的数量也很多，产生的速度也很快，处理起来也很困难（ydotpub）。

最后来看利润率。有人曾在纽约路边的垃圾袋里，一分钱不花就捡到了价值百万美元的，墨西哥著名画家鲁菲诺·塔马约的代表作《三人行》。即使不考虑这些“天上掉下来的馅饼”，就算将收购的易拉罐转手卖掉，也胜过铝矿利润率;将旧家具拆成木材和皮料，其利润率也远远高于木材商和皮货商。与垃圾专家一样，大数据专家也能将数据(废品)中挖掘出的旅客出行规律卖给航空公司，将某群体的消费习惯卖给百货商店，将网络舆情卖给相关的需求方等等，总之，大数据专家完全可以“一菜多吃”，反复卖钱，不断“冶金”，而且一次更比一次赚钱，时间越久，价值越大。

关注OTPUB官方公众号ydotpub，或登录www.otpub.com获取更多精彩资讯～返回搜狐，查看更多