大数据解决方案

新炬大数据解决方案是基于Hadoop及相关大数据技术之上的高可用、高速并行运算、低开发成本的大数据方案，具有海量数据存储、离线处理、实时计算、报表定制等能力，日均处理数据量可达到40TB、总容量达PB级别，是一套成熟的电信级大数据解决方案，并在某省运营商信令分析平台上得到了成功应用。

案例分享——X省移动网络信令大数据共享平台

客户背景

随着移动通信用户、业务种类的不断增多，移动通信网络规模不断扩大，网络资源种类、数量不断增加，终端客户对网络质量要求不断提高，网络运维面临前所未有的挑战和压力。为适应日趋激烈的市场竞争环境，需要全面增强网管运维支撑水平和网络服务能力，提高客户满意度，提升企业核心竞争力。

传统烟囱式的网管系统架构，以专业网管为主，实现对通信网络和业务平台的管理，支撑配置管理、故障监控、指标分析、网络优化、例行维护、指挥调度等工作。然而，面向网元和网络的分专业网管，难以支持以客户感知为核心、面向端到端业务实现的运维管理新要求。
大量的网络信令数据，在网元和业务层面都能够提供很好的支撑，但之前由于技术和业务的原因，没能够很好的利用起来。通过构建网络信令大数据共享平台，有利于以不同视角全面分析网络、业务和用户的情况，获得全面的信息和深入的分析，有助于生成全局正确决策。同时提高数据共享能力，实现数据与应用解耦，数据向应用开放，支撑应用快速开发、灵活定制，提高企业运营效率、最大化释放数据价值，最终实现“统一采集、统一存储、统一管控、多点应用、百花齐放”。

客户面临的挑战

以网络信令数据为基础的网络大数据共享平台建设面临巨大的挑战，主要如下：

l  数据量大，平台性能要求高

信令数据量巨大，CS域、PS域，以及LTE信令数据，日新增数据量基本在几十T级别，预计很快达到百T级别，对数据采集、处理能力要求非常高。如何在有效有效时间内完成数据的采集、处理，是必须解决的难题。

l  数据口径不一，分散割裂，缺少整合

烟囱式的系统建设、数据处理过程，导致数据统计口径（算法、规则）不一，同时造成数据管理分散、割裂，信息孤岛严重，数据关联困难，需耗费较多资源对统计数据进行对比分析，进行统一标准，统一对外进行数据提供，支撑应用统计分析。

l  数据共享要求高

上层应用厂商多，应用需求比较复杂，如何分配资源，如何共享提供数据，如何管控，最大限度的满足应用需求，同时具备灵活性、扩展性，是实现数据共享，发挥平台价值的关键问题。

解决方案

针对客户的业务需求以及数据现状，结合集团公司要求，新炬公司提出了大数据平台三层架构模式，融合利用当前先进的技术，构建网络信令大数据共享平台，以信令数据为基础，纳入其它重要的网络数据，更加全面准确的描述业务运行状况，更全面管理用户感知，更深层次挖掘网络隐患，更快速发现、解决故障和质量问题，为企业的快速发展护驾保航。

信令大数据共享平台主要具备以下几个特点：

l  统一梳理，明确口径

采用自上而下和自下而上相结合的分析方式，对数据和业务需求进行统一梳理，结合当前业务需求和未来分析需求，统一口径，构建数据模型，为数据的价值发挥，奠定坚实的基础。

l  先进的技术架构，满足多层次的业务需求

数据量大，业务需求又比较复杂，需要针对需求的不同场景，选择技术框架，构建技术平台。平台需要支撑的数据需求是多层的，包括数据分析交互需求，实时数据处理需求，临时数据提取需求，数据个性化操作处理需求，大数据清单查询需求以及兼顾各类重要指标的稳定保障需求。针对需求和资源的情况，我们采用了先进的混搭技术架构，包括了当前最先进的Hadoop技术、MPP技术、一体机技术，通过高效的技术搭配和数据交互设计，日数据处理量高达40TB，完美的满足了客户复杂的业务需求，快速支撑各类应用数据需求，支撑企业的快速发展。

l  统一数据共享，统一数据访问，实现应用百花齐放

平台从一开始就以数据共享为目标支撑方式，关注数据与应用的解耦，为上层应用的快速、灵活发展提供了有利的支撑。平台通过数据共享服务，统一提供数据，同时分配给每个应用厂商一定的数据空间，供应用厂商灵活处理个性化数据，快速满足个性化需求。

客户价值

移动网络信令大数据平台的顺利建设、运营，给客户的运营、管理带了了有力的支撑，主要价值如下：

· 有效支撑企业运营发展，提升客户满意度

通过大数据平台建设，企业成功的贯穿了大数据的采集、存储、处理、应用全流程，实现了上网、通话行为的端到端分析，逐步实现了NOC到SOC的转化，提高了企业的运营、分析能力，有效提高客户满意度，促进企业持续、健康的发展。

· 降低成本、减少费用

坚持高效低成本，统一数据共享方式，集中进行平台管控运营。大幅减少了数据的冗余存储、重复处理以及管理资源的消耗，大大减少了数据单位成本；同时积极引进开源技术框架，减少了软件投资费用。

· 保持技术探索，保障企业技术能力

通过大数据平台的建设，在满足业务发展的基础上，积极引进先进的技术产品、框架，一体机、MPP架构、Hadoop体系等，共同搭建技术平台，最大化满足业务发展需求，同时保持企业的技术领先能力。