基于可视化的数据流处理方法与流程

本发明涉及通讯技术领域，尤其涉及一种基于可视化的数据流处理方法。

背景技术：

为了解决日益增长的实时数据处理需求，很多公司正在将其部分大数据基础架构转换为流式处理架构。传统的流数据处理主要通过编程的方式创建任务，对于一个新的任务通常需要经过繁琐的编码、编译、打包的过程。这种方式的工作效率低，可复用性不高，对于非编程人员来说难度颇大。

相比之下，可视化方式创建流处理任务的优势在于不需要编程就能完成，降低使用门槛，方便用户使用和管理，故有本发明的技术方案产生。

技术实现要素：

本发明要解决的技术问题，在于提供一种基于可视化的数据流处理方法，对于不同的流数据源，先将流数据源注册到流处理平台，再对该流数据源中的流数据加上数据结构定义。用户便可像操作关系型表一样操作流数据，可视化创建流处理任务一种是通过sql方式，另一种是通过拖拽配置方式，本发明采用的是sql方式，用户在可视化界面中配置并提交任务，系统通过用户提交的配置自动构建流处理任务，用户可以在任务管理、可视化界面中实时查看流处理结果和日志。

本发明的问题是这样实现的：

一种基于可视化的数据流处理方法，包括如下步骤：

步骤1、用户配置流数据源信息和流数据源的结构信息，并通过流数据源管理页面将配置好的流数据源信息和流数据源的结构信息提交到数据库；

步骤2、用户在可视化界面上创建流处理任务时，先通过可视化界面选择相应的流处理组件构建流处理任务并填写好各个流处理组件的输入信息，再配置流处理任务相应的执行参数，再将流处理任务、各个流处理组件的输入信息和执行参数提交到流处理任务构建引擎；

步骤3、流处理任务构建引擎解析各个流处理组件的输入信息，从而将流处理任务转化为sql语句；

步骤4、将执行参数、转化为sql语句的流处理任务和输入信息中的存储信息参数保存到数据库的执行计划表中等待执行引擎调度；

步骤5、执行引擎启动监控线程定时扫描执行计划表，获取流处理任务的执行参数，根据执行参数为待执行的流处理任务添加执行计划；

步骤6、流处理任务根据流数据源信息获取流数据，并根据流数据源的结构信息将流数据进行格式化，执行引擎根据定义的流数据源的结构在内存中为格式化的流数据创建虚拟表，并将格式化的流数据加入到虚拟表中，通过sql语句查询虚拟表，并根据执行计划定时对虚拟表内的流数据进行执行流处理任务，得到流处理结果；

步骤7、根据存储信息参数将流处理结果保存到对应的存储介质中。

进一步地，所述流处理组件包括sql编辑器、源选择器、数据过滤器、数据操作器、数据计算器和存储介质选择器；

所述sql编辑器用于将流处理任务编辑转化为sql语句；

所述源选择器用于在获取流数据时，根据流数据源信息选择某个流数据源来获取流数据；

所述数据过滤器用于在执行流处理任务过程中，将流数据进行过滤处理；

所述数据操作器用于在执行流处理任务过程中，将流数据进行分组、投影和关联操作；

所述数据计算器用于在执行流处理任务过程中，根据算法将流数据进行计算处理；

所述存储介质选择器用于在将执行结果保存到对应的存储介质时，根据存储信息参数选择某个存储介质进行存储。

进一步地，所述步骤6之后还包括：

步骤61、在执行引擎中为流处理任务创建任务管理表和操作日志表，在任务管理表中实时插入当前流处理任务的进度信息和控制信息进行查看当前流处理任务的进度以及控制当前流处理任务的启动、暂停或关闭；并将当前流处理任务的进度信息记录到操作日志表进行日志监控。。

进一步地，所述步骤7之后还包括：

步骤71、将存储介质中的流处理结果发送至可视化界面，通过可视化界面进行展示，展示的方式包括表格和图表。

本发明的优点在于：

1、可视化方式创建流处理任务，不需要编程就能完成，降低使用门槛，方便用户使用。

2、配套可视化操作功能，方便控制流处理任务启停，方便观测流处理结果及日志等。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种基于可视化的数据流处理方法的执行流程图。

具体实施方式

为使得本发明更明显易懂，现以一优选实施例，并配合附图作详细说明如下。

如图1所示，本发明的一种基于可视化的数据流处理方法，包括如下步骤：

步骤1、用户配置流数据源信息和流数据源的结构信息(数据源(datasource)是提供某种所需要数据的器件或原始媒体。顾名思义，数据的来源)，流数据源是获取流数据的来源，用于指定从哪接入数据，包括从本地实时文件中接入、通过接口从业务系统服务器接入等，即从本地实时文件或业务系统服务器获取到源数据，而流数据源的结构是将流数据按照真实数据流格式填写其分隔符、字段名称、编码等结构信息；并通过流数据源管理页面将配置好的流数据源信息和流数据源的结构信息提交到数据库；

步骤2、用户在可视化界面上创建流处理任务时，流处理任务构建引擎的前端提供相应的流处理组件：sql编辑器、源选择器、数据过滤器、数据操作器(分组、投影、关联等)、数据计算器(sum、cpunt等)和存储介质选择器，用户先通过可视化界面在流处理任务构建引擎前端选择相应的流处理组件构建流处理任务并填写好各个流处理组件的输入信息，再配置流处理任务相应的执行参数，再将流处理任务、各个流处理组件的输入信息和执行参数提交到流处理任务构建引擎；

步骤3、流处理任务构建引擎后端通过解析各个流处理组件的输入信息，从而将流处理任务转化为sql语句，流处理任务以sql的形式保存；

步骤4、将执行参数、转化为sql语句的流处理任务和输入信息中的存储信息参数保存到数据库的执行计划表中等待执行引擎调度；

步骤5、执行引擎启动监控线程定时扫描执行计划表，获取流处理任务的执行参数，根据执行参数为待执行的流处理任务添加执行计划；

步骤6、流处理任务根据流数据源信息获取流数据，并根据流数据源的结构信息将流数据进行格式化，执行引擎根据定义的流数据源的结构在内存中为格式化的流数据创建虚拟表，并将格式化的流数据加入到虚拟表中，通过sql语句查询虚拟表，并根据执行计划定时对虚拟表内的流数据进行执行流处理任务，得到流处理结果；在执行引擎中为流处理任务创建任务管理表和操作日志表，在任务管理表中实时插入当前流处理任务的进度信息和控制信息进行查看当前流处理任务的进度以及控制当前流处理任务的启动、暂停或关闭；并将当前流处理任务的进度信息记录到操作日志表进行日志监控；

步骤7、根据存储信息参数将流处理结果保存到对应的存储介质中，将存储介质中的流处理结果发送至可视化界面，通过可视化界面进行展示，展示的方式包括表格和图表，通过选择条件展示表格信息，若选择的存储介质为数据流容器，可视化界面将实时呈现数据流容器中的流数据。

具体地，所述流处理组件包括sql编辑器、源选择器、数据过滤器、数据操作器、数据计算器和存储介质选择器；

所述sql编辑器用于将流处理任务编辑转化为sql语句；

所述源选择器用于在获取流数据时，根据流数据源信息选择某个流数据源来获取流数据；

所述数据过滤器用于在执行流处理任务过程中，将流数据进行过滤处理；

所述数据操作器用于在执行流处理任务过程中，将流数据进行分组、投影和关联操作；

所述数据计算器用于在执行流处理任务过程中，根据算法将流数据进行计算处理；

所述存储介质选择器用于在将执行结果保存到对应的存储介质时，根据存储信息参数选择某个存储介质进行存储。

本发明的优点如下：

1、可视化方式创建流处理任务，不需要编程就能完成，降低使用门槛，方便用户使用。

2、配套可视化操作功能，方便控制流处理任务启停，方便观测流处理结果及日志等。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。