实时计算组件-flink本地开发环境搭建

最新推荐文章于 2024-08-14 19:29:22 发布

cigg153

最新推荐文章于 2024-08-14 19:29:22 发布

阅读量7.2k

点赞数 1

分类专栏： java 大数据 flink 文章标签：大数据实时计算 flink java

本文链接： https://blog.csdn.net/cigg153/article/details/84486549

版权

本文详述了搭建Flink 1.5本地开发环境的步骤，包括JDK版本要求、下载安装、启动Flink集群，以及如何运行Flink程序、查看Web UI。此外，还介绍了代码示例和通过netcat命令提交作业的过程。

摘要由CSDN通过智能技术生成

本篇记录搭建flink本地开发环境的过程，使用的flink版本为1.5。

00 下载安装、启动

一、JDK版本要求

想要运行flink，JDK版本需要是JDK8+，如果版本低于8，需要进行升级噢。

二、下载安装、启动

从下载页面下载一个二进制文件，根据自己的实际情况，选择Hadoop/Scala组合版本。如果是使用本地文件系统的话，选择任何Hadoop版本都可以。
1.点击 flink版本查看flink版本

2.点击 flink下载地址进行下载

3.进入到下载目录

cd ~/app

4.解压文件

tar -xzvf flink-1.5.4-bin-hadoop28-scala_2.11.tgz

5.进入安装目录

cd flink-1.5.4

6.启动本地flink集群

立减 ¥

1
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群

欢迎来到我的博客，一起探索代码里的世界！

05-16

9597

1 前言 1.1 概览 Stateful Computations over Data Streams(数据流的状态计算) Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。在这里，我们解释了Flink架构的重要方面。处理无界和有界数据任何类型的数据都是作...

在hadoop或docker环境下基于kafka和flink的实时计算大屏展示

qq_63042830的博客

12-19

1201

通过这种连接方式，我们可以利用Flink强大的实时计算能力，将从阿里云RDS的MySQL数据库中获取的数据进行实时处理和统计，并将结果高效地存储回MySQL数据库中。这样一来，我们就能够充分利用阿里云RDS的MySQL数据库的可靠性和稳定性，同时又能够借助Flink强大的计算能力，实现对数据的实时分析和处理。流计算系统选取的是flink，通过flink消费kafka生产的数据，并利用多线程的方式将计算结果保存的阿里云的Mysql数据库中去。它采用了分布式的发布/订阅模型，可以实现海量数据的高效传输和存储。

1 条评论您还未登录，请先登录后发表或查看评论

Flink起步-本地安装和启动

pop_xiaohao的专栏

11-25

635

一、Flink 运行基础环境工具描述 jdk jdk 1.8+ maven maven 3,最好maven 3.25 源代码 https://github.com/apache/flink 系统 mac os/linux 二、下载解压flink安装包 $ tar -xzf flink-1.11.2-bin-scala_2.11.tgz $ cd flink-1.11.2-bin-scala_2.11 三、单机 Standalone 的方式运行 Flink (base) h

flink环境搭建

最新发布

qq_74922407的博客

08-14

2666

6. “taskmanagernumberOfTaskSlots: 对每个 TaskManager 能够分配的 Slot 数量进行配置默认为 1，可根据TaskManager 所在的机器能够提供给 Flink的CPU数量决定。4. “taskmanagernumberOfTaskSlots: 对每个 TaskManager 能够分配的 Slot 数量进行配置默认为1，可根据TaskManager 所在的机器能够提供给 Flink的CPU数量决定。

flink 本地_Flink 本地环境搭建

weixin_39786617的博客

12-22

173

本地环境Java > 1.8、mac os参考https://www.cnblogs.com/ldsweely/p/11980890.html启动bin/start-cluster.sh访问界面http://127.0.0.1:8081/#/overview示例：词语统计package com.jihitee.myflink.flinklearn;import org.apache.flin...

Flink开发环境搭建指南

justlpf的专栏

04-03

826

参考文章：Apache Flink-编程指南-项目设置 Flink开发-IDEA scala开发环境搭建 怎样用 Idea 搭建flink项目 1.搭建java-flink开发项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/...

flink系列(1)-基础组件

weixin_33827731的博客

07-22

139

2019独角兽企业重金招聘Python工程师标准>>> ...

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集

prague6695的博客

07-14

4256

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集

flink-1.3.1-bin-hadoop26-scala_2.11.tgz

01-11

使用这个压缩包，程序员可以搭建一个本地Flink集群进行开发和测试，或者在生产环境中部署Flink服务。Flink的API支持Java和Scala，允许开发者定义数据流转换，创建复杂的数据处理作业。其支持的状态管理功能使得处理...

Flink学习（1）：Flink本地模式安装及简单试用

邢慧鹏的博客

12-01

2250

Flink 的本地模式安装及简单试用，基本参照官网教程进行。

实时流计算 Flink - 实战与干货

tony_shephard的博客

05-30

1530

Flink 的基本架构图从整体的架构图中可以看到，对于完整的Flink来说，可以分为Flink Client客户端，JobManager 和 TaskManager三个部分。而个组件之间的通信时通过Akka Framework来完成的。 Flink Client 客户端 Flink客户端负责体提交 / 取消 / 更新任务到JobManager，而JobManager会对状态以及统计数据进行反馈。 // set up the execution environment final StreamExecut

记如何快速搭建flink本地开发环境

weixin_45207751的博客

06-18

707

②复制上面官网提供的maven命令copy到弹出的bash弹窗的命令行中（ -DarchetypeVersion=1.16.0是指flink的版本1.16.0）② 复制上面官网提供的shell命令copy到弹出的bash弹窗的命令行中（|bash -s 1.16.0指flink的版本1.16.0）③等待片刻，看到build success字样就说明创建成功了，在刚才的代码目录中就可以看到按照模板创建好的demo了。④quickstart-这种创建方式，项目名称、包结构都是固定的，需要调整的话手动修改即可。

[flink]本地搭建flink 1.11环境，并启动

新一的技术笔记

01-27

1060

前言：主要是看一下，开源的一个项目的运行情况，debug一下 flink-sql Download (or build) the Flink package. Flink SQL gateway currently only supports Apache Flink 1.10, you can download Flink 1.10 fromhere. 所以搭建一下1.10的集群。 1. ...

【基础篇】四、本地部署Flink

llg___的博客

10-12

2229

独立部署就是独立运行，即Flink自己管理Flink资源，不依靠任何外部的资源管理平台，比如K8S或者Hadoop的Yarn，当然，独立部署的代价就是：如果资源不足，或者出现故障，没有自动扩展或重分配资源的保证，必须手动处理，生产环境或者作业量大的场景下不建议采用独立部署。应用模式与单作业模式，都是提交作业之后才创建集群，不同的时，单作业模式是通过客户端来提交的，客户端解析出的每一个作业对应一个集群，而应用模式下，是直接由JobManaget执行应用程序的。

Flink 搭建 - 本地模式

半吊子Kyle的博客

09-05

1580

Flink 搭建 - 本地模式模式说明安装准备安装测试 Apache Flink 1.10 Documentation 模式说明本地模式适用于本地开发和测试环境，占用的资源较少，部署简单安装准备 ① 环境准备 Linux 服务器 ② 下载安装包 Apache Flink: Downloads Apache Flink: Downloads: flink-1.10.0-bin-scala_2.11.tgz 注意：本博客基于 Flink 1.10 版本安装 # 版本说明 # 1.10.0 是 flink 的

Flink-分布式运行环境

北京小辉

09-27

994

转载请标明出处: https://blog.csdn.net/silentwolfyh 目录: 1、任务和操作链 2、job管理, Task管理,客户端 3、任务槽和资源 4、后端状态 5、保存点 1、任务和操作链        对于分布式执行，Flink将操作子任务链接到一起，形成任务。每个任务由一个线程执行。将链接操作符放入任务中是一个有用的最优化:...

Flink本地模式简易安装和运行

Blossom

03-14

6566

环境要求如果是编译安装需要maven，这里是直接使用编译好的二进制文件进行解压安装，因此只需要jdk1.8即可。 jdk1.8 maven 下载安装 1. 从下载地址：https://flink.apache.org/downloads.html，下载相应版本的Flink安装文件进行解压。Flink版本中包含了匹配的hadoop的版本和scala的版本，为以后的YARN模式的安装做准备（...

Flink 知识体系（二）Flink 部署及启动

weixin_42847481的博客

12-09

2453

Flink 支持多种安装模式: local（本地）——单机模式，一般不使用； standalone——独立模式，Flink 自带集群，开发测试环境使用； yarn——计算资源统一由 Hadoop YARN 管理，生产环境使用。 Flink 集群的安装不属于本文档的范畴，如安装 Flink，可自行搜索资料进行安装。本节重点在 Flink 的 Yarn 部署模式。在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的 Workload，可以使用 YARN 来管理所有计算资源。

Flink 1.8.1与Flink CDC 3.1.1依赖库免费下载指南

它支持在本地开发环境和生产环境中运行，具有高度可扩展性和低延迟的流处理能力。 Flink-CDC (Change Data Capture) 是 Apache Flink 的一个组件，专门用于捕获并处理数据变更。它能够从多种数据源（如数据库、消息...