flink 源代码学习（源码开发环境配置）

flink 源代码学习（源码开发环境配置）我的下载到了本地D盘步骤1、安装Git，拉取Flink源码中文：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/flinkdev/ide_setup/主要内容主要步骤

本文讲述如何将 Flink 项目导入到 IDE 中以进行 Flink 本身的源码开发。

声明：本文基于Flink1.14.0版本

可参照Flink官网

英文：https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/flinkdev/ide_setup/

中文：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/flinkdev/ide_setup/

---

主要内容

1. Flink开发环境配置
2. 常见问题

---

Flink开发环境配置

主要步骤

1. 安装git，拉取Flink源码
2. 安装Scala插件
3. 导入Flink

---

步骤1、安装Git，拉取Flink源码

我的下载到了本地D盘

git clone https://github.com/apache/flink.git

Flink源码拉取

步骤2、安装scala插件

如未安装，按以下步骤进行安装

1. 转到 File → Settings → Plugins 并选择 “Marketplace”。
2. 选择并安装 “Scala” 插件。
3. 如果出现提示，请重启 IntelliJ。

Scala插件安装

步骤3、导入Flink

1、启动 IntelliJ IDEA 并选择 New → Project from Existing Sources。

2、选择已克隆的 Flink 存储库的根文件夹。

3、选择 “Import project from external model”，然后选择 “Maven”。

4、保留默认选项，然后依次单击 “Next”，直到到达 SDK 部分。

5、如果未列出 SDK，在完成下一步【6】后，通过File → Project Structure 创建一个。选择 “JDK”，选择 JDK 主目录，然后单击 “OK”。选择最合适的 JDK 版本。

6、单击 “Next” 继续，直到完成导入。

7、右键单击已导入的 Flink 项目 → Maven → Generate Sources and Update Folders。

8、编译项目（Build → Make Project）。

build project

Build完成后，会报一个错：

ParserResource.java会自动弹出，报依赖的包不存在，解决方法看Q2

至此，配置完成！！！

---

常见问题

Q1，Q2，Q3，Q6是我在配置过程中遇到的问题，Q4，Q5来自Flink官网

Q1：Flink源码拉取失败

A1：我在拉取源码过程中，进度到一半多时，会拉取失败，是因为网络问题，多操作几次就可以

Q2：ParserResource.java异常问题

问题描述：无法找到ParseException类

ParserResource.java异常

A2：ParseException类是通过codegen生成的，需要重新编译【flink-table】→ 【flink-sql-parse】，会自动生成这几个类到target目录里，然后把这几个类拷贝到src目录里。

编译生成源文件到target目录

拷贝到src目录

Q3：Could not transfer artifact com.google.errorprone:javac-shaded:pom:9 181-r41

问题描述：是在解决Q2问题，进行compile操作时遇到的，缺少jar包：

javac-shaded-9 181-r4173-1.jar 或 javac-9 181-r4173-1.jar

A3：下载两个jar包到本地，通过mvn install命令安装

1、下载jar包

javac-shaded-9 181-r4173-1.jar下载地址
https://mvnrepository.com/artifact/com.google.errorprone/javac-shaded/9 181-r4173-1
javac-9 181-r4173-1.jar下载地址
https://mvnrepository.com/artifact/com.google.errorprone/javac/9 181-r4173-1

2、执行mvn install

//javac-9 181-r4173-1.jar mvn install:install-file -DgroupId=com.google.errorprone -DartifactId=javac -Dversion=9 181-r4173-1 -Dpackaging=jar -Dfile=D:\javac-9 181-r4173-1.jar //javac-shaded-9 181-r4173-1.jar mvn install:install-file -DgroupId=com.google.errorprone -DartifactId=javac-shaded -Dversion=9 181-r4173-1 -Dpackaging=jar -Dfile=D:\javac-shaded-9 181-r4173-1.jar

3、pom文件中配置maven依赖，重新reload项目

Q4：编译失败 invalid flag: --add-exports=java.base/sun.net.util=ALL-UNNAMED

这意味着 IntelliJ 仍激活了 Java 11 配置文件，尽管使用了较旧的 JDK。解决方法：打开 Maven 工具窗口（View → tool Windows → Maven），取消选中 Java 11 配置文件并重新导入项目。

Q5：编译失败 cannot find symbol: symbol: method defineClass(...) location: class sun.misc.Unsafe

这意味着 IntelliJ 正在为该项目使用 JDK 11，但是你正在使用不支持 Java 11 的 Flink 版本。这通常在将 IntelliJ 设置为使用 JDK 11 并检出 Flink 的旧版本（<= 1.9）时发生。解决方法：打开项目设置窗口（File → Project Structure → Project Settings: Project），然后选择 JDK 8 作为项目 SDK。如果要使用 JDK 11，则可能必须在切换回新的 Flink 版本后恢复此状态。

Q6：运行 Flink Examples 且 Flink 出现关于 NoClassDefFoundError 错误信息

这可能是由于将 Flink 依赖项设置为 provided，导致它们没有自动放置在类路径中。你可以在运行配置中选中 “Include dependencies with ‘Provided’ scope” 框，也可以创建一个调用 main() 方法的测试示例（provided 依赖关系在测试类路径中可用）。

---

学习交流，互相促进，文中问题，欢迎指正！！！