# bigdata

**Repository Path**: qul/bigdata

## Basic Information

- **Project Name**: bigdata
- **Description**: flink开发配置模板
- **Primary Language**: Java
- **License**: 0BSD
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-03-12
- **Last Updated**: 2022-05-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# bigdata

#### 介绍
flink开发模版

#### 组织结构
app  
├── common-- 基础框架公共模块  
└── jobone --流处理任务示例  


#### 后端列表

| 技术         | 名称       | 官网                      |
| ------------ | ---------- | ------------------------- |
| flink        | 流处理框架 | https://flink.apache.org/ |
| kafka        | 消息队列   | http://kafka.apache.org/  |
| jdbc         | 数据库连接 |                           |
| mongo-driver | mongo驱动  |                           |
| Log4J2       | 日志组件   |                           |



#### 开发说明

#### 

| 封装                   | 名称                     |
| ---------------------- | ------------------------ |
| mysql、kafka输入封装   | KafkaSource，MysqlSource |
| mysql、mongodb输出封装 | MongoDBSink ，MysqlSink  |



MysqlSink使用例子：

```java
// 构建MysqlSink,只关注与业务sql即可 
public class JobOneSink extends MysqlSink<Object> {

    @Override
    public Map<String, PreparedStatement> createPreparedStatements(Connection connection) {
        // 设置预编译指令
        return null;
    }

    @Override
    public void dataSave(Object obj, Map<String ,PreparedStatement> preparedStatementMap) {
       // 执行数据录入
    }
}


```