新一代大数据计算引擎 Flink从入门到实战 (20) - 项目实战(6)- 功能2

1 用户 id 和域名映射

create table user_domain_config(
id int unsigned auto_increment,
user_id varchar(50) not null,
domain varchar(50) not null,
primary key (id)
)


insert into user_domain_config(user_id,domain) values('8000000','v1.go2yd.com');
insert into user_domain_config(user_id,domain) values('8000000','v2.go2yd.com');
insert into user_domain_config(user_id,domain) values('8000000','v3.go2yd.com');
insert into user_domain_config(user_id,domain) values('8000000','v4.go2yd.com');
insert into user_domain_config(user_id,domain) values('8000000','vmi.go2yd.com');

2 功能二

  • 在做数据清洗的时候,不仅需要处理 row 日志,还需要关联 MySQL 表里的数据。
  • 自定义一个 Flink 去读 MySQL 数据的数据源,然后把2个 Stream 关联起来。

2.1 自定义数据源

package test.flink.scala.scalaproject

import java.sql.{Connection, DriverManager, PreparedStatement}

import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.source.{RichParallelSourceFunction, SourceFunction}

import scala.collection.mutable

class MySQLSource extends RichParallelSourceFunction[mutable.HashMap[String,String]]{

    var connection:Connection = null
    var ps:PreparedStatement = null
    val sql = "select user_id,domain from user_domain_config"

    // 建立连接
    override def open(parameters: Configuration): Unit = {
        val driver = "com.mysql.jdbc.Driver"
        val url = "jdbc:mysql://localhost:3306/flink_mooc"
        val user = "root"
        val password = "root"
        Class.forName(driver)
        connection = DriverManager.getConnection(url,user,password)

        ps = connection.prepareStatement(sql)
    }

    override def close(): Unit = {
        if(ps != null){
            ps.close()
        }

        if(connection != null){
            connection.close()
        }

    }


    override def run(sourceContext: SourceFunction.SourceContext[mutable.HashMap[String, String]]): Unit = {
        val res = ps.executeQuery()
        val resMap = new mutable.HashMap[String,String]()
        while (res.next()){
            resMap.put(res.getString("domain"),res.getString("user_id"))
        }
        sourceContext.collect(resMap)
    }

    override def cancel(): Unit ={

    }
}


  • 测试
package test.flink.scala.scalaproject

import org.apache.flink.api.scala.createTypeInformation
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment

object MySQLSourceTest {
    def main(args: Array[String]): Unit = {
        val env = StreamExecutionEnvironment.getExecutionEnvironment

        val data = env.addSource(new MySQLSource).setParallelism(1)

        data.print()

        env.execute("MySQLSourceTest")
    }

}

在这里插入图片描述

如今的大数据技术应用场景,对实时性的要求已经越来越高。作为新一代数据流处理框架,由于非常好的实时性,Flink独树一帜,在近些年引起了业内极大的兴趣和关注。Flink能够提供毫秒级别的延迟,同时保证了数据处理的低延迟、高吞吐和结果的正确性,还提供了丰富的时间类型和窗口计算、Exactly-once 语义支持,另外还可以进行状态管理,并提供了CEP(复杂事件处理)的支持。Flink在实时分析领域的优势,使得越来越多的公司开始将实时项目Flink迁移,其社区也在快速发展壮大。 目前,Flink已经成为各大公司实时领域的发力重点,特别是国内以阿里为代表的一众大厂,都在全力投入,不少公司为Flink社区贡献了大量源码。如今Flink已被很多人认为是大数据实时处理的方向和未来,很多公司也都在招聘和储备了解掌握Flink的人才。 本教程将Flink理论与电商数据分析项目实战并重,对Flink基础理论知识做了系统的梳理和阐述,并通过电商用户行为分析的具体项目用多个指标进行了实战演练。为有志于增加大数据项目经验、扩展流式处理框架知识的工程师提供了学习方式。 二、教程内容和目标 本教程主要分为两部分: 第一部分,主要是Flink基础理论的讲解,涉及到各种重要概念、原理和API的用法,并且会有大量的示例代码实现; 第二部分,以电商作为业务应用场景,以Flink作为分析框架,介绍一个电商用户行为分析项目的开发实战。 通过理论和实际的紧密结合,可以使学员对Flink有充分的认识和理解,在项目实战中对Flink和流式处理应用的场景、以及电商分析业务领域有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。 三、谁适合学 1、有一定的 Java、Scala 基础,希望了解新的大数据方向的编程人员 2、有 Java、Scala 开发经验,了解大数据相关知识,希望增加项目经验的开发人员 3、有较好的大数据基础,希望掌握Flink及流式处理框架的求职人员
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页