大数据开发培训_大数据培训课程_大数据培训班_大数据学习【光环大数据】

优惠活动

名师亲授

就业前景

就业保障

就业信息

多种大数据班型任选

光环大数据学员就业薪资一览

姓名
学历
职位
入职企业
薪资
班型
  • 和*远
    本科
    大数据开发
    *思海辉
    13000
    零基础就业班
  • 林*
    本科
    大数据工程师
    *东
    21000
    在职转型班
  • 杨*媛
    专科
    大数据工程师
    *数
    20000
    零基础就业班
  • 李*中
    专科
    大数据工程师
    *信时代
    14000
    零基础就业班
  • 王*枝
    博士
    大数据研发经理
    **滴
    34000
    在职转型班
  • 姬*飞
    专科
    大数据高级工程师
    *智慧
    33000
    在职转型班
  • 任*甲
    硕士
    大数据总监
    **信
    33000
    在职转型班
  • 郑*
    专科
    大数据工程师
    **行远景
    17000
    零基础就业班
  • 朱*丽
    本科
    大数据工程师
    *能博泰
    20000
    零基础就业班
  • 康*庆
    本科
    大数据工程师
    *人听书
    19000
    零基础就业班
  • 王*琴
    博士
    大数据架构师
    **存科技
    30000
    在职转型班
  • 叶*
    本科
    大数据开发
    *钱罐
    24000
    在职转型班
  • 乌*民
    本科
    大数据研发
    *合娱乐
    27000
    在职转型班
  • 李**
    专科
    大数据工程师
    *山云
    13000
    零基础就业班
  • 崔*梅
    本科
    大数据开发
    *irestorm
    16000
    零基础就业班
  • 叶*
    本科
    大数据工程师
    *康交通大数据
    17000
    零基础就业班
  • 史*超
    本科
    大数据工程师
    **LPS
    19000
    在职转型班
  • 赵*
    专科
    大数据开发
    **年爱贝
    16000
    零基础就业班
  • 郝*鹏
    专科
    大数据工程师
    **智慧
    13000
    零基础就业班
  • 胡*云
    本科
    大数据开发
    *桂园
    17000
    零基础就业班
了解更多薪资就业

大数据专业就业前景如何

中国目前大数据人才缺口已达150万,BAT、国企、政府、企业都在大量招聘大数据人才
  • 总热度
  • 年度热度
  • 月度热度
大数据总热度
大数据年度热度
大数据月度热度
大数据课程面向岗位
  • 大数据工程师

    大数据工程师

  • 数据挖掘工程师

    数据挖掘工程师

  • hadoop开发工程师

    hadoop开发工程师

  • 大数据开发工程师

    大数据开发工程师

北京大数据平均薪资24000
大数据就业薪资提前预估
电话
微信

名校硕博学历,一线名企在职讲师

谭老师北京大学计算机硕士

主讲:大数据

工作经验:曾就职于新浪微博平台研发部与Hulu北京研发中心,曾参与微博核心Feed系统的改造,主导多机房数据同步和容灾部署,Spark内核级优化和企业推广,Hadoop集群升级与优化,Hive On Tez优化以及推广等工作。曾在某在线视频公司及新浪等大型企业大数据培训担任讲师。

董老师美国hulu大数据架构师

主讲:大数据

工作经验:8年+大数据研发经验,美国著名视频公司大数据架构师,曾在中国云计算大会、世界软件大会、中国架构师大会等担任演讲嘉宾。在中国福彩、中国银行和工商银行、国家电网等国家级项目中担任大数据内训讲师。编写大数据Hadoop技术书籍,畅销十万余本。

张老师中科院硕士

主讲:大数据

工作经验:目前就职于美国某著名在线视频公司,从事Hadoop及Spark相关平台的研发工作。曾参与维护并优化千节点规模的Hadoop集群,对分布式存储系统有深入研究(源码级修改),尤其擅长HDFS/HBase调优及应用:利用impala与presto大数据查引擎构建企业级OLAP引擎,对高性能查询优化有丰富经验。

黄老师曾任百度大数据负责人

主讲:Java开发、大数据

工作经验:曾任百度大数据负责人,中国银联分布式技术专家,Oracle甲骨文高级工程师。专业聚焦流式处理、数据平台构建、互联网数据产品研发等。在商用版Storm、国内顶级数据平台、以及百PB量级数据治理等项目中,担任设计、研发及落地leader。曾受邀在国内顶级大学做大数据主题分享,工作成果在知名专业书籍上多有论及。

和老师聊聊
  • 项目一:用户画像系统
    用户画像系统flume+hbase+spark+redis+mllib架构,使用HBase存储海量结构化和半结构化数据,学会mllib求解机器学习等。
  • 项目二:电子商务推荐系统
    通过电子商务推荐系统,掌握大数据设计架构lambda architecture,学会使用Hadoop和Spark技术解决复杂大数据问题。
  • 项目三:商务智能报表系统
    掌握大数据报表系统基本架构设计方法,学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题。
  • 项目四:信用卡欺诈分析系统
    采用HDFS + Spark Core + mllib架构,熟悉机器学习应用,熟悉使用HDFS和Spark解决实际问题。
  • 项目五:用户行为实时分析系统
    掌握大数据流式系统基本架构,学会使用kafka和spark streaming构建流式计算系统,熟练掌握使用spark streaming编写鲁棒的流式处理程序。
  • 项目六:双十一大数据日志分析系统
    了解日志分析系统的基本架构,熟练掌握如何采用hadoop和spark解决大数据分析问题,使用常见的开源可视化工具对分析结果可视化。
  • 项目七:用户手机APP行为分析系统
    利用Spark Streaming+kafka+redis实现,掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序。
  • 项目八:基于深度学习的手写字体识别
    掌握人工智能技术基础,包括数学与python技术,了解神经网络技术及开源框架tensorfow、pytorch等,基于深度学习的手写字体识别。
  • 项目九:电信客户流失预测分析实战
    掌握人工智能技术基础,使用神经网络监督学习,预测电信客户流失曲线,监督学习技术可同样应用于股价预测、流量预测,房价预测等方面中。
  • 项目十:电影受众实时分析系统
    掌握 DataFrame与Dataset开发一个wordcount程序、设计电影受众分析程序,熟悉Spark SQL原理及API、Spark SQL、DataFrame开发分析程序。
  • 项目十一:电影评论文本情感分析系统
    采用神经网络(DNN,RNN及CNN)和开源框架tensorflow及pytorch等,监督学习,完成电影评论文本情感分析,可应用于新闻正负情感分类。
  • 项目十二:数据挖掘与机器学习实战
    掌握数据挖掘与机器学习基础知识算法,熟练使用Spark MLib分类、聚类、推荐等算法,完成用户画像系统设计,深刻了解机器学习。
  • 张**  已领取《光环大数据课程全部案例》  1分钟前
  • 崔*   已领取《光环大数据课程全部案例》  1分钟前
  • 班**  已领取《光环大数据课程全部案例》  2分钟前
  • 左**  已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  4分钟前
  • 王**  已领取《光环大数据课程全部案例》  1分钟前
  • 高**  已领取《光环大数据课程全部案例》  14秒前
  • 张*   已领取《光环大数据课程全部案例》  16秒前
  • 刘**  已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 李**  已领取《光环大数据课程全部案例》  3分钟前
  • 崔*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环大数据课程全部案例》  1分钟前
  • 王**  已领取《光环大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环大数据课程全部案例》  18秒前
  • 谢*   已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环大数据课程全部案例》  7分钟前
  • 任*   已领取《光环大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环大数据课程全部案例》  6分钟前
  • 付**  已领取《光环大数据课程全部案例》  13分钟前
  • 胡**  已领取《光环大数据课程全部案例》  12秒前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环大数据课程全部案例》  1分钟前
  • 王**  已领取《光环大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环大数据课程全部案例》  18秒前
  • 谢*   已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环大数据课程全部案例》  7分钟前
  • 任*   已领取《光环大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环大数据课程全部案例》  6分钟前
  • 付**  已领取《光环大数据课程全部案例》  13分钟前
在职转型周末班-课程体系
零基础大数据就业班-课程体系

第一阶段:Hadoop生态体系

学习阶段概述:大数据技术体系、Hadoop生态系统,具体涉及HDFS/YARN/HBase/Kafka/Hive/Presto等架构、实际应用情况。

本阶段开始学习大数据技术,课上设置随堂练习偏多,阶段结束时,基于Hadoop的广告数据仓库

★★★ 分布式存储系统:分布式数据库HBase ★★★
理论部分
HBase简介、优缺点、架构以及HBase API使用等
实战部分
搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java编写程序在hbase中创建表、利用Java编写程序向hbase表中写入和读取数据
项目案例
用户画像系统、网络爬虫
课程目标
掌握HBase系统架构,能够编写程序读写 HBase中存储的数据
★★★ 分布式分析引擎:Hive进阶 ★★★
理论部分
Hive内部原理,多计算引擎(Tez与Spark),Hive创建ORC/Parquet表,Hive调优
实战部分
程序方式访问Hive、Hive调优演示
课程目标
掌握Hive内部原理,了解常见Hive的优化方式
★★★ 交互式查询引擎 Presto ★★★
理论部分
Presto基本架构,Presto与Hive对比,Presto基本使用
实战部分
Presto集群搭建、Presto使用方式、Presto与Hive性能对比

第二阶段:Spark生态体系

学习阶段概述:Spark技术概论、Spark生态系统组成、相关组件的原理以及程序设计的方法、调优,典型大数据分析案例剖析

本阶段涉及的实战项目:电影受众分析系统/用户手机APP行为分析系统/用户画像系统(机器学习相关)/视频行业大数据案例

★★★ Spark 程序设计 ★★★
理论部分
Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化
实战部分
如何利用intellij idea开发一个spark程序并运行到集群中、如何利用spark设计电影受众分析程序
课程目标
掌握常见的Spark API,熟练使用Spark开发大数据分析程序
★★★ Spark SQL ★★★
理论部分
DataFrame与Dataset,Spark SQL主要函数介绍
实战部分
如何使用 DataFrame与Dataset开发一个wordcount程序、如何使用DataFrame与Dataset设计电影受众分析程序
课程目标
熟悉Spark SQL原理及API,熟练使用Spark SQL,尤其是DataFrame开发大数据分析程序
★★★ Spark Streaming进阶 ★★★
理论部分
保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API
实战部分
利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”、实现streuctured streaming版本的wordcount
课程目标
掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序
★★★ Spark MLlib数据分析挖掘程序 ★★★
理论部分
数据挖掘与机器学习技术知识,以及机器学习案例、Spark MLlib分类、聚类、推荐等算法,用户画像系统设计
实战部分
回归预测和局部加权线性回归预测算法、最近邻 KNN 预测分析的算法 协同过滤算法的Spark实现技术应用、决策树分类分析挖掘算法、逻辑回归分类分析挖掘算法、贝叶斯分类分析挖掘算法等,互联网用户性别预测小案例
课程目标
掌握常见的机器学习算法,能够使用Spark MLlib工具包解决机器学习问题
★★★ 用户画像系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解;
• 项目架构、核心点讲解;
• 数据展示、共性问题答疑 、项目总结。
• 用户画像系统常见场景简介。
• 讲解主要架构:Flume + HBase + Spark + Redis + MLlib
课程目标
• 掌握用户画像系统基本架构
• 熟练使用HBase存储海量结构化和半结构化数据
• 熟练使用MLlib求解机器学习问题

第三阶段:深度学习课程体系

深度学习背景及发展史,常见应用(自动驾驶、机器翻译、人脸识别等)、常见Python机器学习库、深度学习算法及开源库Tensorflow介绍

本阶段涉及的实战项目:基于深度学习的手写字体识别

理论部分
• 深度学习发展史及技术体系
• 深度学习依赖的数学与python技术
• 神经网络(DNN,RNN及CNN等)和开源框架tensorflow及pytorch等
实战部分
• Tensorflow playground数据模型可视化
• ConvNetJS利用CNN完成图像分类
• 基于深度学习的手写字体识别
课程目标
掌握深度学习技术,包括数学与Python技术,了解神经网络技术及开源框架Tensorfow、pytorch等

第四阶段:企业级大数据项

本章通过讲解综合的项目案例,完整的展示大数据在实际应用场景中复杂应用情况,让学员掌握

本阶段涉及的实战项目:“双十一”大数据日志分析系统 网站指标分析系统 实时数据处理综合案例 大数据漏斗分析系统

★★★ 大数据Hadoop企业应用 “双十一”大数据日志分析系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Hadoop + Kafka + Spark + Presto/Hive + Echart/D3
课程目标
• 熟悉Spark在大数据分析领域的综合应用 • 掌握Spark Streaming/SQL/Mllib的高级编程技巧 • 掌握Spark技术和传统Web相结合技术
★★★ 大数据spark企业应用 网站指标分析系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Kafka + Spark Streaming + MLlib + Tomcat + J2EE + Echart
课程目标
• 掌握大数据批处理、流式处理及机器学习基本架构 • 学会使用Kafka和Spark streaming构建流式计算系统 • 熟练掌握使用Spark streaming编写鲁棒的流式处理程序
★★★ 实时数据处理综合案例 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Flume + Kafka + Spark Streaming + Redis + Storm
课程目标
• 熟悉实时分析系统的基本架构 • 掌握Flume + Kafka + Spark Streaming + Redis处理技术 • 拓展Storm流式数据处理知识
★★★ 大数据漏斗分析系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Spark + Presto + Spark SQL + Echart
课程目标
• 了解漏斗分析的背景 • 掌握Spark SQL的高级应用 • 拓展Presto自定义插件和UDAF函数知识

第五阶段:项目答辩+面试指导

学员以小组的形式配合完成结业项目,并进行答辩,由讲师、班级同学共同进行评审

本阶段涉及的实战项目:阿里巴巴口碑商家客流量分析系统 京东金融信贷需求预分析系统

★★★ 大数据面试攻略 ★★★
课程目标
通过一线企业对于不同大数据岗位的核心技能需求,所需知识和技能,以及主流的大数据工具和框架的使用方法, 讲解常大数据岗位的面试问题,开放式问题和系统设计问题,结合实际场景分析,融汇贯通整个课程知识点。

课程一阶段

学习目标:

掌握Java流程控制和数组、面向对象、集合框架、异常和泛型和注解、IO流、并发编程等知识。

完成项目:

Java多线程模拟多窗口售票,Java集合框架管理。

第一阶段主要内容:

    初识Java

  • 1、Java编程语言简介
  • 2、Java环境搭建
  • 3、第一个Java程序
  • 4、Java,Javac等命令
  • 5、标识符与关键字
  • 6、String和常量池

    流程控制与数组

  • 1、if-else条件控制
  • 2、while循环控制
  • 3、for循环控制
  • 4、switch-case条件控制
  • 5、break和continue
  • 6、数组的定义和使用

    面向对象及方法重载

  • 1、面向对象的基本思想
  • 2、成员变量和方法
  • 3、属性和方法权限控制
  • 4、final和static、import
  • 5、抽象类和接口
  • 6、继承和实现,重写和重载

    并发编程

  • 1、多线程和并发的概念
  • 2、Thread和Runnable详解
  • 3、start方法和run方法详解
  • 4、线程的生命周期详解
  • 5、线程同步和锁
  • 6、sleep,阻塞,join

课程二阶段

学习目标:

掌握数据库MySQL和SQL、Maven、Git/SVN、MyBatis/Hibernate、Spring、SSM整合。

完成项目:

京东电商网站项目、2048游戏项目、智能图书管理系统。

第二阶段主要内容:

    数据库MySQL和SQL

  • 1、数据库系统概念及
  • 2、数据库和表概念和操作
  • 3、SQL语法:增删改查
  • 4、数据库事务详解
  • 5、SQL查询优化和建表设计
  • 6、触发器和存储过程详解

    Maven、Git/SVN

  • 1、项目构建:Maven
  • 2、版本管理:Git/SVN
  • 3、代码审查:Findbugs
  • 4、自动测试:Junit/TestNG
  • 5、继承开发:IDEA/Eclipse
  • 6、持续集成:Jenkins

    MyBatis/Hibernate

  • 1、MyBatis概念和作用
  • 2、实现基本增删改查
  • 3、动态代理实现DAO
  • 4、SQLMapConfig详解
  • 5、Mapper配置文件详解
  • 6、MyBatis动态SQL

    Spring

  • 1、Spring概念及作用
  • 2、Spring的IOC和DI
  • 3、Bean生命周期管理
  • 4、IOC初始化和源码解析
  • 5、代理设计模式
  • 6、SpringAOP面向切面编程

课程三阶段

学习目标:

掌握VMWare虚拟机安装和使用、Linux文件系统、Linux文本编辑命令Vim、Linux网络管理等。

完成项目:

公司网络拓扑实战、构建企业网站和邮件应用平台、构建服务器管理监控系统。

第三阶段主要内容:

    VMWare虚拟机安装和使用

  • 1、Linux操作系统介绍
  • 2、Linux系统架构认识
  • 3、Linux的启动级别和终端
  • 4、Linux的常用命令分类
  • 5、Linux的常使用命令详解
  • 6、Linux操作系统基础运维

    Linux文件系统

  • 1、Linux磁盘挂载和管理
  • 2、命令详解:cd,pwd,ls
  • 3、touch,file,mkdir
  • 4、cp,mv,rename,rm,rmdir
  • 5、命令详解:du,df
  • 6、操作符:!! !$ | > >>等

    Linux文本编辑命令Vim

  • 1、Vim文本编辑器概念
  • 2、Vim编辑器的三种模式
  • 3、基本使用:模式转换
  • 4、基本使用:光标移动
  • 5、高级使用:查找和替换
  • 6、多文本编辑和宏

    Linux网络管理

  • 1、IFconfig命令详解
  • 2、Vmware三种网络连接
  • 3、NAT网络连接配置详解
  • 4、DNS概念详解和配置
  • 5、常用网络管理命令详解
  • 6、常用监控脚本编写

课程四阶段

学习目标:

掌握集合和排序、反射和设计模式、并发编程/多线程、数据结构、经典算法、JVM详解和调优。

完成项目:

类QQ聊天室、RPC模拟实现。

第四阶段主要内容:

    集合和排序

  • 1、Collection体系详解
  • 2、Map详解及源码阅读
  • 3、Iterable和Iterator
  • 4、Collections和Arrays
  • 5、Comparator和Comparable详解
  • 6、15种排序算法概述

    反射和设计模式

  • 1、面向对象的终极奥义理解
  • 2、一切皆对象
  • 3、Class、Method、Constructor、Field详解
  • 4、单例和工厂方法模式
  • 5、责任链和策略模式
  • 6、代理设计模式

    并发编程/多线程

  • 1、进程和线程、并行和并发
  • 2、多线程的实现和状态详解
  • 3、java的内存模型
  • 4、synchronized和lock
  • 5、原子量、volatile等
  • 6、JDK1.5新特性:并发包

    数据结构

  • 1、数据结构的概念及用途
  • 2、线性表:数组详解
  • 3、线性表:链表详解
  • 4、队列,栈,Hash表详解
  • 5、树详解(平衡树,B树等)
  • 6、堆详解(大根堆,小根堆)

课程五阶段

学习目标:

掌握Common和RPC、HDFS分布式文件系统、MapReduce分布式编程模型、YARN资源调度系统等。

完成项目:

微博数据大数据分析项目、用户行为分析项目、精准广告投放项目。

第五阶段主要内容:

    HDFS分布式文件系统

  • 1、普通文件系统理解
  • 2、超大数据集的存储
  • 3、如何设计分布式文件系统
  • 4、使用Hadoop的RPC实现
    分布式文件系统
  • 5、分布式文件系统HDFS
  • 6、HDFS的组织架构和机制

    MapReduce编程模型

  • 1、普通单机计算程序理解
  • 2、超大数据集的计算思路
  • 3、如何设计分布式计算引擎
  • 4、设计分布式计算引擎
  • 5、详解Hadoop分布式计算
    引擎MapReduce
  • 6、MapReduce的编程套路

    YARN资源调度系统

  • 1、普通资源调度系统
  • 2、多节资源调度解决思路
  • 3、设计分布式资源调度引擎
  • 4、设计分布式资源调度系统
  • 5、详解Hadoop的分布式资
    源调度系统YARN
  • 6、YARN的资源调度算法

    ZooKeeper协调服务

  • 1、数据库的事务相关复习
  • 2、分布式一致性理解
  • 3、CAP理论和BASE理论
  • 4、分布式一致性算法详解
  • 5、ZooKeeper架构和使用
  • 6、ZooKeeper工作机制详解

课程六阶段

学习目标:

能够熟练使用Flume分布式数据采集工具、Kafka分布式消息系统、Storm分布式流式计算引擎等。

完成项目:

实时处理新数据和更新数据库,处理密集查询并行搜索处理大集合的数据。

第六阶段主要内容:

    Flume分布式数据采集

  • 1、Flume产生背景
  • 2、Flume概念和作用
  • 3、Flume体系结构核心
  • 4、Flume经典案例实战部署
  • 5、Flume自定义拦截器
  • 6、Flume的高可用架构

    Kafka分布式消息系统

  • 1、JMS技术规范
  • 2、消息队列和消息系统阐述
  • 3、Kafka的概念和优势分析
  • 4、Kafka的集群部署及存储
  • 5、Kafka的shell操作
  • 6、Kafka的API操作

    Storm流式计算引擎

  • 1、流式应用计算需求思路
  • 2、设计流式应用计算引擎
  • 3、Storm产生及应用背景
  • 4、Storm集群搭建概念
  • 5、Storm WordCount运行
  • 6、Storm并发度计算机制

    HBase分布式数据库

  • 1、超大数据集的增删改查
  • 2、MySQL实时增删改查
  • 3、设计实现分布式数据库
  • 4、Hbase产生背景详解
  • 5、HBase集群搭建管理
  • 6、HBase Shell及API操作

课程七阶段

学习目标:

掌握Scala编程语言基础语法、Scala面向对象、Scala函数式编程、Scala的并发编程和Spark的RPC。

完成项目:

记录用户行为、统计页面转化率,热门商品及黑名单统计

第七阶段主要内容:

    Scala编程语言基础语法

  • 1、Scala概述及环境安装
  • 2、Scala的入门程序
  • 3、Scala变量和数据类型
  • 4、Scala编码规范及流程
  • 5、Scala函数和方法的定义
  • 6、Scala的定长和变长数组

    Scala面向对象

  • 1、Scala类的定义和使用
  • 2、Scala的构造器
  • 3、Scala的对象
  • 4、Scala抽象类的定义
  • 5、Scala Trait的使用
  • 6、Scala的模式匹配

    Scala函数式编程

  • 1、Scala的高阶函数
  • 2、Scala的闭包和柯里化
  • 3、Scala的隐式转换
  • 4、Scala的泛型基础
  • 5、Scala的类型界定
  • 6、Scala的上界和下界

    Scala的并发编程

  • 1、Scala的Actor概念详解
  • 2、Akka并发编程框架使用
  • 3、RPC的概念和工作原理
  • 4、HadoopRPC的使用
  • 5、Akka实现一个聊天程序
  • 6、Akka模拟实现YARN

课程八阶段

学习目标:

熟练使用Spark、Spark Core、Spark内核设计和源码阅读、Spark SQL等进行快速开发。

完成项目:

使用Spark处理离线数据、使用SparkStreaming完成实时计算。

第八阶段主要内容:

    Spark编程开发

  • 1、Spark产生背景
  • 2、Spark的特点和优势分析
  • 3、Spark模块和应用场景
  • 4、Spark的集群安装
  • 5、Spark的第一个应用程序
  • 6、Spark Shell的使用详解

    Spark Core

  • 1、Spark应用程序流程分析
  • 2、RDD的概念和属性分析
  • 3、RDD的宽窄依赖原理
  • 4、Transformation/Action
  • 5、Spark DAG/Stage分析
  • 6、持久化cache和persist

    Spark SQL

  • 1、SparkSQL的作用及发展
  • 2、SparkSession详解和SparkContext对比分析
  • 3、Spark数据抽象详解
  • 4、SparkSQL代码编写
  • 5、SparkSQL的save和load
  • 6、SparkSQL整合Hive

    Spark Streaming

  • 1、Storm实现流式处理思路
  • 2、SparkStreaming实现流
    式处理的思路分析
  • 3、StreamingContext详解
  • 4、数据抽象Dstream详解
  • 5、SparkStreaming运行机制
  • 6、SparkStreaming工作原理

课程九阶段

学习目标:

能够掌握ElasticSearch核心概念、安装部署、查询和分析、存储机制等能力。

完成项目:

实时索引存储节点,elasticsearch建立索引精准搜索分析。

第九阶段主要内容:

    ElasticSearch核心概念

  • 1、Lucene作用和工作机制
  • 2、Solr作用和工作机制
  • 3、ElasticSearch产生背景
  • 4、Index索引详解
  • 5、分布式文档系统原理和倒排索引
  • 6、分布式搜索引擎原理

    ElasticSearch安装部署

  • 1、在windows安装和使用
  • 2、在linux安装和使用
  • 3、head插件安装
  • 4、IK分词插件安装
  • 5、kibana插件安装
  • 6、LogStash组件安装

    ElasticSearch查询和分析

  • 1、集群状态查询
  • 2、index增删改查
  • 3、document增删改查
  • 4、mget批量查询
  • 5、bulk批量增删改
  • 6、范围查询、下钻分析

    ElasticSearch存储机制

  • 1、ES分布式架构、扩容
  • 2、分片&副本分配机制
  • 3、document的核心元数据
  • 4、document数据路由原理
  • 5、文档的全量替换
  • 6、ES的延迟删除机制

课程十阶段

学习目标:

熟练Flink简介、Flink架构和集群安装、Flink应用案例、Flink原理分析。

完成项目:

Kafka对接Flink的消费数据展示及整合、高吞吐。

第十阶段主要内容:

    Flink简介

  • 1、流式处理特性分析
  • 2、实现流式处理思路分析
  • 3、Flink的流式处理思路
  • 4、Flink的API支持
  • 5、Flink的Libraries支持
  • 6、Docker Flink的整合支持

    Flink架构和集群安装

  • 1、主从架构和对等架构分析
  • 2、Flink的主从架构分析
  • 3、Client分析
  • 4、Flink的任务调度详解
  • 5、Flink的容错详解
  • 6、Flink的集群环境安装

    Flink应用案例

  • 1、Flink实现社交好友分析
  • 2、Flink实现离线日志分析
  • 3、Flink实现影评分析
  • 4、Flink实现NBA数据分析
  • 5、Flink实现电商用户画像
  • 6、Flink实现金融防欺诈

    Flink原理分析

  • 1、Flink调度分析
  • 2、Flink生成执行计划流程
  • 3、Flink生成执行计划源码
  • 4、Flink物理执行图
  • 5、生成消费原理
  • 6、Task的任务分配详解

课程十一阶段

学习目标:

熟练模型评估与选择,熟练使用机器学习各种算法,掌握机器学习与大数据的结合。

完成项目:

广告CTR预估及投放,智能数据实时监测项目社交图谱大数据分析。

第十一阶段主要内容:

    Python工具库实战

  • 1、Python基础语法增强
  • 2、计算库Numpy数据结构
  • 3、计算库Numpy矩阵详解
  • 4、计算库Numpy常用函数
  • 5、处理库Pandas数据读取
  • 6、可视化库MatplotLib

    机器学习基础理论概述

  • 1、机器学习概念和分类
  • 2、监督学习和无监督学习
  • 3、聚类和分类
  • 4、经验误差和过拟合欠拟合
  • 5、采样和模型评估和选择
  • 6、评估方法和性能度量

    机器学习入门

  • 1、KNN最近邻算法原理
  • 2、决策树和随机森林原理
  • 3、支持向量机原理和案例
  • 4、逻辑回归和梯度下降详解
  • 5、线性回归原理
  • 6、K-Means聚类算法详解

    机器学习进阶

  • 1、数据挖掘详细分析
  • 2、AdaBoost原理详解
  • 3、Aproiri原理详解
  • 4、GBDT原理和SKLearn
  • 5、HMM隐马尔可夫模型
  • 6、CNN卷积神经网络详解

课程十二阶段

学习目标:

能够熟练进行版本调优、压缩调优、文件调优、参数调优等八大集群调优。

完成项目:

大数据并发超大集群调优,服务器大集群架构调优,超大数据资源调优。

第十二阶段主要内容:

版本调优
压缩调优
文件格式调优
参数调优
操作系统调优
代码调优
资源调优
架构调优

名企合作 就业双选 做教育我们是认真的

我们的学员值得更好的选择
  • IT培训机构音智达定制班
  • IT培训机构文思海辉定制班
  • IT培训机构-名企来校招聘
  • IT培训机构-名企来校招聘
  • IT培训机构-2018招聘会
  • IT培训机构-2017招聘会
  • IT培训机构-2016招聘会
  • IT培训机构-2015招聘会
  • IT培训机构与阿里云战略合作

    阿里云栖大会,光环与阿里云形成战略合作

  • IT培训机构与腾讯云战略合作

    光环大数据与腾讯云深度合作签约仪式

  • IT培训机构与华为战略合作

    华为2016全球合作伙伴大会与光环达成战略合作

  • IT培训机构-参加非你莫属
  • IT培训机构-参加非你莫属

融合阿里项目为你的技术镀金

光环大数据与阿里战略发布会

光环董事长合作发布会致辞

阿里云大学副总阐述光环大数据

阿里云大学宁院长心对光环评价

点击任意处关闭

点击任意处关闭

点击任意处关闭

点击任意处关闭

姓名:
手机:
学历:
基础:
六合在线 六合宝典 六合宝典 六合在线 六合在线 六合在线 六合在线 六合宝典 六合宝典 六合宝典