大数据研修
大数据建模、分析、挖掘技术应用研修时间2022年8月5日 — 2022年8月9日北京（同时转线上直播）（5日报到，6日-9日上课）目标1.掌握大数据建模分析与使用方法。2.掌握大数据平台技术架构。3.掌握国内外主流的大数据分析与BI商业智能分析解决方案。4.掌握大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用。5.掌握主流的基于大数据Hadoop和Spark、R的大数据分析平台架构和实际应用。6.掌握基于Hadoop大数据平台的数据挖掘和数据仓库分布式系统平台应用，以及商业和开源的数据分析产品加上Hadoop平台形成大数据分析平台的应用剖析。7.掌握常见的机器学习算法。一、大数据概述1.大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.Hadoop安装与使用3.Hadoop集群的部署与使用4.Hadoop 代表性组件1.Hadoop Single Node Cluster2. Hadoop Multi Node Cluster三、分布式文件系统HDFS1.HDFS体系结构2.HDFS存储3.HDFS数据读写过程1.创建与查看HDFS目录2.从本地计算复制文件到HDFS3.将HDFS文件复制到本地计算机4.复制与删除HDFS文件5.Hadoop HDFS Web浏览HDFS四、分布式数据库HBase1.HBase访问接口2.HBase数据类型3.HBase实现原理4.HBase运行机制5.HBase应用五、MapReduce1.MapReduce体系结构2.MapReduce工作流程3.资源管理调度框架YARN4.MapReduce应用六、Spark1.Spark生态与运行架构2.Spark SQL3.Spark部署与应用方式1.Python Spark 安装2.本地运行pyspark程序3.在Hadoop YARN 运行pyspark4.Spark Web UI七、IPython Notebook运行Python Spark程序1.Anaconda2.IPython Notebook使用Spark3.使用IPython Notebook在Hadoop YARN模式运行1.在不同模式运行IPython Notebook运行Python Spark命令2.Python 程序开发八、Python Spark集成开发环境1.Python Spark集成开发环境部署配置2.Spark数据分析库MLlib的开发部署Spark MLlib应用程序示例九、Python Spark决策树二分类与多分类1.决策树原理2.大数据问题3.决策树二分类4.决策树多分类1.搜集数据2.数据准备：导入并转换数据、提取特征字段、提取标签3. Python Spark建模，训练模型4.预测数据5.评估数据，给出评价指标并得到评估结果十、Python Spark支持向量机1.支持向量机SVM 原理与算法2.Python Spark SVM程序设计1.数据准备2.建立SVM模型，训练模型3.评估参数并找出最优参数4.根据模型进行预测十一、Python Spark 贝叶斯模型1.朴素贝叶斯模型原理2.Python Spark贝叶斯模型程序设计1.建模贝叶斯模型，并进行对参数估计2.训练模型，得到最优参数3.根据模型进行预测十二、Python Spark逻辑回归1.逻辑回归原理2.Python Spark逻辑回归程序设计1.Python Spark逻辑回归建模2.根据模型进行分类十三、Python Spark回归分析1.大数据分析2.数据集介绍3.Python Spark回归程序设计1.数据准备2.训练回归模型3.建立评估指标4.训练回归模型，并找到最优参数5.根据模型进行预测十四、Spark ML Pipeline 机器学习流程分类1.机器学习流程组件：StringIndexer、OneHotEncoder、VectorAssembler等2.使用Spark ML Pipeline 机器学习流程分类程序设计1.数据准备2.建立机器学习Pipeline流程3.使用Pipeline流程训练4.使用PipelineModel预测5.评估模型准备率十五、Python Spark 创建推荐引擎1.推荐算法2.推荐引擎大数据分析使用场景3.推荐引擎设计1.搜索数据2.准备数据3.训练模型4.使用模型进行推荐十六、项目实践1.日志分析系统与日志挖掘项目实践a、Hadoop，Spark，ELK技术构建日志数据仓库b、互联网微博日志分析系统项目1.推荐系统项目实践a、电影数据分析与个性化推荐关联分析项目
郭老师 195--1112--2152（V）
G:人工智能技术与咨询
页:
[1]