大数据核心技术全掌握视频教程

下载地址

提取码: mgtn

内容违法违规？网盘失效？请点此举报！

售价:50u币 [记录] 下载权限:不限

立即下载

50

您未购买

u币

[购买VIP]   [1元=10U币多充多送]  [签到赚币] [付费代搭建]

本站资源（zhuatou.cn）仅供个人 学习研究，版权归作者所有，如有侵权请联系我们24小时删除。

　　大数据核心技术全掌握课程视频教程下载。本套课程讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容，覆盖大数据处理平台的主要核心技术，突出技术深度和实战性。
　　课程章节
　　第一讲 大数据和ODPS
　　主讲人：武永卫
　　主讲人：程永
　　QUIZ
　　第二讲 分布式存储
　　大纲
　　初步认识大数据对分布式存储系统的需求
　　理解大数据对分布式存储系统的需求
　　具体说明大数据对分布式存储系统的需求
　　大规模分布式存储的挑战
　　小概率事件-Raid卡故障
　　分布式存储系统举例
　　分布式存储系统重要功能设计要点剖析
　　链式写正常流程
　　写流程的另一种常见方式：主从模式
　　链式写异常流程
　　写异常处理的另一种方法-Seal and New
　　读正常流程
　　读流程优化-BackupRead
　　IO QoS
　　数据正确性：checksum
　　数据可靠性-Replication
　　数据均衡-Rebalance
　　垃圾回收-Garbage collection
　　Erasure coding
　　Erasure coding（3,2）写入和读取过程
　　元数据管理的高可用性和可扩展性
　　元数据管理的高可用性
　　Paxos概要
　　Raft
　　元数据管理的可扩展性
　　不同存储介质的特性
　　盘古混合存储
　　QUIZ
　　第三讲 资源管理与任务调度
　　阿里云飞天分布式调度
　　任务调度
　　资源调度
　　容错机制
　　规模挑战
　　安全域性能隔离
　　分布式调度的发展方向
　　QUIZ
　　第四讲 分布式编程模型的设计与演化
　　数据格式和抽象
　　分布式编程模型
　　MapReuduce编程模型
　　关系型数据编程模型
　　分布式图计算模型
　　分布式编程未来展望
　　QUIZ
　　实践1：通过两阶段提交协议完成数据上传
　　分布式事务
　　分布式一致性算法
　　两阶段提交与三阶段提交
　　实践--介绍
　　HW1：通过两阶段提交协议完成数据上传
　　第五讲 离线分布式关系型计算
　　关系型计算基本原理_1
　　关系型计算基本原理_2
　　分布式环境中的连接计算和聚合计算
　　其他计算和物理优化
　　QUIZ
　　第六讲 全局数据管理与调度
　　提纲
　　课程背景介绍
　　前序知识
　　分布式节点距离计算法则
　　数据分布策略
　　分布式计算调度
　　数据就近原则计算如何容错
　　ODPS跨集群数据依赖
　　QUIZ
　　实践2：编写MR完成Group By+Join操作
　　主讲人：谢德军
　　HW2：编写MR完成Group By+Join操作
　　第七讲 流式计算的系统设计与实现
　　增量计算和流式计算
　　与批量计算的区别
　　业界典型系统技术概要分析
　　核心技术
　　消息机制
　　有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
　　StreamSQL
　　QUIZ
　　第八讲 内存计算
　　软硬件趋势、分布式计算简史与内存计算
　　分布式计算
　　内存计算
　　统一的计算框架
　　业界经典系统技术分析-spark&flink
　　QUIZ
　　第九讲 大规模数据的分布式机器学习平台
　　主讲人：褚葳
　　QUIZ
　　实践3：实现MapReduce编程运行时库
　　分布式环境下的新问题
　　工程实现范例
　　课程设计相关问题
　　HW3:实现MapReduce编程运行时库

　

大数据核心技术全掌握视频教程

　　下载地址