AgentSkillsCN

bigdata-learning-guide

系统化的大数据组件学习指南，涵盖 Hadoop 生态、分布式计算、数据存储与同步，提供从基础到实战的分层学习路径，帮助理解架构、掌握概念、提升实操技能、解决实际问题。

SKILL.md
--- frontmatter
name: bigdata-learning-guide
description: 系统化大数据组件学习指南，涵盖Hadoop生态、分布式计算、数据存储与同步，提供从基础到实战的分层学习路径，帮助理解架构、掌握概念、实操技能、解决问题

大数据组件学习指南

任务目标

  • •本Skill用于：系统化学习大数据组件，从基础概念到实战应用
  • •能力包含：理解大数据架构、掌握核心组件概念、实操关键技能、解决实际业务问题
  • •触发条件：用户询问大数据学习路径、组件选型建议、技术栈规划、问题排查指导

前置准备

  • •基础知识：
    • •Linux系统操作（文件管理、进程管理、Shell脚本）
    • •编程基础（Java/Python/Scala至少一种）
    • •数据库基础（SQL、索引、事务）
    • •网络基础（HTTP/TCP、IP、端口）
  • •学习环境：
    • •虚拟机或云服务器（建议8GB+内存）
    • •Docker环境（可选，便于组件部署）

学习路径

第一阶段：基础层（1-2周）

目标：理解大数据基础架构和Hadoop生态核心组件

  1. •

    大数据概念与架构理解

    • •理解分布式系统基本概念（CAP定理、一致性、可用性、分区容错）
    • •掌握大数据4V特征（Volume、Velocity、Variety、Value）
    • •了解Lambda架构和Kappa架构设计思想
  2. •

    Hadoop生态核心组件

    • •HDFS：分布式文件系统原理、读写流程、副本机制
    • •YARN：资源调度框架、ResourceManager、NodeManager工作原理
    • •MapReduce：编程模型、Map/Reduce阶段、Shuffle过程
  3. •

    Hadoop环境搭建与实操

    • •单机模式、伪分布式、完全分布式环境搭建
    • •HDFS文件操作（上传、下载、查看、删除）
    • •MapReduce任务提交与监控

进阶标志：能够独立搭建Hadoop集群，理解HDFS数据读写流程和YARN资源调度机制

参考资料：见 references/hadoop-ecosystem.md（Hadoop生态详解）

第二阶段：进阶层（2-3周）

目标：掌握分布式计算引擎和数据处理框架

  1. •

    分布式计算引擎

    • •Spark Core：RDD概念、算子操作、DAG调度、内存管理
    • •Spark SQL：DataFrame/Dataset、SQL查询优化、Hive集成
    • •Spark Streaming：微批处理、DStream操作、窗口计算
  2. •

    流式数据处理

    • •Flink架构：DataStream API、窗口机制、时间语义、状态管理
    • •Kafka基础：消息队列概念、生产者/消费者、Topic/Partition
    • •实时计算场景：实时ETL、实时统计、实时预警
  3. •

    数据存储组件

    • •HBase：NoSQL数据库、RowKey设计、数据模型、读写优化
    • •Hive：数据仓库、HQL语法、分区/分桶、UDF开发
    • •ClickHouse：列式存储、SQL优化、聚合查询性能

进阶标志：能够使用Spark/Flink处理TB级数据，理解流批一体架构，设计HBase RowKey

参考资料：

第三阶段：实战层（3-4周）

目标：解决实际业务问题，掌握架构设计和性能优化

  1. •

    数据同步与采集

    • •Sqoop：关系型数据库与Hadoop间的数据传输
    • •DataX：异构数据源同步、离线同步配置
    • •Canal/Flink CDC：实时数据变更捕获、CDC应用场景
  2. •

    数仓建模与架构设计

    • •数仓分层：ODS/DWD/DWS/ADS分层设计
    • •维度建模：星型模型、雪花模型、事实表/维度表设计
    • •数据治理：元数据管理、数据质量、血缘追踪
  3. •

    性能优化与问题排查

    • •Spark性能调优：内存调优、并行度调整、倾斜处理
    • •SQL优化：执行计划分析、索引使用、Join优化
    • •常见问题：OOM、数据倾斜、任务超时、慢查询排查
  4. •

    实战项目

    • •离线批处理：用户行为分析、实时报表生成
    • •实时流处理：实时风控、实时推荐、实时监控
    • •数据湖架构：基于Iceberg/Hudi的湖仓一体实践

进阶标志：能够独立设计数仓分层架构，解决数据倾斜和OOM问题，完成端到端数据处理项目

参考资料：

学习建议

高效学习方法

  • •理论与实践结合：每个组件先理解原理，再动手搭建和编写代码
  • •问题驱动学习：带着实际问题去学习，而不是死记硬背
  • •源码级理解：关键组件阅读核心源码（如Spark的DAGScheduler、HDFS的NameNode）
  • •建立知识体系：用思维导图梳理组件关系和调用链路

常见学习陷阱

  • •陷入工具细节：不要死磕某个组件的所有配置，掌握核心原理即可
  • •缺乏实战项目：只看不做，无法深入理解实际问题
  • •忽视基础知识：直接上高阶组件，没有打好分布式系统基础
  • •孤立学习组件：不理解组件间的协作关系和生态场景

面试高频考点

  • •HDFS读写流程、副本策略
  • •MapReduce Shuffle过程
  • •Spark RDD与DataFrame区别、算子分类
  • •Kafka消息丢失、重复消费解决方案
  • •HBase RowKey设计原则、热点问题处理
  • •数仓分层设计、星型模型vs雪花模型
  • •数据倾斜原因及解决方案
  • •Spark OOM排查与优化

资源索引

必要参考：

注意事项

  • •学习路径按"基础→进阶→实战"顺序推进，不要跳跃式学习
  • •每个阶段建议配合实际动手操作，理论+实践比例建议1:1
  • •遇到问题时，先查阅references中的详细文档，再进行针对性深入
  • •组件版本选择：Hadoop 3.x、Spark 3.x、Flink 1.17+、Kafka 3.x
  • •保持关注技术演进：湖仓一体、流批一体、存算分离等新趋势

使用示例

示例1：初学者询问学习路径

用户："我是Java开发，想转大数据，应该怎么开始？" 执行方式：智能体根据SKILL.md的"学习路径"章节，结合用户Java背景，给出第一阶段学习建议（Hadoop环境搭建、HDFS和MapReduce基础），并提供hadoop-ecosystem.md中的详细参考内容。

示例2：实战问题排查

用户："Spark任务OOM怎么排查？" 执行方式：智能体根据best-practices.md中的性能优化章节，提供OOM排查流程（日志分析、内存参数调优、数据倾斜处理），并给出具体参数调整建议。

示例3：架构设计咨询

用户："设计一个实时用户行为分析系统，应该用哪些组件？" 执行方式：智能体根据实战层的架构设计指导，结合实时流处理场景，推荐Kafka+Flink+ClickHouse技术栈，并引用data-processing.md和data-storage.md中的技术细节。