关注公众号
原创

如何学习大数据？（完结）

关于大数据

  • 1991 年，数据仓库改变诞生
  • 2005 年，Hadoop 诞生
  • 2010 年，数据湖的概念出现
  • 201X 年，大数据平台出现
  • 2016 年，阿里提出数据中台的概念

大数据处理框架可以分为：

数据采集：大数据处理的第一步，第一种是通过 Sqoop 或者 Cannal 等工具进行定时抽取或者实时同步；第二种是各种埋点日志，通过 Flume 进行实时收集。

数据存储：大数据处理的第二步，将数据存储到 HDFS 中，实时日志流情况下通过 Kafka 输出给后面的流式计算引擎。

数据分析：大数据的核心环节，包括离线处理和流处理两种方式，对应的计算引擎包括 MapReduce、Spark、Flink 等，处理完的结果会保存到已经提前设计好的数据仓库中，或者 HBase、Redis、RDBMS 等各种存储系统上。

数据应用：数据可视化、工 AI 使用等。

大数据的学习路线

1）语言基础

Java

大数据框架大多采用 Java 语言开发，并且几乎全部的框架都会提供 Java API。

学 Java 的话，不用多说，直接上《Java 程序员进阶之路》网站就 OK 了。

如果想读纸质书的话，推荐《on Java 8》。

Scala

Scala 是一门综合了面向对象和函数式编程概念的静态类型的编程语言，运...

以下内容需要加入二哥编程星球解锁，即刻绑定星球编号解锁🔐
已加入星球，可直接知识星球授权登录
二哥编程星球目前包含：
企业级Agent工作流编排项目PaiFlow
Vibe Coding版本的PaiAgent
派聪明RAG AI知识库Java版本+Go版本
微服务 PmHub、技术派、MYDB
求职派JobClaw（OpenClaw/Hermes架构
PaiCLI（类似Claude Code的Agent
派简历（代码已完成）
等实战项目。

1. 微信扫右侧的优惠券加入知识星球

2. 解锁星球的实战项目教程和源码： 项目源码+教程获取

二哥的星球

真诚点赞 诚不我欺

杠精派
派聪明
0/512

目录