大数据常用组件有哪些

在对大数据系统有了初步了解后，要知道大数据系统的架构其实是不一样的，要根据企业各自的需求来选择合适的组件来构建自己的系统，那么常见的组件有哪些呢？它们各自的作用是什么？下面介绍了大数据系统中常用的组件。

1、Hadoop

Hadoop是大数据系统的基础组件，许多其他分布式存储和数据处理组件都建立在它的基础上，它是Apache旗下的一个开源软件平台，还包括HDFS（分布式文件系统）、YARN（运行调度系统）和MapReduce（分布式编程运算框架）。

2、HDFS

HDFS是一个用于存储文件的分布式文件系统，由许多服务器组成，它们连接在一起，为各种分布式计算系统（MapReduce、Spark、tez）提供功能和数据存储。

3、YARN（Yet Another Resource Negotiator），

一个负责作业调度和集群资源管理的资源协调者。

4、MapReduce

这是一个分布式计算编程组件，它将一个算法抽象成两部分，少量的代码可以实现大量数据的并行离线计算。

5、HIVE

这是一个基于大数据技术（文件系统+计算框架）的SQL数据仓库工具，它将结构化的数据文件映射到数据库表中，实现了简单的SQL查询，并可以将SQL语句直接转换为MapReduce任务来执行。

6、Hbase

一个基于Hadoop的分布式海量数据库，一个建立在HDFS上的分布式列数据库。HBASE是Google Bigtable的一个开源实现，但有许多不同之处。