大数据组件-Hive部署基于MySQL作为元数据存储

在讲解内部实现前，我们再回顾下dn持久化文件几个重要的点： dn可以配置多个目录进行数据块的存储 每个这样的目录中，都会有一个或多个BP目录（BlockPool，后面均简称为BP） 每个BP下存放各自正在写的，已经写完的block文件，以及block的meta文件 block数据块在nn（namenode）中称为block，在dn中称为replica，叫法不同而已。 在dn的实现中，磁盘目录用卷（volume）的概念进行描述，与之对应的是FsVolumeSpi接口和FsVolumeImpl实现类。也就是说配置文件中每个指定的目录，都有一个对应的FsVolumeImpl实例对象。 FsVolume中包含一个BlockPoolSlice的字典，记录该目录下的所有BP信息，即一个BlockPoolSlice对应于一个BP。在BlockPoolSlice中，又以不同的字段分别记录了current、tmp、rbw、finalized等目录的位置。 所有的FsVolumeImpl组成一个列表，封装在FsVolumeList中。FsVolumeList内部还会根据磁盘目录的是否可用分别存放在不同的列表中。 到这里，所有的磁盘目录信息都已经串联起来了，那么关键的block信息存放在哪了呢？ 所有replica的信息均由ReplicaMap进行维护，这里封装了一个map，以BlockPoolID为Key，保存该BlockPool下的所有replica数据，map表中的value也是一个map表，以BlockID为key，记录replica的详细信息。 另外，ReplicaInfo本身是一个抽象父类，不同的子类分别对应正在写的、已经写完的replica信息，这样就完整的记录了所有的block信息。 FsVolumeList与ReplicaMap封装在FsDataset中，这样就构成了DataNode中所有文件系统数据集的抽象。