README.md · yangyanghdu/RG-Alluxio2.4.0-Gitee-Version

# Alluxio code analysis

**Written By R.G.沈鸿辉**

**Last revision date：2021.07.21**

**Contact me at：shh-prc@qq.com or WeChat me**

本文档及repo地址：https://gitee.com/rg4sun/rg-alluxio2.4.0-gitee-version

所有后续在线更新请关注仓库

注意：

+ 本repo为理论分析repo，**请不要在此repo上进行代码修改、编译等行为（添加代码分析注释除外）**，测试实验请clone最新版本（或者V2.5.0）进行本地测试

## 目前产出的笔记/文档

本节所列文档于2021.07.21进行首次汇总，汇总日志如下

### 文档整理汇总日志

+ 2021.07.21 - 首次汇总，主要为到该日 **RG、XSC、LJ、ZXR** 的文档

### 文档列表

所有的文档均放置于本repo的 `dive-docs` 目录，该目录结构如下：

`divs-doc`

+ `docs` ：汇总存放笔记文档
+ `minds.assests` ：汇总存放思维导图文档
+ `path-generator.py` ：用于获取文档列表的文档路径，按照md语法输出 
+ `path.txt`：上述脚本的输出

**文档按照贡献人罗列，代码注释请直接阅读源码==【注意：代码注释请按照  ` [你的代号]注释正文`  格式进行书写，方便找对应人请教】==**

+ [alluxio.emmx](./dive-docs/minds.assests/alluxio.emmx)  — alluxio模块拆分导图

#### RG

官网文档梳理

+ [Alluxio概览](https://docs.alluxio.io/os/user/2.5/cn/Overview.html)
+ [Alluxio基本要求](https://docs.alluxio.io/os/user/stable/cn/deploy/Requirements.html)
+ [编译Alluxio源代码](https://docs.alluxio.io/os/user/stable/cn/contributor/Building-Alluxio-From-Source.html)
+ [Alluxio-配置项列表](https://docs.alluxio.io/os/user/stable/cn/reference/Properties-List.html)
+ [Alluxio集成HDFS作为底层存储](https://docs.alluxio.io/os/user/stable/cn/ufs/HDFS.html#%E9%85%8D%E7%BD%AEalluxio)
+ [在集群上独立运行Alluxio](https://docs.alluxio.io/os/user/stable/cn/deploy/Running-Alluxio-on-a-Cluster.html)

导图

+ [RG-AlluxioURI-涉及path统一命名空间.xmind](./dive-docs/minds.assests/RG-AlluxioURI-涉及path统一命名空间.xmind)
+ [RG-cache与inode.xmind](./dive-docs/minds.assests/RG-cache与inode.xmind)
+ [RG-commen.xmind](./dive-docs/minds.assests/RG-commen.xmind)
+ [RG-createFile线.xmind](./dive-docs/minds.assests/RG-createFile线.xmind)
+ [RG-FileInStream相关.xmind](./dive-docs/minds.assests/RG-FileInStream相关.xmind)
+ [RG-inodeBlock验证.xmind](./dive-docs/minds.assests/RG-inodeBlock验证.xmind)
+ [RG-Inode定位FileInfo.xmind](./dive-docs/minds.assests/RG-Inode定位FileInfo.xmind)
+ [RG-openFile线.xmind](./dive-docs/minds.assests/RG-openFile线.xmind)

笔记文档

+ [相关知识储备.pdf](./dive-docs/docs/相关知识储备.pdf)
+ [alluxio-write梳理.pdf](./dive-docs/docs/alluxio-write梳理.pdf)
+ [导图梳理.pdf](./dive-docs/docs/导图梳理.pdf)
+ [alluxio-repo 管理日志.pdf](./dive-docs/docs/alluxio-repo 管理日志.pdf)
+ [【巨详细】Alluxio2.4.1编译记录.pdf](./dive-docs/docs/Alluxio2.4.1编译记录.pdf)
+ ⭐[【保姆级】Alluxio集群搭建.pdf](./dive-docs/docs/Alluxio集群搭建.pdf) 
  + 阅读并实践完成本文档，你会对alluxio系统有个比较全面的感知
  + 集群如果感觉较为复杂，可以看上面的单节点编译文档（也包含了alluxio shell的使用）

其他

+ path-generator.py
+ 本仓库管理相关文档

#### XSC

导图

+ [fileInfo-xsc.xmind](./dive-docs/minds.assests/fileInfo-xsc.xmind)
+ [FileSystemMaster-xsc.xmind](./dive-docs/minds.assests/FileSystemMaster-xsc.xmind)

+ [Master元数据_xsc.xmind](./dive-docs/minds.assests/Master元数据_xsc.xmind)

+ [xsc-client读写文件主线.xmind](./dive-docs/minds.assests/xsc-client读写文件主线.xmind)
+ [xsc-master读写文件主线.xmind](./dive-docs/minds.assests/xsc-master读写文件主线.xmind)
+ [xsc-worker梳理.xmind](./dive-docs/minds.assests/xsc-worker梳理.xmind)

笔记文档

+ [xsc-读文件过程.md](./dive-docs/docs/xsc-读文件过程.md)

#### LJ

导图

+ [fileInfo-lj.xmind](./dive-docs/minds.assests/fileInfo-lj.xmind)
+ [lj-master对文件的操作.xmind](./dive-docs/minds.assests/lj-master对文件的操作.xmind)
+ [lj-worker对block的操作.xmind](./dive-docs/minds.assests/lj-worker对block的操作.xmind)
+ [worker - 驱逐策略及其他.xmind](./dive-docs/minds.assests/worker - 驱逐策略及其他.xmind)
+ [worker底层存储及部分元数据.xmind](./dive-docs/minds.assests/worker底层存储及部分元数据.xmind)
+ [worker快操作及分配策略及视图.xmind](./dive-docs/minds.assests/worker快操作及分配策略及视图.xmind)

笔记文档

+ [alluxio随机驱逐实现.docx](./dive-docs/docs/alluxio随机驱逐实现.docx)
+ [alluxio论文及使用.docx](./dive-docs/docs/alluxio论文及使用.docx)

#### ZXR

笔记文档

+ [Alluxio使用tensorflow.docx](./dive-docs/docs/Alluxio使用tensorflow.docx)
+ [alluxio的rpc.docx](./dive-docs/docs/alluxio的rpc.docx)
+ [Alluxio设置内存大小.docx](./dive-docs/docs/Alluxio设置内存大小.docx)
+ [分布式内存文件系统Alluxio(Tachyon)简介.docx](./dive-docs/docs/分布式内存文件系统Alluxio(Tachyon)简介.docx)
+ [分布式文件存储系统基本架构.docx](./dive-docs/docs/分布式文件存储系统基本架构.docx)

## 特别说明

历史遗留原因，一开始和 lj师姐 商量后，师姐决定后看 v2.4.0，因此我们所有的文档和代码注释（包括本仓库）都是基于2.4.0的。然后在实际编译、搭建集群（这部分请参考我的文档: [【保姆级】Alluxio集群搭建.pdf](./dive-docs/docs/Alluxio集群搭建.pdf) ）使用的是当前最新版本 2.5.0（因为一开始2.4.0因为某些原因无法编译通过），我大致扫过了，核心内容两个版本并没有太大差异。

因此，源码阅读分析仍旧在2.4.0版本上进行，主要去理清其设计逻辑，测试运行使用2.5.0，并不影响后续工作。

### 一个小建议

+ 先将本仓库 clone 到本地

+ 注：本项目为私有repo（为保护当前工作不被实验室以外的人拿到），clone 需要成为repo组成员才可进行

+ 阅读文档，建议先可自行扫一遍文档列表

+ 对alluxio有个大致概念（知道是个啥、干啥用）之后，参考我的编译文档（本地单节点）试着先编译一下，然后熟悉一下alluxio shell命令

+ 熟悉完后，若想为此项目（此repo）进行贡献，请阅读下一小节（`开始之前`）了解本repo团队协作的规则，并联系我加入repo

## 开始之前

### 你们所需要做的事

+ 注册一个Gitee账户：https://gitee.com/signup?from=homepage

+ 把你们的Gitee账户名告之我，我将你们添加到仓库管理者（和之前Github类似）

+ 重新下载最新的来自Gitee的仓库，方法如下：

+ ![image-20210401213629019](README.assets/image-20210401213629019.png)

打开Git Bash

+ 输入以下代码

```shell
    git clone https://gitee.com/rg4sun/rg-alluxio2.4.0-gitee-version.git
    ```

+ 用IDEA打开该工程文件：

+ 点击 update

![image-20210401214207931](README.assets/image-20210401214207931.png)

+ 输入你的gitee账户，完成gitee连接

![image-20210401214252603](README.assets/image-20210401214252603.png)

+ 之后的日常代码更改，和以前用Github的时候一样，具体的代码提交方式请继续阅读下一节

### 协作提交方法

关于 `git pull `的问题:

**==【总结：commit -> pull -> push】==**  请务必按照此流程进行代码提交！！！

+ [git pull和git commit的顺序问题](https://blog.csdn.net/aaaaa1994/article/details/90340224)
+ [Git commit与pull的先后顺序](https://blog.csdn.net/xiaosi_xiaosi/article/details/81336077)
+ [在idea中git提交代码步骤与先commit后pull代码冲突解决](https://blog.csdn.net/tbicf/article/details/81746643)

在IDEA里面，按照 commit->pull->push的操作如下

【如果你的github看不到图片，但又无法翻墙，请参考我[这篇文章](https://blog.csdn.net/qq_41709370/article/details/106282229)直接拉到文末看方法总结)】：

第二步pull的时候按照下面的来：

然后第三步push的时候：

### 版本回退【建议一个人管理】

+ [git本地版本回退与远端版本回退(回滚)](https://blog.csdn.net/tsq292978891/article/details/78965693)
+ [GitHub进行版本回退](https://blog.csdn.net/zzti_erlie/article/details/87189530)
+ [git命令log与reflog的比较](https://blog.csdn.net/u013252047/article/details/80230781)

仓库源代码目前由我（R.G.）在管理，若遇到误删提交覆盖，需要回撤误删的提交，请联系我进行回退，切勿自行回退。

仓库版本日志：

[alluxio-repo 管理日志.pdf](./dive-docs/docs/alluxio-repo 管理日志.pdf)

yangyanghdu/RG-Alluxio2.4.0-Gitee-Version

简介

发行版

贡献者

近期动态

yangyanghdu/RG-Alluxio2.4.0-Gitee-Version .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

yangyanghdu/RG-Alluxio2.4.0-Gitee-Version