此项目是自己在学习Hadoop知识练习的一些小案例的汇总。 主要涉及HDFS的JAVA API操作和MapReduce重要知识点的小练习,包括利用HDFS JAVA API实现读取HDFS中文件、写入数据到HDFS中、删除HDFS中数据、查询HSFS中文件元数据、列出HDFS中文件详细信息等相关的操作,MapReduce程序实现的汇总、求平均数、Jion操作、TopK算法、二次排序、以及自定义InputFormat、OutputFormat和shuflle阶段的一些应用如(自定义Partitioner、合并小文件、MutilpleOutPuts自定义输出等等)。 每个案例都以不同的包区分。 详细说明见Readme.md文件
最近更新: 9年多前