博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HDFS的Java客户端操作代码(查看HDFS下所有的文件存储位置信息)
阅读量:4654 次
发布时间:2019-06-09

本文共 1386 字,大约阅读时间需要 4 分钟。

1.查看HDFS下所有的文件存储位置信息

1 package Hdfs; 2  3 import java.net.URI; 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.fs.BlockLocation; 6 import org.apache.hadoop.fs.FileStatus; 7 import org.apache.hadoop.fs.FileSystem; 8 import org.apache.hadoop.fs.Path; 9 10 public class LocationFile {11     public static void main(String[] args) throws Exception {12         String uri = "hdfs://neusoft-master:9000/user/root/test/demo1";13         Configuration conf = new Configuration();14         try {15             FileSystem fs = FileSystem.get(URI.create(uri), conf);16             Path fpath = new Path(uri);17             FileStatus fileStatus = fs.getFileStatus(fpath);18             BlockLocation[] blockLocations = fs.getFileBlockLocations(19                     fileStatus, 0, fileStatus.getLen());20             int blocklen = blockLocations.length;21             for (int i = 0; i < blocklen; i++) {22                 String[] hosts = blockLocations[i].getHosts();23                 System.out.println("block_" +i+ "_location:" + hosts[0]);24             }25         } catch (Exception e) {26             e.printStackTrace();27         }28     }29 }
HDFS下所有文件存储位置

2.提交jar包,并分析运行结果

3.这里的显示结果:

     block_0_location:neusoft-master

  分别为:块号:主机名,因为HDFS的文件是由Data块完成的,Hadoop中得block块一般64M

Hadoop2中block块为128M。(单独分析block块)

转载于:https://www.cnblogs.com/jackchen-Net/p/6267029.html

你可能感兴趣的文章
“请求/响应”模型
查看>>
【坑】重写一个vector
查看>>
【UOJ 55】志愿者选拔
查看>>
Python -- pandas
查看>>
jQuery 效果 - 淡入淡出
查看>>
目标文件格式
查看>>
瑞士 -- 德语 德国 -- 德语 卢森堡 -- 德语 奥地利 -- 德语 丹麦 -- 丹麦语 挪威 -- 挪威语 爱尔兰 -- 爱尔兰语 荷兰 -- 荷兰语 比利时 -- 荷兰语...
查看>>
背景颜色设置
查看>>
推荐一款帮助负载均衡/DNS轮询服务器组使用的文件同步工具
查看>>
常用的CSS命名规则
查看>>
约数个数定理&约数和定理
查看>>
Oracle EBS数据定义移植工具:FNDLOAD
查看>>
判素数
查看>>
extjs4.1:两个combobox的联动
查看>>
百度地图瓦片工具:定义坐标
查看>>
jmeter控制器--交替控制器
查看>>
hdu 5365 Run
查看>>
[Angular] Configurable NgModules
查看>>
各种类型的段以及段中存储子句的优先级
查看>>
Json返回通用对象,工具类
查看>>