宁夏军转干备考资料

首页 > 宁夏军转干考试 > 备考资料

2020军队文职计算机知识:大数据技术之HDFS

未知 | 2020-05-16 11:35

收藏

  如果累了,那就出去走走吧,换换脑子,可能一会儿看题便豁然开朗了,今天还是忙碌而充实的,有人在上班,有人在游戏,有人在学习,相信大家也在紧张的学习,备考长路漫漫,需要大家的耐力,小编也会一直陪大家学习。

  现在业务产生的数据量越来越大,这些数据量已经远远超过了单独一个操作系统的管辖能力,这时需要把这些数据分配到更多的机器上进行管理。但是这又带来一个新的问题,就是分布在多个机器上的文件,非常不方便进行集中的维护和管理。这时迫切需要一种新的系统,能够统一管理和维护多台机器上的文件,这就是分布式文件管理系统的由来。

  HDFS(Hadoop Distributed File System),Hadoop分布式文件系统。首先,HDFS是一个文件系统,用来存储文件,其次,它是分布式的。也就是由很多机器构成的集群共同完成其功能。

  任何系统,我们都有对应的命令来操作哦,HDFS也不例外。下面,就和宁夏华图小编一起来看看HDFS的shell客户端操作。

  基本语法:

  bin/hadoop fs 具体命令

  常用命令:

  1) 启动Hadoop集群

  [root@node1 hadoop-2.7.2]$ sbin/start-dfs.sh

  [root@ node2 hadoop-2.7.2]$ sbin/start-yarn.sh

  1) -help:输出这个命令参数

  [root@node1 hadoop-2.7.2]$ hadoop fs -help rm

  2) -ls: 显示目录信息

  [root@node1 hadoop-2.7.2]$ hadoop fs -ls /

  3) -mkdir:在hdfs上创建目录

  [root@node1 hadoop-2.7.2]$ hadoop fs -mkdir -p /d1/d11

  4) -moveFromLocal从本地剪切粘贴到hdfs

  [root@node1 hadoop-2.7.2]$ touch t1.txt

  [root@node1 hadoop-2.7.2]$ hadoop fs -moveFromLocal ./t1.txt /d1/d11

  5) -appendToFile :追加一个文件到已经存在的文件末尾

  [root@node1 hadoop-2.7.2]$ touch t2.txt

  [root@node1 hadoop-2.7.2]$ vim t2.txt

  输入

  Good morning!

  [root@node2 hadoop-2.7.2]$ Hadoop fs -appendToFile t1.txt /d1/d11/t2.txt

  6) -cat:显示文件内容

  [root@node1 hadoop-2.7.2]$ hadoop fs -cat /d1/d11/t1.txt

  7) -tail:显示一个文件的末尾

  [root@node1 hadoop-2.7.2]$ hadoop fs -tail /d1/d11/t1.txt

  8) -chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限

  [root@node1 hadoop-2.7.2]$ hadoop fs -chmod 666 /d1/d11/t1.txt

  [root@node1 hadoop-2.7.2]$ hadoop fs -chown root:root /d1/d11/t2.txt

  9) -copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去

  [root@node1 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /

  10) -copyToLocal:从hdfs拷贝到本地

  [root@hadoop101 hadoop-2.7.2]$hadoop fs -copyToLocal /d1/d11/t2.txt ./

  11) -cp :从hdfs的一个路径拷贝到hdfs的另一个路径

  [root@node1 hadoop-2.7.2]$ hadoop fs -cp /d1/d11/t1.txt /hello.txt

  12) -mv:在hdfs目录中移动文件

  [root@node1 hadoop-2.7.2]$ hadoop fs -mv /hello.txt /d1/d11/

  13) -get:等同于copyToLocal,就是从hdfs下载文件到本地

  [root@node1 hadoop-2.7.2]$ hadoop fs -get /d1/d11/t2.txt ./

  14) -getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

  [root@node1 hadoop-2.7.2]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt

  15) -put:等同于copyFromLocal

  [root@node1 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /sanguo/shuguo/

  16) -rm:删除文件或文件夹

  [root@node1 hadoop-2.7.2]$ hadoop fs -rm /user/root/test/jinlian2.txt

  17) -rmdir:删除空目录

  [root@node1 hadoop-2.7.2]$ hadoop fs -mkdir /test

  [root@node1 hadoop-2.7.2]$ hadoop fs -rmdir /test

  18) -du统计文件夹的大小信息

  [root@node1 hadoop-2.7.2]$ hadoop fs -du -s -h /user/root/test

  2.7 K /user/root/test

  [root@node2 hadoop-2.7.2]$ hadoop fs -du -h /user/root/test

  1.3 K /user/root/test/README.txt

  15 /user/root/test/aa.txt

  1.4 K /user/root/test/aaa.txt

  19) -setrep:设置hdfs中文件的副本数量

  [root@node1 hadoop-2.7.2]$ hadoop fs -setrep 10 /d1/d11/t1.txt

  小编祝大家早日!更多备考资料及考试信息请关注宁夏华图公众号(ningxiaht)。

 
宁夏华图推荐
 

2020军队文职公告预约2020军转干招考信息

2020军转干备考资料

2020军队文职面授课程2020军队文职网课2020军队文职题库

分享到

微信咨询

微信中长按识别二维码 咨询客服

全部资讯

copyright ©2006-2020 华图教育版权所有