如何恢复在hdfs中删除的文件 hadoop2.0怎么解决hdfs局限性？
hadoop2.0怎么解决hdfs局限性？
HDFS适用场景
海量数据存储：HDFS可横向扩展，其读取的文件是可以接受PB级别或更高级别的数据存储。
高容错性：数据保存多个副本，副本丢失后自动可以恢复。可统合在廉价的机器上，利用线性扩展。当集群提升新节点之后，namenode也可以不感知，并且负载均衡，将数据清点交接和备份数据均衡到新的节点上。
商用技术硬件：Hadoop根本不必须启动在贵得要命且高可靠的硬件上。它是设计正常运行在商用技术硬件（便宜的东西商业硬件）的集群上的。
大文件存储：HDFS需要数据块的存储数据，将数据物理切组成多个小的数据块。所以才再大的数据，区域分割后，大数据转成了很多小数据。用户读取时，然后再将多个小数据块拼接站了起来。
四次写入一次读取。HDFS是啊,设计成适应适应四次写入文件，一次读出来的场景，且不接受文件的修改。
正因为如此，HDFS比较适合用来做大数据分析的底层存储服务，并不比较适合用处做.网盘等应用，因为，可以修改不方便，延迟大，网络开销大，成本太高。
HDFS不适用场景
肯定不能能够做到低时延数据访问：的原因hadoop因为高数据吞吐量做了优化，代价了声望兑换数据的网络延迟，因此对于更低延迟不能访问数据的业务需求不合适HDFS。
不适合大量的小文件存储：导致namenode将文件系统的元数据存储在内存中，并且该文件系统所能存储的文件总数受限制于namenode的内存容量。参照经验，每个文件、目录和数据块的存储信息总共占150字节。但，如果不是有一百万个小文件，每个小文件都会占一个数据块，那至少要300MB内存。要是是上亿级别的，是会远超当前硬件的能力。
可以修改文件：。HDFS比较适合第二次中写入，过读取数据的场景。相对于上传到HDFS上的文件，不意见直接修改文件。Hadoop2.0虽然意见了文件的答的好功能，但不建议对HDFS上的文件通过修改。因为效率低下.
不允许用户的并行写：相同时间内，没有办法有一个用户负责执行写你的操作。
如何将hdfs里某一目录下的所有文件的文件名读取出来？
默认是从hdfs读取数据文件，也是可以更改sc.textFile(
hdfs 数据存储技术？
数据存储技术HDFS
一、概述
1.1分布式文件系统（DFS）的概念和作用
1.2HDFS总体概述
二、HDFS的查找概念
2.1块
2.2NameNode
2.3SecondaryNameNode
2.4DataNode
三、HDFS体系架构与原理
3.1HDFS体系结构
3.2HDFS高可用机制
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
