常见分布式文件系统大盘点，想了解大数据先从存储开始
发布时间：2022-10-11 11:15:57 所属栏目：大数据 来源：
导读： Lustre
Lustre是一个非常安全，规模很大的分布式文件系统，最早由CFS（Cluster File System Inc.）公司研发，***由CFS、惠普和因特尔三家公司一起与2003年推出***版发布版，发展到现在已经非常成熟。其存
Lustre是一个非常安全，规模很大的分布式文件系统，最早由CFS（Cluster File System Inc.）公司研发，***由CFS、惠普和因特尔三家公司一起与2003年推出***版发布版，发展到现在已经非常成熟。其存
|
Lustre Lustre是一个非常安全，规模很大的分布式文件系统，最早由CFS（Cluster File System Inc.）公司研发，***由CFS、惠普和因特尔三家公司一起与2003年推出***版发布版，发展到现在已经非常成熟。其存储量通常以PB起步，节点支持数也能打到万级。但是其对设备有特殊要求。 HDFS HDFS是Hadoop内置的分布式文件系统，之前也有过介绍。HDFS***的优势就是价格低廉，因此也使用极为广泛。并且其高可靠性，高容错性也让使用者非常信赖。虽然HDFS的存储级别也在PB以上，但是对于小文件过多的情况HDFS不能很好的支持。 QFS QFS和HDFS类似，都是为了解决高效顺序读写大量数据的问题。但是QFS在性能上优于HDFS，读写效率提升综合越60%。现在QFS还比较小众，没有经过大量的使用测试，因此还不能用于大规模的生产环境。 GlusterFS GlusterFS也是一个PB级别的集群文件系统，其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做***的特点就是无中心，不会有单点故障。 Alluxio Alluxio是个基于内存的分布式文件系统，因此其相应速度也会超出普通的分布式文件系统很多，例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的，文档都是中文的，对于被英文文档困扰很久的小伙伴绝对是福音。 Ceph Ceph也是一个没有单点故障的分布式文件系统，Ceph的每个节点上都有一小部分资源用于计算节点的数据信息，从而非常优秀的实现负载均衡。 PVFS PVFS是一个并行虚拟文件系统，他能很好的支持linux上的原声命令和工具大数据存储系统，例如rm、dd、cat等。但是PSFS是单管理节点的，因此存在单点故障，并且在启动后无法灵活的修改。 （编辑：PHP编程网 - 襄阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330434号