使用大数据闪存打造融合数据平台
发布时间：2022-10-13 12:32:31 所属栏目：大数据 来源：
导读： 随着企业、服务提供商和超大型数据中心从描述性分析向预测性和规范性分析演进，结合了融合运营和分析数据管道的融合数据平台变得日益重要。大数据闪存可让数据处理平台快速访问历史数据和实时数据流，从而以较低
|
随着企业、服务提供商和超大型数据中心从描述性分析向预测性和规范性分析演进，结合了融合运营和分析数据管道的融合数据平台变得日益重要。大数据闪存可让数据处理平台快速访问历史数据和实时数据流，从而以较低成本创建有效的预测模型。 随着大数据从描述性分析（批量）向预测性（交互）和规范性（实时）分析演进，企业正在越来越多地使用串流数据源和历史批量数据，以提高机器的学习能力并建立预测模型。简而言之，描述性分析是为了了解事态，预测性分析是为了建立一个假设场景模型，而规范性分析是为了通过采取数据驱动型行动来影响结果。新型分析应用能够在交易发生时实时捕获它，并能影响其结果，从而带来直接的商业效益。这方面的用例包括： 从Lambda架构到SMACK Lambda架构因其融合实时分析和批量分析的能力而深受喜爱。Lambda架构使用HDFS、Scalding和HBASE作为融合实时分析和批量数据管道的构建模块。但是，该架构带来的多管道复制代码和数据的开销，使得其难以大规模部署。 为了克服Lambda架构的局限性，必需配备一个能够有效处理批量和实时串流的大数据管道。全新的SMACK堆栈——Scala及其Spark、Mesos、Akka、Cassandra和Kafka生态系统便旨在实现这一点。SMACK串流已成为一个用于处理批量和串流数据的有效大型平台。 Meosphere的Infinity堆栈或MapR新近发布的Converged Data Platform等解决方案都是Lambda架构的实例。 配备SMACK（Spark、Mesos、Akka、Cassandra和Kafka）堆栈的串流架构 以下是SMARK堆栈的简要介绍： 面向融合数据平台的大数据闪存 为了创建有效的预测模型，融合堆栈系统需要快速访问历史数据和实时数据流。基于闪存的数据网格可为这些新的数据驱动型架构带来巨大效益。 2015年3月，SanDisk闪迪设立了 “大数据闪存”市场类别，推出了InfiniFlash系统，它拥有极高的容量以及卓越的性能和经济性（源于低成本晶圆和全新的闪存尺寸规格）。 事实上，InfiniFlash系统之所以能成为融合数据平台架构的构建模块，其架构和性能起着至关重要的作用： 数据捕获数据处理数据存储数据查询 使用InfiniFlash“大数据闪存”打造数据密集型融合数据平台的三大原因 无论您是企业还是服务提供商，以下是您应该考虑使用InfiniFlash打造融合数据平台的三大原因： 1. 满足捕获、处理、存储和查询数据管道的所有要求 传统的直接附加型存储解决方案和纯HDD解决方案无法提供融合数据平台所需的大规模性能和吞吐量。此外，它们也不具备可扩展性所带来的资本支出和运营支出效益，也不具备这些平台所要求的敏捷性和企业就绪程度。 与传统硬盘相比，InfiniFlash系统的性能是它们的50倍，密度是它们的5倍，可靠性是它们的4倍，而且便于向上和向外扩展，以满足大数据应用的苛刻要求。基于闪存的软件定义数据构造可让用户根据需要灵活选用多种文件系统，其中包括HDFS、Spectrum Scale、Lustre和Ceph。 2. 全球支持 InfiniFlash在全球各地得到了SanDisk闪迪及其合作伙伴的支持。InfiniFlash是TSA Net Support Community的一部分，可确保满足严格的SLA协议要求。与此同时，我们的FlashStart?功能可确保其安装顺利，并提供卓越的客户体验。 3. 同类最佳的生态系统 SanDisk闪迪与众多业内领先的软件开发者和硬件合作伙伴开展合作，通过同类最佳的生态系统获得更多的选择和灵活性。我们的合作伙伴包括： RedhatCeph、Nexenta、ICloudbyte以及思科、联想、戴尔、Supermicro、Quanta等厂商。同时，我们也正与开源社区开展密切合作，并通过我们的各项事业成为贡献者和思想领袖。（欲了解SanDisk闪迪对于开源SCST企业级特性所做出的贡献，请点击此处。） 结语 搭建融合数据平台是为了满足融合运营和分析管道的要求大数据堆栈，以及随后的捕获、处理、存储和查询阶段的存储要求，一个基于大数据闪存的数据构造是融合平台理想的存储层构建模块，可让数据管道的每个阶段都受益。 （编辑：PHP编程网 - 襄阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330434号