快捷搜索:  汽车  科技

fastdfs使用说明(了解下分部式存储利器MINIO吧)

fastdfs使用说明(了解下分部式存储利器MINIO吧)好了,MINIO的原理就讲到这里。至于如何部署,请自行谷歌/百度吧。所谓知其然知,其所以然在使用一个技术前,程序猿们请务必对其原理有个大致的了解,在出现一些故障的时候才能快速解决,同时也可避免踩坑哦。(4)对D重新编码,可得到丢失的编码码(1)假设D1、D4、C2丢失,从编码矩阵中删掉丢失的数据块/编码块对应的行。(图2、3)(2)由于B' 是可逆的,记B'的逆矩阵为 (B'^-1),则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵。 (图4、5)(3)得到如下原始数据D的计算公式 。

在当前日益庞大、繁杂的数据场景下,如何解决非结构化数据:如照片,视频,日志文件,备份和容器VM映像的存储已经是个非常普遍而又急迫的问题。目前较为流行的方案莫过于基于S3协议开发的一系列分部式存储平台。诸如亚马逊AWS-S3、阿里云的OSS都是基于S3协议开发的,这些平台虽然提供了非常可靠完善的文件存储体系,但是并不适合所有的公司,特别是一些创业起步的公司并非需要这么庞大完善的文件系统,而且还会涉及到一些费用和商业机密的问题。

那么如果是创业型的小公司或者由于特殊原因必须自建文件系统的情况,怎么搭建一个可随着业务发展不断演进的分部式文件存储平台呢?minio或许是你不二的选择,这是一款基于S3协议的小而美的分部式文件存储系统。Minio是Apache License v2.0下发布的对象存储服务器。它与大部分基于S3协议构建的云存储服务都可以很好的兼容。非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器、虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。Minio是一个非常轻量的服务 可以很简单的和其他应用的结合,类似 NodeJS Redis 或者 MySQL。

要了解MINIO我们首选需要连接下S3。S3理论上是一个全球存储区域网络 (SAN),它表现为一个超大的硬盘,您可以在其中存储和检索数字资产。通过 S3 存储和检索的资产被称为对象。对象存储在存储段(bucket)中。您可以用硬盘进行类比:对象就像是文件,存储段就像是文件夹(或目录)。与硬盘一样,对象和存储段也可以通过统一资源标识符(Uniform Resource Identifier,URI)查找。例如,在我的硬盘中,我有一个名为 test.pdf 的文件,它位于主目录中名为 documents 的文件夹中。相应的,该 pdf 文件的 URI 为 /home/aglover/documents/test.pdf 。在 S3 中,URI 有一点不同。首先,存储段只能是顶级的 — 无法像嵌套硬盘中的文件夹(或目录)一样进行嵌套。其次,存储段必须遵循 Internet 命名法则;句点旁边没有斜杠,名称不包括下划线等等。最后,由于存储段名称已经是 Amazon 域内的 (s3.amazonaws com) 公共 URI 的一部分,存储段名称必须在所有 S3 中是惟一的。(好消息是每个帐户只能包含 100 个存储段,因此不用担心别人占用了所有的好名字)。

RS最多能容忍m个数据块被删除。 数据恢复的过程如下:

(1)假设D1、D4、C2丢失,从编码矩阵中删掉丢失的数据块/编码块对应的行。(图2、3)

(2)由于B' 是可逆的,记B'的逆矩阵为 (B'^-1),则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵。 (图4、5)

(3)得到如下原始数据D的计算公式 。

fastdfs使用说明(了解下分部式存储利器MINIO吧)(1)

(4)对D重新编码,可得到丢失的编码码

好了,MINIO的原理就讲到这里。至于如何部署,请自行谷歌/百度吧。所谓知其然知,其所以然在使用一个技术前,程序猿们请务必对其原理有个大致的了解,在出现一些故障的时候才能快速解决,同时也可避免踩坑哦。

fastdfs使用说明(了解下分部式存储利器MINIO吧)(2)

猜您喜欢: