分布式文件存储系统GFS的基础知识

[专门为网吧做的公告系统程序]
分布式文件存储系统GFS的基础知识 https://www./ruanjian/xitong/1178.html
  • 软件大小:1.08MB
  • 更新时间:2020-08-262011-03-04 10:35
  • 软件语言:简体中文
  • 软件授权:免费软件
  • 软件厂商:威盘网
  • 软件类别:其它工具
软件官网:官方网站
应用平台:Win2K,WinXP,Win2003,Vista,Win7
软件评分:8.9
  • 软件介绍
  • 推荐软件
  • 软件截图
  • 网友评论
  • 下载地址
基本简介

GFS是google的散播式文件存储系统,是专为存储海量搜索数据而设计的,2003年提出,是闭源的散播式文件系统。适用于大年夜量的顺序读取和顺序追加,如大年夜文件的读写。重视大年夜文件的持续稳定带宽,而不是单次读写的延迟。

1.GFS的主要架构GFS架构对照简单,一个GFS集群一样平常由一个master、多个chunkserver和多个clients组成。在GFS中,所有文件被切分成多少个chunk,每个chunk拥有独一不变的标识(在chunk创建时,由master认真分配),所有chunk都实际存储在chunkserver的磁盘上。为了容灾,每个chunk都邑被复制到多个chunkserve

2.GFS的功能模块

GFSclient客户端:为利用供给API,与POSIXAPI类似。同时缓存从GFSmaster读取的元数据chunk信息;GFSmaster元数据办事器:治理所有文件系统的元数据,包括敕令空间(目录层级)、造访节制信息、文件到chunk的映射关系,chunk的位置等。同时master还治理系统范围内的各类活动,包括chunk创建、复制、数据迁移、垃圾收受接收等;GFSchunksever存储节点:用于所有chunk的存储。一个文件被瓜分为多个大年夜小固定的chunk(默认64M),每个chunk有全局独一的chunkID。

3.GFS的写入流程

Client向master扣问要改动的chunk在哪个chunkserver上,以及该chunk其他副本的位置信息。

Master将Primary、secondary的相关信息返回给client。

Client将数据推送给primary和secondary;。

当所有副本都确认收到数据后,client发送写哀求给primary,primary各不合client的操作分配序号,包管操作顺序履行。

Primary把写哀求发送到secondary,secondary按照primary分配的序号顺序履行所有操作

当Secondary履行完后回覆primary履行结果。

Primary回覆client履行结果。

由上述可见,GFS在进行写数据时,有如下特征:

GFS在数据读写时,数据流与节制流是分开的,并经由过程租约机制,在跨多个副本的数据写入中,保障顺序同等性;

Master将chunk租约发放给此中一个副本,这个副本称为主副本,由主副本确定chunk的写入顺序,此副本则遵守这个顺序,这样就保障了全局顺序同等性

Master返回客户端主副本和次副本的位置信息,客户端缓存这些信息以备将来应用,只有当主副本所在chunkserver弗成用或返回租约过时了,客户端才必要再次联系Master;

GFS采纳链式推送,以最大年夜化使用每个机械的收集带宽,避免收集瓶颈和高延迟连接,最小化推送延迟;

GFS应用TCP流式传输数据,以最小化延迟。

4.GFS特征得当大年夜文件场景的利用,分外是针对GB级其余大年夜文件,适用于数据造访延时不敏感的搜索类营业中间化架构,只有1个master处于active状态缓存和预取,经由过程在client端缓存元数据,只管即便削减与master的交互,经由过程文件的预读取来提升并发机能高靠得住性,master必要持久化的数据会经由过程操作日志与checkpoint的要领寄放多份,故障后master会自动切换重启。

查看更多+
网友评论
网名:(您的评论需要经过审核才能显示)
软件截图
下载地址网吧公告 1.6有问题? 报错 + 投诉 + 提问
小提示:根据您的网络,手机赌钱网站网址大全_中国赌城最佳在线_信誉好的澳门赌钱网站下载助手已为您匹配到最快的下载点
高速下载器地址
迅雷高速下载
旋风高速下载
电信高速下载
网通高速下载
其他下载地址
湖北电信下载
湖北网通下载
广东电信下载
广东网通下载
浙江电信下载
浙江网通下载
北京电信下载
北京网通下载
江苏电信下载
江苏网通下载
该款软件由用户上传。如有异议,请联系用户后,书面通知本站,我们会在24小时内做出处理。

热门软件

热门关键词

评论回复(您的评论需要经过审核才能显示)X

请简要描述您遇到的错误,我们将尽快予以修正。