1 3 7 - 1 4 4 1 - 9 7 9 7
首页 > 品牌伙伴 > 品牌伙伴详细内容

网站搜刮引擎优化优化HDFS架构

来源:品牌做网站公司 | 作者:品牌做网站公司 | 时间:2022-03-07 | 浏览:1338
字体大小:


HDFS架构。起首,打点聚集上多台盘算机的存储的文件零碎称为散布式文件零碎。HDFS(Hadoop散布式文件零碎)就是个中之一,并且是特地为诸如MapReduce之类的散布式编程框架斥地的文件零碎,用于推行大规模数据措置赏罚。HDFS哄骗就事器/客户端架构,每个HDFS聚集主要由两部门组成,一个是NameNode,另外一个是DataNode。“称号”节点主要节制HDFS文件零碎的称号空间,并保护存储在全数集群中的文件零碎树。与元数据有关的全数就事也由称号节点过程供应,因此它们也称为元数据节点。“称号”节点记载文件名和拆分文件的块列表之间的映射干系,和块和实际零碎之间的对应干系。“称号”节点以快照的方法在本地文件零碎中存储映射干系,并在每次零碎从新启动时在本地加载映像,品牌做网站公司,并获得文件的存储所在。在大大都情况下,称号节点仅自动地接管来自数据节点的哀求,推行其义务并更新。数据节点是实际存储文件的节点,凡是一个物理零碎对应一个数据节点。凡是,不推行数据节点的磁盘阵列备份,由于文件被方案为备份到多个数据节点,而不是一个数据节点上的多个文件。HDFS数据块备份和分发计谋存储一系列数据块,每个文件都在个中别离。除最后一个分段数据块外,分段成文件的全数其他数据块巨细相反。为了前进容错才能,凡是以多份正本备份数据块,同时用户也能够自行设置装备陈设数据块的巨细和备份正本的数目。基于HDFS的哄骗法式能够颠末设置装备陈设文件变动参数,创建数据备份时,用户能够指定块备份的数目或稍后对其停止批改,然则在HDFS中,每个文件一次写入。称号节点会按期在每个数据节点上推行心跳检讨和数据库疾速状态陈诉,以判定哪些数据节点以后可用和哪些数据文件已存储。凡是,假设很长时光未收到数据节点的心跳,则零碎会使它有效并从新启动该节点以规复数据从而从新插足零碎。



免责声明:本文内容由互联网用户自发贡献自行上传,本网站也不承担相关的法律责任。如果您发现本文章中有涉嫌抄袭的内容,请发送邮件至:sales@sznetsoft.com或者至电给本网站进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权的内容。
相关信息
  • QQ好友
  • QQ空间
  • 腾讯微博
  • 新浪微博
  • 人人网
  • 豆瓣网
  • Facebook
  • Twitter
  • linkedin
  • 谷歌Buzz


线

网软通在线


在线客服: 点击这里给我发消息                        

1231.jpg

留言内容