Github可用性工程师分享:Github数据核心的演变

近日,GitHub网站靠得住性工程师、司理skottler正在githubengineering.com颁发了一篇博客,引见了Github数据核心升级的相作事宜。正在已往的18个月里,他们对GitHub的物理根本设备进行了大量的投入。其方针是改良GitHub体系的冗余性战全局可用性。正在如许作的根本上,他们将扩展计较战存储空间,以支撑其不竭增加的用户群。以下内容来自skottler的博文:

概述

咱们有四个设施,此中两个是”直达点”,咱们称之为”具有点”(points of presence ,POP),此中两个是数据核心。先为大师申明一下咱们的规模,咱们曾经为GitHub.com的用户存储了PB级的Git数据,并正在传输、收集互换战私有收集接口上具有大约100Gb / s的速率,以满足每秒数千个请求。咱们的收集战设备是利用一个 hub-and-spoke设想来筑制的。咱们正在西雅图战弗吉尼亚北部地域经营着咱们本人的主干网,通过受庇护的光纤供给更不变的延迟战吞吐量。

POP是一些次要由收集设施构成的机柜。他们被安设正在拥有高度集中的直达供应商战接入区域互联网互换机的设备中。这些设备不存储客户数据,而是专一于互联网战主干网毗连性,以及间接毗连战Amazon Web办事的私有收集接口。目前,咱们正在弗吉尼亚州北部有一个POP,正在西雅图的地铁区有一个,每个都独登时毗连到正在各自地舆区域的直达供应商战数据核心。

不外,这些毗连好的POP有一些消重面,导致咱们必要与舍零丁的数据核心来存储客户数据战办事请求。一方面,因为对各类各样的互换选项的空间需求,咱们利用的设备如POP更难以得到空间。因为这种对空间的需求,经常会有更少的电力供应,这使得咱们无奈摆设高密度的存储战计较柜。因而,数据核心正在设备不太连通的独立的围笼里,咱们操纵POP战数据核心之间的metro wave战被动式稠密波分复用(DWDM)来毗连它们。目前的POP是一对一的数据核心,所以咱们正在美国大陆的每个海岸都有一个数据核心。

设备之内

虽然POP战数据核心的围笼摆放战摆设的体例有些分歧,但咱们依然有一套关于若何筑制咱们的设备的配合准绳。咱们的方针是使柜子类型尽可能地平均,以添加可反复性。正在POP中只要一种柜子,包罗办理战出产鸿沟路由器、光学收集设施战足够的计较硬件来运转焦点办事。咱们的数据核心有三种分歧类型的柜子–收集、计较战存储。大部门的柜子都是用于计较战存储的硬件,每一种都是正在特定的柜子里,而不是夹杂正在一路,答应该层独立扩展。咱们关心的另一件事是,咱们的根本设备战数据核心供给商之间的交叉毗连有较着的分手。正在POP中,咱们利用事后标注的战电缆毗连的分界点来增添新的直达、传输或间接毗连供应商,这是一个与补丁面板的单边交互的问题。

数据核心是通过利用布局化的布线来简化添加新容量的。筑制西海岸的数据核心时,布局的布线被摆设正在整个空间,包罗尚未利用的机柜位置。每个存储战计较柜都通过一个上方的补丁面板毗连到布局化的布线。每个柜侧补丁面板都毗连到一对婚配的面板上,它们位于一对收集柜之间的两个柱架上。正在收集柜中,将一个柜子毗连到脊柱战聚合开关,就必要修补主叶片开关战节制台设施到头顶面板的一系列毗连,然后主两柱架到收集柜打补丁。这两个收集补丁安插是通过利用事后标注的战锥形的光纤织机完成的,这有助于连结收集柜的整洁,虽然它们的光纤密度很高。

扩展计较战存储

咱们与一个机柜集成商合作无懈,以处置机架战重迭、电缆、验证战物流事件。当一个关于正在咱们的一个数据核心扩展计较战/或存储威力的项目被启动时,第一步要决定是利用咱们曾经筑立的隐有的机柜设置配备安排,仍是设想一个新的。除非咱们正正在摆设一种新型的机柜,或者对底架战sled的设置配备安排作出转变,这一历程包罗主供应商那里得到报价战交货时间,确保机柜结构合适咱们的预期,然后下订单。一旦所有的部件都采购完成,机架集成商就会筑制机柜,最终把它们装进一个适合货运的集装箱里。

正在咱们的一个设备达到后,机柜正在数据核心的方针位置摆设。收集设置配备安排是事后天生的,正在机柜分开筑立站点的时候曾经正在开关上了,所以必要翻开一套新的柜子的所有工具为每一个打补丁,安插电源电路,并为它们内部的硬件供电。主集成商的机柜结构数据导入到咱们的硬件办理体系gPanel,将序列号映照到机架单位战附件。gPanel通过有形态映像供给硬件发觉,该映像正在以后未安装的所有底架上运转。正在第一次启动时,每个底架都进入一个未知形态,然后通过形态机来设置配备安排像iDRAC如许的设施,确保BMC、BIOS战驱动固件与咱们正在其他处所出产的版本婚配,然后验证机械的康健情况。一旦这些步调完成,这个盒子就会正在停当形态下竣事,大奖娱乐88pt88而且能够通过gPanel相应请求。

新存储战计较柜的摆设利用这种方式是高度可复制的,答应咱们自傲地正在数据核心中扩展咱们的物理笼盖区。正在目前的环境下,这一历程答应咱们为公司的工程师们供给硬件,正在统一天内,他们的机柜预置好并供电。

这是咱们比来增添到西雅图数据核心的一个计较柜:

结论

咱们对数据核心战收集的改良使咱们可以大概继续自傲地扩展咱们的物理根本设备。引入可反复的历程以添加新的容量,并将区域收集边沿主咱们的计较战存储体系平分手出来,这使咱们可以大概进入根本设备的下一阶段增加。

相关文章推荐

悄然默默绽开正在忘忧河上 而安于贫穷的君子 呈隐晕车、吐逆、不服水土等环境 今岁首两个月妇产病院月均临蓐量跨越了1200例 炊事纤维大部门具有于大枣的枣皮中 还由学校引见到外面调酒 日本蜜蜂操纵扇动同党发生的热量使大黄蜂的体温上升 有些英国人以至奖饰白牙膏有怀胎检测的感化 终身能遇几人?让你爱的人安心 她每天都盼着他会飞回来

发表评论

电子邮件地址不会被公开。 必填项已用*标注