新闻中心 新闻中心
新闻中心 新闻中心
关于“数据中心”的最强入门科普
日期: 2023-09-26

  小枣君注:前几天介绍“东数西算”的时候,很多同学问到了关于数据中心的问题。今天专门写一篇,与大家交流探讨。

  数据中心,英文缩写叫IDC,也就是Internet Data Center(互联网数据中心)。

  之所以不太直接称之为“DC”,主要是为了尽最大可能避免和直流电(Direct Current)混淆。而且,现在的数据中心普遍都接入互联网,以互联网业务为主,所以,叫“IDC”也更准确。

  从作用上来看,数据中心就是一个超大号的机房,里面有很多很多的服务器,专门对数据来进行集中管理(存储、计算、交换)。

  根据业界机构统计,2020年全球经数据中心处理的数据流量高达15.3ZB(1ZB≈10亿TB),占全球总流量的99.35%。也就是说,几乎所有的互联网数据,不能离开数据中心的处理,由此可见其重要性。

  按现在比较流行的说法,数据中心是像水厂、电厂一样的重要基础设施,是数字化的经济的动力引擎,也是国家和社会持续健康发展的支撑底座。

  上世纪60年代的时候,人类还处于大型机时代。那时,为了存放计算机系统、存储系统和电力设备,人们修建了机房,并将其称为“服务器农场”(Server farm)。

  到了90年代,随着网络的诞生和蒸蒸日上,很多公司开始推行信息化。他们建设自己的网站,还搭建了大量的邮件、FTP、OA办公自动化等服务器。

  有些公司将服务器放在企业内部的机房。也有些公司,因为服务器不多,但又不愿意放在办公室(噪音大、容易断电、安全性低),于是,就“托管”在运营商机房,租用运营商的场地、电力、网络带宽,让对方代为管理和维护。

  于是,数据中心的概念开始逐渐形成。1996年。一家名叫Exodus的美国公司(专门从事机房设施建设和带宽服务),最早提出了“IDC”这个叫法。

  1997年,苹果公司推出了一款名叫“Virtual PC(虚拟PC)”的虚拟机软件。后来,VMWare也推出了现在大名鼎鼎的VMWare Workstation,标志着虚拟机时代的到来,为数据中心的演进打下了基础。

  随着时间推移,第一代数据中心的托管服务开始精细化,从完整的服务器主机托管,延伸出了网站托管,出现了虚拟服务器服务。

  也就是说,在某一台服务器上,通过虚拟服务器软件,虚拟出N个网站主机,出租给N个客户使用。

  除了网站之外,还出现了数据存储空间租用等多样化的服务。这就是IDC数据中心的第二个阶段。

  再往后,到了21世纪初,亚马逊、谷歌等公司提出了云计算,从而将数据中心带入了第三个阶段(云计算阶段),持续至今。

  云计算阶段,是第二阶段的升级演进。它通过虚拟化技术、容器技术,彻底实现了数据中心服务器算力资源的池化。所有的CPU、内存、硬盘等资源,都由更为强大的虚拟化软件管理,然后分配给用户使用。

  从物理硬件出租,进化为虚拟硬件出租,甚至软件平台出租、服务出租。IaaS、PaaS、SaaS,就这样出现在我们面前。

  前面小枣君说了,数据中心就是一个大机房。所以,从硬件种类上来说,数据中心和我们以前常常看到的企业内部机房差不多,只不过规格、档次和管理级别更high level一点。

  主设备,是真正的完成计算和通信功能的设备,也就是以服务器、存储为代表的IT算力设备,以及以交换机、路由器、防火墙为代表的通信设备。

  配套设备,则是为了能够更好的保证主设备正常运作而存在的底层基础支撑设备(也包括一些设施)。

  底层基础支撑设备设施,又分为多种,主要是供配电系统和散热制冷系统,其他的还有消防联动控制系统、监控系统、楼宇管理系统等。

  数据中心最基础的主设备,当然是服务器。服务器其实就等于个高性能计算机,大多数人应该都见过,里面和台式机一样,是CPU、内存、主板、硬盘、显卡(GPU)、电源等。

  以前,服务器大多数都是Intel架构(更早的时候,还有PowerPC、SPARC等)。如今,随国家政策变化,国产CPU崛起,占据慢慢的变多的份额。这些国产CPU采用ARM架构,性价比更高,成本更低。

  一个常见标准机架,高度尺寸通常是42U。U是一种表示服务器外部尺寸的单位,是unit的缩略语,1U等于4.445cm。机架宽度的线mm。

  机架的深度有很多种,包括600mm、800mm、900mm、1000mm、1200mm等。通常来说,IT设备(服务器)机架的深度更深(1100mm或1200mm),而通信设施的深度会浅一些(600mm)。

  现在到处都讲大数据,我们人类产生的数据量每年都在激增,也就增加了对存储设备的数量和性能要求。

  大家应该都知道,现在主流的计算机存储硬盘分为HDD和SSD两种。HDD就是我们传统的机械硬盘,而SSD是逐渐开始普及的固态硬盘。

  SSD属于半导体存储器,存储速率快,体积小,非常受欢迎。但是,它的价格昂贵。对于数据中心来说,出于性价比考虑,HDD仍然是主流选择。而SSD,目前大多数都用在高端客户、高性能需求业务。

  TOR交换机,是数据中心领域的常见名词。顾名思义,就是机架顶部交换机的意思。这类交换机,是数据中心最底层的网络交换设备,负责连接本机架内部的服务器,以及与上层交换机相连。

  事实上,机架交换机并没有说一定要放在机架顶部。它既可以在机架顶部,也可以在机架的中部或底部。之所以通常放在顶部,只是因为这样最有利于内部布线。

  机架再往上,就是一排机架、N排机架。将这些机架与服务器连接起来,就需要数据中心组网技术。

  现在最流行的数据中心组网架构,就是叶脊网络(Spine-Leaf)。我有文章(链接)专门介绍,这里就不废话了。

  值得一提的是,现在数据中心为了高带宽传输数据,广泛使用光纤替代网线。所以,光纤、光模块和光通信设施(OTN等),成为数据中心重要的组成部分。

  尤其是光模块,高速率光模块(例如400G)价格很昂贵,占了数据中心很大一块成本,制约了发展。

  现在还有一个比较流行的光通信名词,叫做DCI,也就是Data Center Inter-connect(数据中心互联)。现在流行分布式部署,数据中心之间的数据流量很大,对带宽要求很高。

  所以,运营商和云服务商就搞DCI,建设数据中心之间专门的光通信骨干网,是很大一块市场。

  我们国家搞的那个“东数西算”,就涉及到数据中心的互联互通,对DCI相关市场有不可忽视的刺激作用。

  数据中心的配电设备,最大的作用就是电能的通断、控制和保护。最主要的配电设备,就是配电柜。

  数据中心配电柜分为中压配电柜和低压配电柜。中压配电柜主要是10kV电压等级,向上接入市电,向下接低压配电柜。低压配电柜主要是400V电压等级,对电能进行进一步的转换、分配、控制、保护和监测。

  除了配电柜之后,为了能够更好的保证紧急状况下的正常供电,数据中心还会配备大量的UPS(不间断电源)甚至柴油发电机组。

  “UPS+市电”是传统的供电方案。现在,更流行的是“HVDC+市电”的方案。

  HVDC是High Voltage Direct Current,高压直流输电。它和UPS之间的区别涉及到较为复杂的强电知识,后续有机会再专门介绍。

  总之,“HVDC+市电”的可靠性和安全性更高,供电效率强于“UPS+市电”,是不间断电源的主流发展趋势。

  有过ICT行业实际从业经验的同学们都知道,服务器这样的IT设备通常是使用220V交流电,而核心网、无线等通信设施则更多使用的是-48V直流电。

  市电供电,一般都是交流。数据中心,一般既会提供-48V直流,也会提供220V交流(通过AC-DC转换和DC-AC逆变转换)。

  事实上,直流现在正成为更多数据中心的选择(例如谷歌),因为直流的损耗更小,对电能的利用率更高,符合现在数据中心高算力下的高能耗发展趋势。

  制冷系统是数据中心除了主设备之外的第二大耗能主体。关于数据中心的耗电数据,我在“东数西算”那篇文章中有详细介绍,这里就不多说了。

  风冷一般都会采用风冷空调系统。和我们家用空调一样,数据中心风冷空调也分为室内机和室外机。相对来说,技术成熟,结构相对比较简单,容易维护。

  液体的导热能力是空气的25倍,一样体积下,液体带走的热量是空气的近3000倍。从噪音角度来看,同等散热水平下,液冷的噪音比风冷降低20-35分贝。从能耗的角度来看,液冷比风冷节约电量30%-50%。

  目前,液冷技术被行业普遍看好,但仍处于探索阶段。从整体看来,液冷的未来市场发展的潜力非常广阔,据称市场规模超过千亿。

  关于制冷和散热,值得一提的是,机柜池级、排级和机柜级等近端制冷方式,正在崛起,成为新建数据中心的主流选择。

  传统的制冷都是房间级,对整个机房进行空调制冷,这样的形式制冷路径太长,效率太低,不足以满足高功耗设备的散热需求,能耗也很大。

  机柜池级、排级和机柜级,是以一个机柜池、一排机柜或者单个机柜为中心,进行散热设计。

  除了配电和散热制冷之外,数据中心还有一些和管理运维有关的设备设施,例如动环监控系统、楼宇自动控制系统、消防联动控制系统等。

  DCIM全名叫做Data Center Infrastructure Management,是知名咨询公司Garter提出来的。它的管理范围更全面,采用工具监控、管理和控制数据中心的所有IT主设备和配套基础设施。

  数据中心的消防联动控制系统比较有意思。因为机房里都是电子设备,所以发生火灾的话,肯定不能直接喷水、泡沫或粉尘。

  出现火灾后,火灾和烟雾传感器的警铃响起,然后,机房区域可以释放氩气、氮气这样的惰性气体,剥夺火焰中的氧气,实现灭火(大约几十秒就能搞定)。

  数据中心是一个庞大的系统,建设过程很复杂繁琐,工期也很长。这些年,为了更快速、更灵活地部署数据中心,厂商推出了模块化数据中心的概念。

  说白了,就是将数据中心的结构系统、供配电系统、暖通系统、消防联动控制系统、照明系统、综合布线等进行集成,变成一个一个的“积木”。然后,将“积木”运送到现场后,进行简单吊装、搭建,就能够实现建设和部署。

  采用这样的形式,大型数据中心的建设周期从18-24个月压缩成了6个月左右,经济效益明显。

  正如我前文所说,数据中心是数字时代重要的信息化基础实施,是算力的重要载体,直接决定了国家的数字竞争力。

  在“东数西算”战略的带动下,国内数据中心将迎来又一波发展热潮。依据数据统计,2022年我国数据中心业务市场规模将达到3200.5亿元,年均复合增长率高达27.0%。2025年,国内数据中心IT投资规模有望达到7070.9亿元。

  除了数量激增之外,数据中心正在向绿色化、智能化的方向发展,积极引入AI人工智能,提升能效,降低运营复杂度。