{"id":19044,"date":"2022-06-15T09:07:33","date_gmt":"2022-06-15T07:07:33","guid":{"rendered":"https:\/\/changlonet.com\/blog\/?p=19044"},"modified":"2022-06-15T09:08:26","modified_gmt":"2022-06-15T07:08:26","slug":"refrigeracion-liquida-en-servidores-y-centros-de-datos","status":"publish","type":"post","link":"https:\/\/changlonet.com\/blog\/refrigeracion-liquida-en-servidores-y-centros-de-datos\/","title":{"rendered":"Refrigeraci\u00f3n l\u00edquida en servidores y centros de datos"},"content":{"rendered":"<p>Estas semanas voy muy liado y tengo la libreta de entradas pendientes del blog llena\u2026 pero no hay manera de sacar un rato para poder escribir algo. As\u00ed que como esta semana he estado preparando un presupuesto para un sistema de refrigeraci\u00f3n l\u00edquida muy potente y me he documentado un poco voy a escribir sobre refrigeraci\u00f3n extrema en centros de datos y servidores antes de que se me olvide.<\/p>\n<p style=\"text-align: center;\"><img decoding=\"async\" src=\"https:\/\/changlonet.com\/blog\/wp-content\/uploads\/2022\/06\/061522_0707_Refrigeraci1.jpg\" alt=\"\" title=\"\"><\/p>\n<p>No es que estemos montando ning\u00fan centro de datos. Pero ten\u00edamos que refrigerar un par de equipos de muy alto rendimiento y a la vez estamos preparando una serie de mejoras para dos empresas (planes a dos a\u00f1os vista) que inclu\u00edan varias opciones de servidores de diversos tipos\u2026 en resumen que cundo me di cuenta llevaba un par de horas sumergido en revisiones de sistemas de refrigeraci\u00f3n extrema. As\u00ed que vamos a hablar un poco del tema.<\/p>\n<p>Como algunos recordar\u00e9is nosotros en los equipos personales siempre \u00e9ramos <a href=\"https:\/\/changlonet.com\/blog\/refrigeracion-liquida-contra-refrigeracion-por-aire\/\">partidarios de sistemas de refrigeraci\u00f3n por aire<\/a>. Fijaros en el tiempo verbal de la frase anterior, aunque eso para otras dos entradas que tengo pendientes. Sin embargo ahora para sistemas de alto rendimiento estamos virando hac\u00eda la refrigeraci\u00f3n l\u00edquida.<\/p>\n<p>Cuando estamos montando o dise\u00f1ando un sistema dom\u00e9stico el a\u00f1adir refrigeraci\u00f3n l\u00edquida no nos causa muchos problemas. Hay que tener en cuenta un mantenimiento futuro, tambi\u00e9n hay que llevar cuidado a la hora de meter la mano dentro del PC para no tocar los tubos que contienen el refrigerante ni los radiadores\u2026 pero no es muy complejo. Y en caso de fallo no se pierde mucho. Pero esto cambia si hablamos de servidores de empresa y sobre todo de servidores apilados en gran n\u00famero.<\/p>\n<p style=\"text-align: center;\"><img decoding=\"async\" src=\"https:\/\/changlonet.com\/blog\/wp-content\/uploads\/2022\/06\/061522_0707_Refrigeraci2.jpg\" alt=\"\" title=\"\"><\/p>\n<p>En una instalaci\u00f3n de servidores de alta densidad la refrigeraci\u00f3n l\u00edquida puede presentar problemas:<\/p>\n<ul>\n<li>Si hay un escape de l\u00edquido en un solo componente el fallo puede afectar a muchos servidores que est\u00e9n cerca del afectado<\/li>\n<li>En caso de tener que ampliar o modificar la configuraci\u00f3n de alg\u00fan equipo hay que tener mucho cuidado a la hora de desconectar y reconectar los sistemas de refrigeraci\u00f3n l\u00edquida de los equipos que vamos a tocar para no verter ni una gota de l\u00edquido.<\/li>\n<li>El mantenimiento de todo el sistema: bombas, radiadores, tuber\u00edas y conexiones ha de ser continuo y no admite ni un fallo. Adem\u00e1s de que se complica porque mientras en un PC dom\u00e9stico tenemos el sistema de refrigeraci\u00f3n muy a la vista aqu\u00ed con equipos tratando de ocupar el m\u00ednimo espacio cuesta verlos.<\/li>\n<li>Las necesidades de refrigeraci\u00f3n son muy elevadas y eso obliga a montar sistemas grandes y m\u00e1s complejos<\/li>\n<\/ul>\n<p>Pero a pesar de estos inconvenientes parece que la refrigeraci\u00f3n l\u00edquida ir\u00e1 entrando en estos equipos. Sobre todo debido al aumento del consumo de los servidores lo que lleva aparejado m\u00e1s necesidad de refrigeraci\u00f3n. Como <a href=\"https:\/\/changlonet.com\/blog\/refrigeracion-liquida-contra-refrigeracion-por-aire\/\">indican en este entrada de Serverthehome<\/a> los equipos de este a\u00f1o empiezan a venir con procesadores de m\u00e1s de 300 Watios y acelaradores GPU\/IA de m\u00e1s de 600 Watios. Y esos rangos de temperatura empiezan a hacer dif\u00edcil la refrigeraci\u00f3n solo por aire.<\/p>\n<p>Antes de seguir tenemos que apuntar que ahora mismo en muchos sistemas de refrigeraci\u00f3n de sistemas de servidores se usa refrigeraci\u00f3n l\u00edquida. Pero para refrigerar el aire del centro de datos. Lo que vamos a ver ahora es como acercar la refrigeraci\u00f3n l\u00edquida a los chips de la CPU y la GPU (y puede que tambi\u00e9n a los chips de ram y disco M.2 conforme estos aumentan de prestaciones y de consumo) para sacar el calor en el lugar donde se genera.<\/p>\n<p>Podemos tener tres sistemas principales:<\/p>\n<ol>\n<li><strong>Refrigeraci\u00f3n directa en los chips<\/strong>: esto es lo m\u00e1s parecido a lo que vemos en un PC dom\u00e9stico. Tendr\u00edamos intercambiadores de calor en contacto directo con los componentes calientes del servidor. Pero luego las tuber\u00edas de l\u00edquido deber\u00edan ir hacia un sistema centralizado que llevar\u00eda el l\u00edquido calienta a un radiador compartido por varios servidores. En <a href=\"este%20enlace%20tambi\u00e9n%20de%20Serverthehome%20pod\u00e9is%20ver%20un%20ejemplo%20de%20Gigabyte%20con%20este%20enfoque\">este enlace tambi\u00e9n de Serverthehome pod\u00e9is ver un ejemplo de Gigabyte con este enfoque<\/a>.<\/li>\n<li><strong>Refrigerar el bastidor de los servidores<\/strong>: aqu\u00ed vamos a un sistema intermedio. Lo que enfriamos con l\u00edquido es el bastidor o la caja donde van los servidores. Perdemos el contacto directo con la fuente de calor pero ganamos en versatilidad y facilidad de ampliaciones y modificaciones<\/li>\n<li><strong>Sumergir el servidor en el l\u00edquido refrigerante<\/strong>: algo que tambi\u00e9n se ha usado mucho en los sistemas dom\u00e9stico. Se busca un l\u00edquido que no afecte a los componentes digitales y que no interfiera con la electricidad y sumergimos el servidor dentro. Tiene ventajas como la eliminaci\u00f3n de problemas de cortocircuitos, pero tambi\u00e9n complica bastante las ampliaciones y modificaciones. Dentro de este sistema hay cosas intermedias como algunas que han hecho grandes empresas <a href=\"https:\/\/hackaday.com\/2020\/09\/17\/underwater-datacenter-proves-to-be-a-success\/\" target=\"_blank\" rel=\"noopener\">como Microsoft de instalar servidores dentro de un mar fr\u00edo<\/a>.<\/li>\n<\/ol>\n<p>De momento empezamos a ver ya ofertas de sistemas de refrigeraci\u00f3n para estos equipos industriales. Incluso algunos <a href=\"https:\/\/www.servethehome.com\/nvidia-computex-2022-grace-hopper-liquid-cooling-and-jetson-orin-arm\/\" target=\"_blank\" rel=\"noopener\">fabricantes como nVidia se empiezan a meter en el mercado<\/a>. As\u00ed que es una tendencia que tenemos que seguir con atenci\u00f3n. El mundo de los PCs dom\u00e9sticos y el de los grandes servidores se parecen a la hora de implantar soluciones t\u00e9cnicas. As\u00ed que si <a href=\"https:\/\/hackaday.com\/2022\/06\/14\/the-weird-world-of-liquid-cooling-for-datacenters\/\" target=\"_blank\" rel=\"noopener\">llegan innovaciones a los centros de datos<\/a> puede que nos venga bien conocerlas en el mundo dom\u00e9stico para estar preparados.<\/p>\n<p>Adem\u00e1s, que a nosotros tambi\u00e9n nos esperan subidas de temperatura en nuestros equipos de alta rendimiento (basta ver las nuevas gr\u00e1ficas de nVidia y de AMD). Hace un mes montamos dos PCs de alto rendimiento que llegaba a 1.000 watios de consumo real cuando iban al 100%. Esto genera problemas: primero sacar ese calor de dentro de la caja\u2026 pero hay que empezar a pensar en sacar ese calor tambi\u00e9n de la habitaci\u00f3n donde est\u00e1 el PC. El otro d\u00eda un cliente que tuvo la suerte de llevarse uno de estos equipos nos dec\u00eda que estos d\u00edas con la ola de calor estaba empezando a pensar en trabajar en remoto contra el PC desde otra habitaci\u00f3n.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Estas semanas voy muy liado y tengo la libreta de entradas pendientes del blog llena\u2026 pero no hay manera de sacar un rato para poder escribir algo. As\u00ed que como esta semana he estado preparando un presupuesto para un sistema de refrigeraci\u00f3n l\u00edquida muy potente y me he documentado un poco voy a escribir sobre [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":19042,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[8],"tags":[2362,2532,3967],"series":[],"class_list":["post-19044","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-hardware","tag-refrigeracion-liquida","tag-servidores","tag-centros-de-datos"],"_links":{"self":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/posts\/19044","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/comments?post=19044"}],"version-history":[{"count":0,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/posts\/19044\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/media\/19042"}],"wp:attachment":[{"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/media?parent=19044"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/categories?post=19044"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/tags?post=19044"},{"taxonomy":"series","embeddable":true,"href":"https:\/\/changlonet.com\/blog\/wp-json\/wp\/v2\/series?post=19044"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}