Refrigeración líquida en servidores y centros de datos

Estas semanas voy muy liado y tengo la libreta de entradas pendientes del blog llena… pero no hay manera de sacar un rato para poder escribir algo. Así que como esta semana he estado preparando un presupuesto para un sistema de refrigeración líquida muy potente y me he documentado un poco voy a escribir sobre refrigeración extrema en centros de datos y servidores antes de que se me olvide.

No es que estemos montando ningún centro de datos. Pero teníamos que refrigerar un par de equipos de muy alto rendimiento y a la vez estamos preparando una serie de mejoras para dos empresas (planes a dos años vista) que incluían varias opciones de servidores de diversos tipos… en resumen que cundo me di cuenta llevaba un par de horas sumergido en revisiones de sistemas de refrigeración extrema. Así que vamos a hablar un poco del tema.

Como algunos recordaréis nosotros en los equipos personales siempre éramos partidarios de sistemas de refrigeración por aire. Fijaros en el tiempo verbal de la frase anterior, aunque eso para otras dos entradas que tengo pendientes. Sin embargo ahora para sistemas de alto rendimiento estamos virando hacía la refrigeración líquida.

Cuando estamos montando o diseñando un sistema doméstico el añadir refrigeración líquida no nos causa muchos problemas. Hay que tener en cuenta un mantenimiento futuro, también hay que llevar cuidado a la hora de meter la mano dentro del PC para no tocar los tubos que contienen el refrigerante ni los radiadores… pero no es muy complejo. Y en caso de fallo no se pierde mucho. Pero esto cambia si hablamos de servidores de empresa y sobre todo de servidores apilados en gran número.

En una instalación de servidores de alta densidad la refrigeración líquida puede presentar problemas:

• Si hay un escape de líquido en un solo componente el fallo puede afectar a muchos servidores que estén cerca del afectado
• En caso de tener que ampliar o modificar la configuración de algún equipo hay que tener mucho cuidado a la hora de desconectar y reconectar los sistemas de refrigeración líquida de los equipos que vamos a tocar para no verter ni una gota de líquido.
• El mantenimiento de todo el sistema: bombas, radiadores, tuberías y conexiones ha de ser continuo y no admite ni un fallo. Además de que se complica porque mientras en un PC doméstico tenemos el sistema de refrigeración muy a la vista aquí con equipos tratando de ocupar el mínimo espacio cuesta verlos.
• Las necesidades de refrigeración son muy elevadas y eso obliga a montar sistemas grandes y más complejos

Pero a pesar de estos inconvenientes parece que la refrigeración líquida irá entrando en estos equipos. Sobre todo debido al aumento del consumo de los servidores lo que lleva aparejado más necesidad de refrigeración. Como indican en este entrada de Serverthehome los equipos de este año empiezan a venir con procesadores de más de 300 Watios y acelaradores GPU/IA de más de 600 Watios. Y esos rangos de temperatura empiezan a hacer difícil la refrigeración solo por aire.

Antes de seguir tenemos que apuntar que ahora mismo en muchos sistemas de refrigeración de sistemas de servidores se usa refrigeración líquida. Pero para refrigerar el aire del centro de datos. Lo que vamos a ver ahora es como acercar la refrigeración líquida a los chips de la CPU y la GPU (y puede que también a los chips de ram y disco M.2 conforme estos aumentan de prestaciones y de consumo) para sacar el calor en el lugar donde se genera.

Podemos tener tres sistemas principales:

1. Refrigeración directa en los chips: esto es lo más parecido a lo que vemos en un PC doméstico. Tendríamos intercambiadores de calor en contacto directo con los componentes calientes del servidor. Pero luego las tuberías de líquido deberían ir hacia un sistema centralizado que llevaría el líquido calienta a un radiador compartido por varios servidores. En este enlace también de Serverthehome podéis ver un ejemplo de Gigabyte con este enfoque.
2. Refrigerar el bastidor de los servidores: aquí vamos a un sistema intermedio. Lo que enfriamos con líquido es el bastidor o la caja donde van los servidores. Perdemos el contacto directo con la fuente de calor pero ganamos en versatilidad y facilidad de ampliaciones y modificaciones
3. Sumergir el servidor en el líquido refrigerante: algo que también se ha usado mucho en los sistemas doméstico. Se busca un líquido que no afecte a los componentes digitales y que no interfiera con la electricidad y sumergimos el servidor dentro. Tiene ventajas como la eliminación de problemas de cortocircuitos, pero también complica bastante las ampliaciones y modificaciones. Dentro de este sistema hay cosas intermedias como algunas que han hecho grandes empresas como Microsoft de instalar servidores dentro de un mar frío.

De momento empezamos a ver ya ofertas de sistemas de refrigeración para estos equipos industriales. Incluso algunos fabricantes como nVidia se empiezan a meter en el mercado. Así que es una tendencia que tenemos que seguir con atención. El mundo de los PCs domésticos y el de los grandes servidores se parecen a la hora de implantar soluciones técnicas. Así que si llegan innovaciones a los centros de datos puede que nos venga bien conocerlas en el mundo doméstico para estar preparados.

Además, que a nosotros también nos esperan subidas de temperatura en nuestros equipos de alta rendimiento (basta ver las nuevas gráficas de nVidia y de AMD). Hace un mes montamos dos PCs de alto rendimiento que llegaba a 1.000 watios de consumo real cuando iban al 100%. Esto genera problemas: primero sacar ese calor de dentro de la caja… pero hay que empezar a pensar en sacar ese calor también de la habitación donde está el PC. El otro día un cliente que tuvo la suerte de llevarse uno de estos equipos nos decía que estos días con la ola de calor estaba empezando a pensar en trabajar en remoto contra el PC desde otra habitación.