Muchos usuarios de IA corren algún modelo en local. Los motivos son variados: experimentación, aprendizaje, ahorro de costes, privacidad… y a todos ellos este nuevo software de Nvidia les puede venir bien, el Nvidia Personal AI Router o PAIR.
Nvidia PAIR conecta el hardware que haya en la red local doméstica que es capaz de usarse para mover modelos de IA en local. Es decir, que si tenemos un Mac Mini (con un M4 o superior) y dos PCs con gráficas RTX Nvidia PAIR puede dividir las tareas de la IA en local entre los tres equipos. Por un lado tendremos más lentitud por el aumento de la latencia de la red local, pero por otro lado el modelo dispone de más hardware y RAM donde ejecutarse.
El programa inicia un descubrimiento de hardware compatible y lo muestra para que decidamos si se comparte o no. Si el usuario del equipo que tenemos dentro de la red de PAIR usa el equipo, PAIR se para para que no se note. Entonces las tareas globales se resentirán, quedará a la espera de que se libere el nodo para volver a emplearlo.
Es capaz de trabajar con Nvidia RTX y DGX y también con Mac. Es curioso observar que han dejado fuera a AMD y a Intel… Es compatible ahora mismo con Ollama y LM Studio.
La idea me gusta. Ahora mismo estoy haciendo algunos experimentos en casa con una RTX 3060 en mi PC. Pero con esto voy a ver si se nota la mejor añadiendo la gráfica más moderna de mi hijo al cluster. Imagino que en una red local de una Pyme también se podría usar. Ahora mismo tenemos varios clientes dándole vueltas a usar herramientas IA, pero que no lo hacen por no conectarse a modelos externo.
Se nota que a Nvidia le sobra el dinero y no para de montar herramientas para reforzar el uso de la IA y sobre todo que compren su hardware.
