Arrow Electronics jugó un papel clave en el desarrollo de la primera unidad de procesamiento direccionable en red de 7 nm (NR1 NAPU) del mundo alojada en el dispositivo de inferencia de IA completo NR1-S de NeuReality, ofreciendo ahora ventajas competitivas en ahorro de costes y energía frente a la arquitectura tradicional centrada en la CPU.
El NR1-S, cuando se combina con aceleradores de IA en un servidor de inferencia de IA, reduce los costes del centro de datos hasta en un 90 por ciento y aumenta la eficiencia energética hasta 15 veces, a la vez que ofrece escalabilidad lineal sin caídas o retrasos de rendimiento a medida que se añaden aceleradores de IA adicionales, según NeuReality.
El diseño desde el principio
Aportando amplias competencias de diseño integrado al proyecto, los expertos internos de Arrow facilitaron orientación sobre el diseño de firmware y hardware, desarrollaron y validaron firmware de administración de energía. Arrow trató también la depuración del microcontrolador (MCU) y los flujos de energía de la plataforma para respaldar el exitoso lanzamiento de NAPU, NR1-S y el software integrado NeuReality, todo realizado en un tiempo récord.
El equipo de Arrow también ayudó a seleccionar la MCU más adecuada para proporcionar el enlace cruzado de la interfaz entre los componentes del sistema de la tarjeta PCIe y el servidor.
La NR1 NAPU es un servidor personalizado en un chip que proporciona el rendimiento completo de cada acelerador de IA especializado desde aproximadamente el 30 por cien actual hasta el 100 por cien de utilización completa, aumentando la producción total y reduciendo el desperdicio de silicio. NAPU no solo migra servicios que incluyen terminación de red, calidad de servicio y procesamiento previo y posterior de datos de IA, sino que también mejora el flujo de datos para el gran volumen y variedad de canalizaciones de IA.
La arquitectura del sistema NeuReality elimina el cuello de botella de rendimiento causado por la arquitectura de sistema tradicional centrada en la CPU en la que se basan hoy todos los sistemas de inferencia de IA y los fabricantes de hardware. Como resultado, el NR1-S aumenta la rentabilidad y la eficiencia energética de la ejecución de canalizaciones de datos de IA de gran volumen y gran variedad: una de las principales preocupaciones financieras en el despliegue de las aplicaciones de IA convencionales y generativas de hoy en día, que requieren mucha energía.
Comentarios de los participantes en el diseño IA
«Nuestra NAPU aborda los principales cuellos de botella que restringen el rendimiento de los aceleradores de IA actuales, como la gestión de la energía y la transferencia de datos de la red al acelerador de IA, normalmente una GPU, FPGA o ASIC», afirmó Eli Bar-Lev, director de hardware de NeuReality. «El respaldo de Arrow con el hardware y el firmware para la gestión de la energía y la ingeniería térmica nos permitió centrar los recursos en una solución completa de inferencia de IA de silicio a software que reducirá las barreras del mercado de IA para gobiernos y empresas de todo el mundo».
«Este emocionante proyecto puede hacer potencialmente que la inferencia de IA empresarial en la nube y en las instalaciones sea más asequible y rápida, aumentando así el acceso a servicios valiosos en diagnóstico por imágenes médicas y sanitarias, banca y seguros, y centros de llamadas y asistentes virtuales impulsados por IA», declaró Vitali Damasevich, director de ingeniería de Europa del Este y del centro de soluciones de ingeniería de EMEA.
