Idóneo para su uso en dispositivos terminales que requieren interacción inteligente eficiente, el módulo de inferencia LLM ofrece una experiencia de IA fluida y natural sin depender de la nube.
El módulo de inferencia LLM es un módulo integrado de M5Stack para inferencia de modelos de lenguaje grandes sin conexión, diseñado para dispositivos terminales que requieren una interacción inteligente y eficiente, y no pueden garantizar una conexión continua a la nube.
Es idóneo para su uso en hogares inteligentes, asistentes de voz o control industrial, proporciona una experiencia de IA fluida y natural sin depender de la nube, lo que garantiza privacidad y estabilidad.
Además, está integrado con el framework StackFlow y las bibliotecas Arduino/UiFlow, permitiendo implementar funciones inteligentes con sólo unas pocas líneas de código.
Potencia y eficiencia energética
Está basado en un SoC AX630C, integra una NPU de alta eficiencia de 3,2 TOPS con soporte nativo para modelos Transformer, manejando así tareas complejas de IA con facilidad.
Cuenta con 4 GB de memoria LPDDR4 (1 GB disponible para aplicaciones de usuario y 3 GB dedicados a la aceleración por hardware) y 32 GB de almacenamiento eMMC5.1, lo que permite la carga paralela y la inferencia secuencial de múltiples modelos, asegurando una multitarea fluida.
El consumo de energía en tiempo de ejecución del chip principal es de aproximadamente 1,5 W, por lo que resulta altamente eficiente y adecuado para operaciones a largo plazo. Satisface diversas necesidades de aplicación con soporte para interacción por voz y transferencia de datos.
El módulo incorpora un micrófono integrado MSM421A, un controlador de audio AW8737, un altavoz de 8 Ω a 1 W de tamaño 2014 con cavidad, una tarjeta de almacenamiento TF, USB OTG y luz de estado RGB.
Ofrece una expansión flexible: la ranura para tarjeta SD a bordo admite actualizaciones de firmware en frío/caliente, y la interfaz de comunicación UART simplifica la conexión y depuración, garantizando la optimización y expansión continua de las funcionalidades del módulo.
El puerto USB soporta conmutación automática maestro-esclavo, sirviendo tanto como puerto de depuración como permitiendo la conexión a dispositivos USB adicionales como cámaras.
Los usuarios pueden adquirir el kit de depuración LLM para añadir un puerto Ethernet de 100 Mbps y un puerto serie de kernel, usándolo como una SBC.
Compatibilidad y aplicaciones
Este módulo es compatible con múltiples modelos de lenguaje, pero lleva preinstalado el Qwen2.5-0.5B. Ofrece funcionalidades de KWS (palabra de activación), ASR (reconocimiento de voz), LLM (modelo de lenguaje grande) y TTS (texto a voz), con soporte para llamadas independientes o transferencia automática en canalización para un desarrollo conveniente.
El futuro soporte incluye los modelos Qwen2.5-1.5B, Llama3.2-1B e InternVL2-1B, permitiendo actualizaciones en caliente de modelos para seguir las tendencias de la comunidad y abordar diversas tareas complejas de IA.
Las capacidades de reconocimiento visual incluyen soporte para CLIP, YoloWorld y futuras actualizaciones para DepthAnything, SegmentAnything y otros modelos avanzados para mejorar el reconocimiento y análisis inteligente.
Es plug and play con hosts M5, ofreciendo una experiencia de interacción de IA fácil de usar. Los usuarios pueden integrarlo rápidamente en dispositivos inteligentes existentes sin configuraciones complejas, habilitando funcionalidades inteligentes y mejorando la inteligencia del dispositivo.
Además, este producto es adecuado para asistentes de voz sin conexión, conversión de texto a voz, control de hogar inteligente, robots interactivos y más.
Para más información sobre este nuevo módulo de inferencia, puedes utilizar nuestro SERVICIO GRATUITO AL LECTOR, que encontrarás a continuación.
