La compañía presenta AiSAQ, una solución de búsqueda aproximada de vecinos más cercanos (ANNS) diseñada para bases de datos vectoriales en flujos de trabajo RAG, mejorando el escalado y la eficiencia sin dependencia de DRAM.
KIOXIA anuncia el lanzamiento en código abierto de su nueva tecnología All-in-Storage ANNS with Product Quantization (AiSAQ).
Así, este innovador software optimiza la búsqueda de vecinos más cercanos aproximados (ANNS) mediante el acceso directo a datos indexados en unidades SSD, eliminando la necesidad de utilizar memoria DRAM para el almacenamiento de índices.
Desafíos en la recuperación aumentada (RAG)
La IA generativa requiere grandes volúmenes de almacenamiento, memoria y recursos computacionales. En este contexto, la recuperación aumentada (RAG) es un proceso crítico para mejorar la precisión de los modelos de lenguaje a gran escala (LLM), permitiendo la incorporación de datos específicos de una aplicación o empresa.
Un elemento clave dentro de RAG es la base de datos vectorial, encargada de convertir datos en vectores de características y almacenarlos para su posterior consulta.
Para optimizar este proceso, RAG emplea algoritmos ANNS, los cuales identifican los vectores más relevantes con base en su similitud con los datos objetivo.
Históricamente, estos algoritmos se ejecutaban en DRAM para alcanzar velocidades de búsqueda óptimas, lo que generaba altos costes y limitaciones de escalabilidad.
«La solución AiSAQ de KIOXIA prepara el camino para el escalado casi infinito de las aplicaciones RAG en sistemas de IA generativa basados en unidades SSD flash en el núcleo», dijo Axel Stoermann, vicepresidente y director de tecnología de KIOXIA Europe. «Al utilizar la tecnologíoa ANNS basada en unidades SSD, reducimos la dependencia en la costosa DRAM al tiempo que satisfacemos las necesidades de rendimiento de las principales soluciones en memoria, mejorando considerablemente el rango de rendimiento de las aplicaciones RAG a gran escala».
Beneficios de AiSAQ en bases de datos vectoriales
En principio, la tecnología AiSAQ de KIOXIA propone una solución eficiente y escalable para bases de datos de gran tamaño, reduciendo el uso de memoria y optimizando la velocidad de consulta. Sus principales ventajas incluyen:
- Eliminación de la dependencia de DRAM, permitiendo la ejecución de bases de datos vectoriales sin restricciones de memoria y mejorando el rendimiento de los sistemas RAG.
- Inicio inmediato de bases de datos al no requerir la carga previa de índices en DRAM, facilitando la conmutación entre bases de datos de distintas aplicaciones o usuarios en un mismo servidor.
- Optimización para entornos en la nube, con almacenamiento de índices en sistemas desagregados, permitiendo la compartición de datos entre múltiples servidores. Esto posibilita una gestión dinámica del rendimiento y la rápida migración de instancias de búsqueda entre servidores físicos.
Con la adopción de AiSAQ, KIOXIA ofrece una alternativa escalable y rentable para mejorar la eficiencia en la búsqueda de información en bases de datos vectoriales, facilitando la implementación de sistemas RAG sin comprometer el rendimiento ni los costos operativos.
Si estás interesado, para más información sobre AiSAQ de KIOXIA, puedes dejarnos un COMENTARIO o utilizar nuestro SERVICIO AL LECTOR gratuito, que te pondrá en contacto con el fabricante o distribuidor de este producto.
#KIOXIA #AiSAQ #ANNS #basesdedatosvectoriales #IA #RAG #LLM #almacenamientodesagregado
