Nueva arquitectura chip trae AI desde la nube a tu dispositivo
Combinar la memoria y el procesamiento en la misma capa corta el consumo de energía en la mitad cuando se ejecutan modelos de lenguaje en los teléfonos.
Un paso muy esperado en la industria semiconductora finalmente ha dejado el laboratorio. Una nueva arquitectura combina células de memoria y unidades de procesamiento en la misma capa, reduciendo enormemente los datos de movimiento de energía gastados dentro del chip.
Según las pruebas del fabricante, un modelo de lenguaje de tamaño mediano utiliza casi la mitad de la energía en este chip como en la generación anterior. Esto abre el camino para las características de IA sin conexión en los teléfonos y portátiles.
¿Por qué importa?
La mayoría de las características de AI se ejecutan hoy en centros de datos remotos. Los modelos de dispositivos reducen la latencia y mantienen datos personales en el dispositivo.