Новая архитектура чипов приносит ИИ из облака на ваше устройство
Сочетание памяти и обработки в одном и том же слое сокращает потребление энергии вдвое при запуске языковых моделей на телефонах.
Долгожданный шаг в полупроводниковой промышленности окончательно покинул лабораторию.Новая архитектура объединяет ячейки памяти и процессоры в одном слое, значительно сокращая энергию, затрачиваемую на перемещение данных внутри чипа.
Согласно тестам производителя, языковая модель среднего размера использует на этом чипе примерно вдвое меньше энергии, чем на предыдущем поколении. Это открывает путь для автономных функций ИИ на телефонах и ноутбуках.
Почему это важно?
Большинство функций ИИ сегодня работают в удаленных центрах обработки данных. Модели на устройстве уменьшают задержку и сохраняют личные данные на устройстве.