Драйвер Intel NPU обновляется для работы с большими нагрузками искусственного интеллекта

После недавней работы по включению NPU 5-го поколения Intel в процессорах Panther Lake новая серия обновлений, выпущенная сегодня, содержит ряд улучшений для драйвера нейронного процессора Intel, в том числе возможность обрабатывать большие рабочие нагрузки.

Набор исправлений, опубликованных сегодня для драйвера ускорителя Intel IVPU, удаляет поддержку устаревшего и неиспользуемого механизма копирования, повышает производительность open() за счёт отложенного выделения таблиц страниц MMU, исправляет ошибки обработки и поддерживает более крупные рабочие нагрузки. Возможность выполнения более крупных рабочих нагрузок на Intel NPU обеспечивается за счёт расширения диапазонов адресов VPU.

Сегодняшняя серия исправлений подводит итог следующим образом:

• Убрана поддержка устаревшего и неиспользуемого механизма копирования
• Улучшена производительность open() за счёт отложенного выделения таблиц страниц MMU
• Исправлены ошибки обработки в коде MMU
• Расширены диапазоны адресов VPU для поддержки больших рабочих нагрузок

Механизм копирования NPU был устаревшим в прошивке NPU и больше не поддерживается/не используется. Теперь за все функции механизма копирования отвечает вычислительный механизм.

Что касается обеспечения возможности запуска больших рабочих нагрузок на Intel NPU за счет увеличения диапазона адресов DMA, исправление подводит итог проделанной работе следующим образом:

Увеличиться диапазон адресов DMA до:

• 128 ГБ на 37xx (из-за ограничений MMU)
• 256 ГБ на других поколениях

Объедините диапазоны User и DMA на 40xx и выше, так как можно получить доступ ко всем 256 ГБ как из FW, так и из DMA.

Увеличиться диапазон памяти 37xx с 255 МБ до 511 МБ, чтобы можно было загружать очень большие модели.

IP-адрес Intel NPU 37xx используется в SoC Meteor Lake.

Другое исправление в этой серии перемещает вторичный буфер прерывания в диапазон DMA, чтобы можно было выделить больше очередей команд с буферами прерывания, не выходя за пределы диапазона адресов.

Эти изменения в драйверах Intel IVPU — хорошая новость для тех, кто хочет, чтобы более крупные модели работали с аппаратным обеспечением Intel NPU. Следите за обновлениями, чтобы узнать, когда эти изменения в драйверах Intel NPU будут включены в основное ядро.