Эта книга представляет собой практическое руководство по ускорению работы глубоких нейронных сетей (DNN) и больших языковых моделей (LLM). Выходя за рамки закрытых методов «черного ящика», она сочетает новейшие техники – такие как FlashAttention, – с работающим кодом и эмпирическими данными и сокращает разрыв между теорией и практикой. Читатели получат как технические инструменты, так и фундаментальные знания, необходимые для эффективной оптимизации моделей. Ключевые темы: квантизация и низкая точность – с пояснениями, почему она работает; прунинг – известные методы, а также случаи, когда их следует применять; дистилляция – постановка задачи, подходы к дистилляции, выбор модели-ученика, использование генеративных моделей, разбор FitNet; низкоранговая аппроксимация – основы низкоранговых представлений, их применение к сверточным сетям и механизмам внимания; быстрые архитектуры – свертки, быстрые трансформеры, архитектуры на основе преобразования Фурье, методы подсетей, поиск нейросетевых архитектур и сравнение быстрых архитектур с методами сжатия; эффективное обучение – сокращение потребления памяти и арифметика параметров модели. Книга станет ценным источником информации для исследователей, разработчиков, студентов и аспирантов, заинтересованных в детальном изучении современного глубокого обучения.
Формат: PDF от издателя
