PyTorch 2.0: Большой скачок вперед в машинном обучении

PyTorch только что выпустил версию 2.0. Большие новости. Мир науки о данных ждал этого обновления открытого исходного кода фреймворка машинного обучения, и оно наконец-то здесь.

PyTorch значительно развился с момента своего появления. Версия 2.0? Это довольно важно.

Люди используют эту платформу повсюду - компьютерное зрение, задачи естественного языка. Она теперь находится под управлением Linux Foundation. Система предлагает расчеты тензоров с ускорением GPU и нейронные сети с автоматическим дифференцированием. Tesla Autopilot работает на ней. Так же как и Pyro. И Transformers. Даже PyTorch Lightning и Catalyst.

Обновление 2.0 приносит новый модный API Transformer. Похоже, он предназначен для упрощения обучения и развертывания сложных моделей Transformer. Но настоящая звезда? Новая функция torch.compile. Она позволяет моделям PyTorch работать значительно быстрее. Интересно, что они вернули часть архитектуры на Python из C++.

Они также включили TorchInductor - бэкенд компилятора для TorchDynamo. Он берет программы PyTorch и делает их супероптимизированными. Для GPU он создает эти ядра Triton. Они используют общую память. Параллелизм на уровне варпа. Не совсем понятно, как это все работает, но оно настроено для тех модных генеративных моделей ИИ.

PyTorch также запустил OpenXLA и PyTorch/XLA 2.0. Вместе они образуют стек, который обрабатывает как обучение, так и вывод. Это имеет смысл - PyTorch популярен, а XLA обладает отличными возможностями компилятора.

Для крупных моделей PyTorch/XLA фокусируется на обучении с смешанной точностью. Также производительность во время выполнения. Шардинг модели. Более быстрая загрузка данных. Некоторые функции уже готовы. Другие появятся позже через OpenXLA.

Что насчет вывода? PyTorch/XLA хочет соответствовать производительности Dynamo в PyTorch 2.0. Они добавляют поддержку обслуживания моделей. Dynamo для распределенных больших моделей. Вещи с квантованием.

Экосистема расширяется. Больше интеграции с Hugging Face. Улучшенная поддержка PyTorch Lightning. Пользователи могут использовать знакомые API, получая доступ к новым возможностям OpenXLA. Поддержка FSDP в Hugging Face. Квантование в OpenXLA.

Все открытое. Вы можете помочь. Сообщайте об ошибках. Отправляйте запросы на слияние. Отправляйте RFC на GitHub.