PyTorch тільки що випустив версію 2.0. Великі новини. Світ науки про дані чекав на це оновлення відкритого вихідного коду машинного навчання, і воно нарешті тут.
PyTorch значно зріс з моменту свого першого появи. Версія 2.0? Це досить важливо.
Люди використовують цю платформу скрізь - комп'ютерне бачення, обробка природної мови. Вона тепер належить Фонду Linux. Система пропонує обчислення тензорів з прискоренням за допомогою GPU та нейронні мережі з автоматичним диференціюванням. Tesla Autopilot працює на ній. Так само, як і Pyro. І Transformers. Навіть PyTorch Lightning та Catalyst.
Оновлення 2.0 приносить розкішний новий API Transformer. Схоже, що він створений для того, щоб зробити ці складні моделі Transformer простішими для навчання та розгортання. Але справжня зірка? Нова функція torch.compile. Вона дозволяє моделям PyTorch працювати набагато швидше. Цікаво, що деякі архітектури були повернуті з C++ назад до Python.
Вони також включили TorchInductor - бекенд компілятора для TorchDynamo. Він бере програми PyTorch і робить їх супероптимізованими. Для GPU він створює ці ядра Triton. Вони використовують загальну пам'ять. Паралелізм на рівні варпів. Не зовсім зрозуміло, як це все працює, але це налаштовано для тих модних генеративних AI моделей.
PyTorch також запустив OpenXLA та PyTorch/XLA 2.0. Разом вони створюють стек, який обробляє як навчання, так і висновок. Це має сенс - PyTorch популярний, а XLA має чудові можливості компілятора.
Для великих моделей PyTorch/XLA зосереджується на навчанні з мішаною точністю. Також продуктивність під час виконання. Шардинг моделі. Швидше завантаження даних. Деякі функції вже готові. Інші з'являться пізніше через OpenXLA.
Що з інференсом? PyTorch/XLA прагне відповідати продуктивності Dynamo в PyTorch 2.0. Вони додають підтримку сервісу моделей. Dynamo для розподілених великих моделей. Що до квантизації.
Екосистема розширюється. Більше інтеграції з Hugging Face. Краща підтримка PyTorch Lightning. Користувачі можуть використовувати знайомі API, отримуючи доступ до нових можливостей OpenXLA. Підтримка FSDP у Hugging Face. Квантизація в OpenXLA.
Все з відкритим вихідним кодом. Ви можете допомогти. Повідомляти про помилки. Надсилати запити на злиття. Надсилати RFC на GitHub.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
PyTorch 2.0: Великий стрибок уперед у машинному навчанні
PyTorch тільки що випустив версію 2.0. Великі новини. Світ науки про дані чекав на це оновлення відкритого вихідного коду машинного навчання, і воно нарешті тут.
PyTorch значно зріс з моменту свого першого появи. Версія 2.0? Це досить важливо.
Люди використовують цю платформу скрізь - комп'ютерне бачення, обробка природної мови. Вона тепер належить Фонду Linux. Система пропонує обчислення тензорів з прискоренням за допомогою GPU та нейронні мережі з автоматичним диференціюванням. Tesla Autopilot працює на ній. Так само, як і Pyro. І Transformers. Навіть PyTorch Lightning та Catalyst.
Оновлення 2.0 приносить розкішний новий API Transformer. Схоже, що він створений для того, щоб зробити ці складні моделі Transformer простішими для навчання та розгортання. Але справжня зірка? Нова функція torch.compile. Вона дозволяє моделям PyTorch працювати набагато швидше. Цікаво, що деякі архітектури були повернуті з C++ назад до Python.
Вони також включили TorchInductor - бекенд компілятора для TorchDynamo. Він бере програми PyTorch і робить їх супероптимізованими. Для GPU він створює ці ядра Triton. Вони використовують загальну пам'ять. Паралелізм на рівні варпів. Не зовсім зрозуміло, як це все працює, але це налаштовано для тих модних генеративних AI моделей.
PyTorch також запустив OpenXLA та PyTorch/XLA 2.0. Разом вони створюють стек, який обробляє як навчання, так і висновок. Це має сенс - PyTorch популярний, а XLA має чудові можливості компілятора.
Для великих моделей PyTorch/XLA зосереджується на навчанні з мішаною точністю. Також продуктивність під час виконання. Шардинг моделі. Швидше завантаження даних. Деякі функції вже готові. Інші з'являться пізніше через OpenXLA.
Що з інференсом? PyTorch/XLA прагне відповідати продуктивності Dynamo в PyTorch 2.0. Вони додають підтримку сервісу моделей. Dynamo для розподілених великих моделей. Що до квантизації.
Екосистема розширюється. Більше інтеграції з Hugging Face. Краща підтримка PyTorch Lightning. Користувачі можуть використовувати знайомі API, отримуючи доступ до нових можливостей OpenXLA. Підтримка FSDP у Hugging Face. Квантизація в OpenXLA.
Все з відкритим вихідним кодом. Ви можете допомогти. Повідомляти про помилки. Надсилати запити на злиття. Надсилати RFC на GitHub.