Зачем запускать модели локально?

Обычно две основные причины - приватность и стоимость
Давайте разберем сторону стоимости на примере и посмотрим, как это считается
Допустим, вы хотите запустить цикл Autoresearch на ночь как @karpathy
Если у вас есть доступ к H100, вы можете запустить 100 экспериментов на ночь, используя Opus-4.6 и стоимость API, вероятно, будет в диапазоне $10-25
Но большинство из нас не настолько удачливы, чтобы иметь доступ к H100
Мы все еще можем запустить 100 экспериментов Autoresearch на MacBook за те же $10-25, но это будет сравнение не вполне корректное
H100 выполнит в 50-100 раз больше шагов обучения за то же самое время
Таким образом, если вы хотите воспроизвести то же количество шагов обучения, вы можете потратить $1000+ на затраты API, и, конечно же, это займет гораздо больше времени, чем одна ночь
Это было бы не очень умно, поскольку вы можете арендовать H100 за намного меньше и выполнить ту же работу быстрее
Но это начинает рисовать картину того, почему вы хотели бы запускать модели локально - это позволяет вам проводить эксперименты, которые иначе были бы финансово непосильны для большинства людей
Это начинает выравнивать игровое поле
Я запускаю Qwen3.5 9B на старом ПК, и теперь имеет смысл экспериментировать с вещами, которые я иначе не стал бы делать, если пришлось бы платить за API
И это большой прорыв, который будет только расширяться со временем, когда модели становятся лучше и меньше