Почему бы не внедрить локальные llm в разработку уже сейчас?

Когда нейросети поджидают тебя буквально за каждым углом, кажется вполне логичным во всю использовать их в работе, встраивать их в процесс разработки везде, где только можно.
Однако, если купить всем сотрудникам подписки Claude, и заставить его плотно использовать, можно оказаться в ситуации, когда ты однажды просыпаешься - а claude недоступен. Новая реальность может оказаться пугающей.
Ну или лайт вариант - теперь он стоит не 2к за базовую подписку, а например 50к.
И это уже очень много раз происходило, прямо скажем это правило можно в рамочку повесить: используя внешние инструменты и интеграции, которые стоят денег - нужно считаться с рисками, связанными с этими интеграциями.
Облачное ПО и возможности, которые дает облако - не совсем ваши. Однажды вы совершенно точно столкнетесь с ситуацией, когда облачный провайдер поднял цену или что-то поменял в условиях.
Ну и уж конечно - с неудобством работы с облаком вы тоже столкнетесь.

Но что если закупиться или арендовать мощности и локально развернуть опенсорсные llm?
https://habr.com/ru/articles/1041422/ - отличная статья на эту тему. Обратите внимание на таблицу в пункте “Какое железо нужно для инференса разных моделей?”. Нам нужен минимум уровень 2 - до 96 гб видеопамяти. В комментариях конечно ломаются копья, потому что цифры спорные. Но это следствие того, что ландшафт меняется чуть ли не ежедневно.
Так сколько же денег надо на одно нормальное рабочее место?
Что-то около 500-600к. На одного человека. Здорово, правда?
А если у вас команда из 50 кодеров например? 25 миллионов. Хорошая цифра? А ведь там ещё нужны зип-комплекты, это все надо где-то поставить, что … непросто.

Может арендовать? 1 машина на селектел с 96 гб ram (GPU Nvidia RTX PRO 6000 96 ГБ GDDR7) стоит 105к в месяц.
Кажется, экономика с локальными llm в компании где много разрабов - не сойдется.

Да и приблизится ли опыт с локальными моделями к облаку с cursor / claude? Кажется, что нет, там другие мощности.
А почему тогда подписка стоит так мало?
Да, у провайдеров есть мультиплексирование и т.п, техники, которые позволяют занимать всю мощность топового железа. Но у них же ещё есть расходы на обучение моделей и т.п.
Я думаю, ответ на вопрос, почему так мало - один. Они играют в долгую. Завтра не останется разработчиков, которые могут кодить без llm. Тогда цена изменится и платить её уже не будет казаться абсурдом.

А ещё скармливать целые проекты вместе с данными вроде ключей доступа и паролей в облако - абсолютно небезопасно.
Доверять облаку выполнять команды локально в окружении - небезопасно вдвойне.
И однажды мы столкнемся с последствиями этого.

Значит ли все это что не нужно пользоваться дешевыми подписками? Нет, не значит. Просто надо доверять им выборочные данные, решать конкретные задачи, а не скармливать весь проект с потрохами.