Учитесь тратить токены в ллм

Сейчас многие учатся экономить токены: как уложиться в подписку за 20 долларов и всё равно приносить пользу. Ставят разные MCP, скиллы, чтобы не сжирать 20 долларов за раз. Мне кажется, это достаточно тупиковая сейчас задача. Гораздо важнее научиться с пользой тратить десять подписок по 200 долларов.

На первый взгляд классно: приносить кучу пользы за 20 долларов, но приносить кучу пользы за 10×200 долларов перспективней.

Какие к этому есть предпосылки.

Токенов будет больше и дешевле

Прогресс ИИ по скромным прогнозам сохранит рост на удешевление по текущему тренду. Сейчас не менее, чем в 10 раз за год. Через год тот уровень интеллекта, который входит в 200-долларовую подписку сейчас, будет стоит 20 (я думаю, даже меньше, я понимаю, что задачи тоже будут усложняться). И надо готовиться к тому, чтобы уметь извлекать пользу из подешевевшего ИИ.

Проведем мысленный эксперимент. Дадим среднему разработчику пять подписок по 500 долларов на Сол 6.1 (без астры ультрафаст, иначе чит). Сколько из них он с пользой потратит за месяц? Ставлю бутылку вина, что средний разраб не выжрет и одной. У него почти безлимит на одну из лучших на сейчас моделей, а двадцати хороших MR в день всё равно нет. Имхо, этому стоит учиться уже сейчас.

Дело не только в объёме задач, но и в сложности. Сможет ли кто-то у вас в компании автономно переписать большой продукт на раст, имея десять подписок на клод? Не пофайлово в течение двух лет, а так: настроить агентов, оркестрацию, сборку, приёмку и тестирование, чтобы опус неделю пошуршал и выдал рабочую сборку не хуже текущей. И чтобы её было не страшно отдать клиенту.

Я не говорю, что переписывать надо. Я спрашиваю, готовы ли мы все к этому.

Узкое место — не написание кода

Я вижу как многие вокруг думают, что с ИИ главный фокус — написать хороший кода. С этим проблемы нет, это не жрет много токенов.

Существенно сложнее — проверить написанное так, чтобы кнопку Merge было не страшно нажать. Чтобы люди брали ответственность за решения внутри, не читая каждую строчку. И пока мы в гитлабе ревьювим код Опуса глазами и проверяем каждую строку, никакого значимого роста не будет.

Пока мы передаем на тестирование письмом в qa-отдел, никакого значимого роста не будет.

Что стоит уже сейчас

Имхо, стоит искать у вас heavy-юзеров (типа Потейто) и давать им ставить эксперименты, проверять что работает, а что нет. 10 подписок на каждого из нескольких человек это не так много, ну ей-богу.

Зато когда токены подешевеют, они вас научат.

Что, мне кажется, стоит пробовать уже сейчас:

  • Авторесёрч для производительности: агент видит метрики и сам их улучшает, как в pi-autoresearch.
  • Длинные воркфлоу на несколько дней: переписать проект на другой язык или перевести продукт со старой дизайн-системы на новую. Хотя бы ради эксперимента.
  • Проактивный мониторинг: агент сам разбирается в проблеме до того, как подключится человек. Автоматически ревьювит и триажит все баги.
  • Автоматический анализ данных: у продакта постоянно висит агент, который копается в хранилище метрик и приносит находки на проверку.

И не обязательно брать только топовые модели. Например, новый дипсик отвечает в целом нормально и очень быстро. Год назад я был бы счастлив получить такую модель безлимитно.

Неужели нет задач, где поможет условно безлимитный дипсик?

А если нет

Может, прогресс замедлится и ничего не случится. Я недостаточно разбираюсь в ЛЛМ, чтобы это предсказать. А если не замедлится?

Отправить
Подписаться на блог…