Я решил проверить, как скиллы влияют на качество дизайна нейросетями.
Будете читать, гляньте на дату поста и даты выхода моделей, через полгода две недели все поменяется.
У меня есть бенчмарк, в котором я проверяю, как разные нейросети дизайнят, см. Recipe scaler bench. В нем я проверяю сами модели (ну и немного харнесы).
А что, если проверять не только голые модели, но и некоторые дизайн-скиллы. Улучшат ли скиллы что, ухудшат ли, как сильно помогут, сделают ли дизайн менее нейрослопным или наоборот превратят в стандартные блоки тильды?
Это были вопросы эксперимента.
Эксперимент был примерно тот же: я дал одну и ту же задачу, в одном и тот же инструменте разным моделям. Результаты без скиллов уже были, я добавил скиллы: попросил применить скилл и выполнить задачу. Скиллы взял все популярные, которые встречаю в ленте или рекомендациях:
В сумме я прогнал 15 дополнительных комбинаций. Пять моделей, три из которых — открытые, а две — коммерческие:
- Дипсик 4.1 флеш 1017,
- ГЛМ-5.3-флеш,
- Минимакс 3.1-флеш,
- Опус 5.5,
- Хайку 5.5.
Всем модели кроме Опуса получили максимально возможный ризонинг, Опус получил xhigh (но даже это в целом не обязательно, вполне хватило бы и high).
Вот сводная таблица, предлагаю вам изучить и сделать выводы самостоятельно, какие-то мысли я напишу ниже.
| Модель | Без скиллов | Frontend Design | Hallmark | Impeccable |
| Opus 5.5 xhigh | 9,0 млн | 10,2 млн (×1,1) | 27,1 млн (×3,0) | 19,8 млн (×2,2) |
| Haiku 5.5 max | 4,1 млн | 18,7 млн (×4,6) | 33,1 млн (×8,1) | 28,6 млн (×7,0) |
| DeepSeek V4.1 Flash 1017 | 14,4 млн | 13,5 млн (×0,9) | 27,1 млн (×1,9) | 15,3 млн (×1,1) |
| GLM 5.3 Flash | 9,7 млн | 14,1 млн (×1,5) | 9,2 млн (×1,0) | 30,1 млн (×3,1) |
| MiniMax M3.1 Flash | 12,2 млн | 11,3 млн (×0,9) | 79,0 млн (×6,5) | 42,4 млн (×3,5) |
Opus 5.5 xhigh
Haiku 5.5 max
DeepSeek V4.1 Flash 1017
GLM 5.3 Flash
MiniMax M3.1 Flash
Наблюдения и выводы
- Жрется больше токенов. Само по себе это не сюрприз, но вот рост до 8,1 раза — сюрприз. У умных моделей рост не такой значительный. В чем рост: скиллы заставляют в том числе проверять свою работу, глупые модели без скиллов и доп. инструкций не проверяли себя, а опус и без скилла все равно перепроверял что наделал, поэтому рост не такой заметный.
- Все скиллы убирают элементы слопа: трехуровневые заголовки, бейджики на любой повод и множество стилей и шрифтов. Почти во всех скиллах есть для этого эксплицитные инструкции и запреты.
- Моделям глупее скиллы помогают, опус скиллы зажимают в рамки так, что результат, по-моему, становится хуже.
- Нет гарантии, что скилл поможет. Один и тот же скилл на одном прогоне одной модели сделал лучше, на другом прогоне другой модели сделал хуже.
- Скилл меняет оформление, но не структуру. Меняются палитра, шрифты и первый экран промостраницы, дже этажи меняются не сильно. Как устроено приложение, решают модель, а не скилл. Скиллы исправляют совсем неудачную верстку, но верстать нормально все равно не помогут.
- Хорошая модель без скилла выигрывает у простой модели со скиллами. Фронтед-скилл сделал опус примитивным, а Импикбл сделал дизайн ради дизайна. Хотите нормально и есть деньги на опус, — возьмите опус.
Скоро будут еще интересные эксперименты на дизайн-бенче, подписывайтесь. Вон тут чуть ниже есть кнопка, добавил туда телеграм-канал @mikeozornin_stream.