Разработчик потратил неделю и три сброса лимитов ИИ на создание виртуальных ягодиц, которые можно шлёпать

Разработчик Dev Ed отчитался о ходе собственного теста генеративных моделей, который он назвал Ass Bench.

Последнюю неделю модель GPT 6 Astra работала в непрерывном цикле, а сам разработчик вмешивался в процесс лишь пару раз в сутки. По его словам, к нынешнему моменту система вышла на уровень высокой детализации.

Идея строится на самоулучшающемся цикле, когда модель раз за разом переоценивает собственный результат и генерирует следующую итерацию с минимальным участием человека.

Такой подход обычно применяют для отладки кода или математических задач, где результат можно проверить автоматически. Здесь же критерием качества выступает субъективная оценка одного человека, что делает затею скорее шуточной, чем методологически строгой.

Я собираюсь оставить эту штуку в самоулучшающемся цикле настолько долго, насколько получится, и посмотреть, куда технология ягодиц придёт через месяц. Будет добавлено много разных стилей, так что в безопасности не будет никто. Даже ты, бабуля.

Прогон обошёлся недёшево. Разработчик сообщил, что израсходовал примерно три полных сброса лимитов на тарифе Pro 20x, то есть исчерпал квоту генераций и дожидался её обновления трижды подряд. Отдельно он отметил, что фильтры безопасности модели срабатывали неоднократно, хотя итоговые ягодицы с физикой всё же удалось получить.

Финансировать дальнейшие прогоны Dev Ed намерен через микроспонсорство. За один доллар любой желающий сможет разместить свой стикер и адрес сайта прямо на ягодицы. Собранные средства пойдут на тестирование других моделей, включая Fable и Gemini.

Публичной ссылки на результаты пока нет, разработчик ограничился обещанием открыть доступ в ближайшее время. Комментарии под записью собрали несколько тысяч реакций, включая отклики от заметных фигур ИИ-сообщества.

Предприниматель Марк Лу предложил довести затею до логического конца и назвал потенциальный результат "персиком за миллион долларов". Часть аудитории отреагировала скептически, указывая на отсутствие какой-либо ценности у сгенерированных ягодиц.

Сам формат отражает более широкую проблему оценки генеративных моделей. Стандартные бенчмарки вроде тестов на логику и код быстро насыщаются, а для визуальных генераторов формальных метрик качества почти не существует.

Пародийные тесты вроде этого работают как напоминание о том, насколько условными остаются нынешние способы сравнения нейросетей между собой.