Разработчик собрал приложение для проклятых фото на алгоритме 2007 года и привлек миллионы просмотров

Разработчик под ником measure_plan показал инструмент content-aware масштабирования, созданный, по его собственной формулировке, ради "проклятого редактирования фотографий".

Публикация с деформированными портретами разошлась по социальным сетям, а заявки на доступ к бете завилили энтузиаста. Сейчас приложение работает на iPhone.

В основе лежит seam carving, он же метод швов. Алгоритм ищет в картинке цепочки пикселей с наименьшей значимостью и удаляет либо дублирует их, из-за чего кадр меняет пропорции без равномерного растяжения. Важные фрагменты остаются нетронутыми, а фон и однородные участки схлопываются.

Определением этих важных фрагментов занимаются модели компьютерного зрения. Разработчик задействовал фреймворк Apple Vision и RF-DETR от Roboflow для поиска людей, предметов и ключевых зон снимка. Все вычисления идут локально на самом гаджете, без отправки изображений на сервер.

Настольная версия инструмента показывает набор параметров целиком:

• ползунки ширины и высоты в процентах от оригинала плюс восемь пресетов соотношения сторон от 1:1 до 21:9

• восемь фигур для вписывания кадра, среди которых круг, треугольник, ромб, восьмиугольник, звезда и сердце

• ползунок content-aware от 0 до 100 процентов, где ноль даёт обычное растяжение, а сотня полный seam carving

• режим прямой энергии для более чистых швов и защита телесных оттенков

• инструменты защиты областей, удаления объектов и стирания

Отдельный параметр отвечает за вписывание в фигуру. На максимуме каждая строка пикселей сжимается по контуру, так что объект втягивается внутрь формы вместо обрезки, а на нуле кадр просто отсекается по границе. Экспорт идёт в PNG с сохранением прозрачности.

Качество анализа выбирается отдельно, так как швы просчитываются на уменьшенной копии, тогда как экспорт всегда использует оригинал в полном разрешении. Более высокие настройки заметно увеличивают время расчёта.

Функциональность обрастает дополнениями быстро. Так, разработчик уже добавил режим превращения любого снимка в произвольную фигуру, дав ему шуточное название по имени футболиста, а следом появилась сборка коллажей.

Сам алгоритм новым не назовёшь. Шай Авидан из исследовательской лаборатории Mitsubishi Electric и Ариэль Шамир из междисциплинарного центра в Герцлии представили seam carving аж в 2007 году на конференции SIGGRAPH. Adobe получила неисключительную лицензию и встроила метод в Photoshop CS4 под названием Content Aware Scaling, после чего он появился в GIMP, digiKam и ImageMagick.

Заявку в App Store разработчик уже подал. Версии для Android пока нет, её появление он допускает лишь в будущем, а приглашения в бету раздаёт лично в личных сообщениях.