Энтузиаст обучил нейросеть тренировать его в теннисе – ИИ анализирует каждый удар на видео с iPhone

Пользователь твиттера measure_plan разработал систему компьютерного зрения, которая анализирует его тренировки по теннису и подсказывает, над чем стоит работать. Для этого достаточно записать занятие на iPhone.

Система определяет скорость мяча, различает удары справа и слева, отслеживает место приземления мяча и положение тела игрока в момент удара. Все результаты можно увидеть прямо на размеченном видео.

Для обработки разработчик использует CV-пайплайн на базе Roboflow Agent: разметку данных автоматизирует Astra 6, обнаружение объектов выполняет дообученная модель RF-DETR, а итоговую разметку видео он делает с помощью Python и OpenCV.

Пока проект находится на ранней стадии. Measure_plan хочет превратить его в приложение, которое будет записывать каждую тренировку, отслеживать прогресс в динамике и давать рекомендации по улучшению техники.

Первые тренировки уже показали практическую пользу системы: посмотрев собственные записи, программист понял, что ему нужно серьезнее работать над движением ног и ударом слева.

В MLB запретили использовать ИИ прямо во время матчей – нейросети подсказывали тренерам тактику

В комментариях ему, впрочем, напомнили, что одних цифр вроде скорости мяча и количества ударов для прогресса недостаточно. Один посоветовал сосредоточиться на работе бедер и технике удара, а другой предложил добавить два показателя: расстояние от игрока до мяча в момент удара и то, насколько рано игрок занимает правильную позицию после отскока.

Measure_plan уже собирается добавить в систему "идеальную зону удара" и сравнивать положение игрока относительно нее. В перспективе это позволит оценивать не только сам удар, но и то, насколько правильно теннисист успел выйти на мяч.