Ученые создали камеру, которая видит мир "глазами человека"

Традиционные камеры снимают сцены кадр за кадром, чаще всего не имея ничего общего с тем, как наши глаза видят реальность — в виде потока. Однако ученые из Eth Zurich разработали новую камеру "событий", которая снимает происходящее в виде постоянного потока информации. 

Такой сенсор способен делать замедленную съемку со скоростью 5400 кадров в секунду, позволяя создавать недорогие высокоскоростные камеры и повышая качество машинного видения.

Сенсор работает таким образом, что постоянно регистрирует изменения в насыщенности света в сцене. Это не только "экономнее" с точки зрения хранения данных, так как статическая часть сцены не занимает места, но также не теряет информацию между кадрами, в отличие от обычных камер. 

Ирония камеры событий в том, что изобразить "сырые" данные на экране невозможно. Сначала поток необходимо переработать в традиционное видео. Ученые из Eth Zurich натренировали нейросеть при помощи симулированных данных событий вместо того, чтобы пытаться выделить информацию с кадров вручную. После этого они использовали результаты для создания высокоскоростной нейросети для обработки данных с камеры в реальном времени.

В результате они получили улучшение качества на 20% и отображение без задержки. 

Взглянуть на примеры записанных видео можно выше. Пока же технология будет особенно интересна для применения в автопилотах умных машин — они смогут видеть и фиксировать объекты без обработки гигабайтов информации. 

Фото в шапке: Jakob Owens