Ученые создали камеру, которая видит мир "глазами человека"

Ученые создали камеру, которая видит мир "глазами человека"

Традиционные камеры снимают сцены кадр за кадром, чаще всего не имея ничего общего с тем, как наши глаза видят реальность — в виде потока. Однако ученые из Eth Zurich разработали новую камеру "событий", которая снимает происходящее в виде постоянного потока информации. 

Такой сенсор способен делать замедленную съемку со скоростью 5400 кадров в секунду, позволяя создавать недорогие высокоскоростные камеры и повышая качество машинного видения.

Сенсор работает таким образом, что постоянно регистрирует изменения в насыщенности света в сцене. Это не только "экономнее" с точки зрения хранения данных, так как статическая часть сцены не занимает места, но также не теряет информацию между кадрами, в отличие от обычных камер. 

Ирония камеры событий в том, что изобразить "сырые" данные на экране невозможно. Сначала поток необходимо переработать в традиционное видео. Ученые из Eth Zurich натренировали нейросеть при помощи симулированных данных событий вместо того, чтобы пытаться выделить информацию с кадров вручную. После этого они использовали результаты для создания высокоскоростной нейросети для обработки данных с камеры в реальном времени.

В результате они получили улучшение качества на 20% и отображение без задержки. 

Взглянуть на примеры записанных видео можно выше. Пока же технология будет особенно интересна для применения в автопилотах умных машин — они смогут видеть и фиксировать объекты без обработки гигабайтов информации. 

Фото в шапке: Jakob Owens

12 Комментариев

  • А камера-то.... БЛИЗОРУКАЯ!!! :D Давно было интересно когда же уже с помощью железа сымитируют принцип работы глаза человека. Самое стремное, что когда камера фиксировала разные объекты и обводила машины и прочее прямоугольниками, все это выглядело слишком уж похожим на зрение всяких роботов убийц из кина, того-же терминатора к примеру) Только интерфейс красным сделать и все, привет скайнет)

    6
  • На мой взгляд, все же далеко ещё до человеческого глаза, тут отражен лишь один аспект - непрерывность изображения, но и то, непонятно нужно ли оно на самом деле...

    0
  • Уровень зрения Терминатора достигнут. Well done skynet

    0
  • В человеческом зрении изображение прерывно просто журналист в очередной раз изнасилован учёным.

    2
  • @Tirtirich, сигналы от глаз поступают в мозг человека непрерывно.

    1
  • @Cohen, прерывно. Во время саккад мы слепнем, мозг "додумывает"картинку.

    0
  • @issHarlequiN, но это не значит, что сами глаза не видят происходящее в момент микродвижения.

    3
  • Круто, че, за этим должно быть будущее! Как и с традиционными камерами - пока что всё чернобелое и в хреновом качестве, но со временем всё пофиксят)
    @cutefurry, не только это. На 1:30 показали ещё как и у настоящего зрения - отсутствие размытия при движении и нет засвета за окном. В обычной камере снаружи пелена белая, а реально ты прекрасно успеваешь переключаться между светом в помещении и светом снаружи. И на 1:36 тоже самое с небом - оно различимо, видны границы, в том время как в обычной камере сплошной засвет)

    1
  • @Cohen, время релаксации или иначе время синтеза необходимых для светопоглощения веществ как то странно не учитывается. Так же как и то что сетчатка даёт две картинки которые мозгом коллерируются тоже. Матчасть творит чудеса.

    0
  • @Tirtirich, однако это все же не покадровый процесс, как на камерах

    1
  • @Cohen, такой же как на камерах ничем не отличается разве что только процессом считывания.

    0
  • @Cohen, Скорей всего, как при Patht racing, такие же шумы, как и в Path tracing человеческий мозг отфильтровывает, единственное различие это в том, что в человеческом зрении лучи света бросаются на сетчатку глаза, а в Path tracing лучи бросаются от камеры на объекты.

    0
Войдите на сайт чтобы оставлять комментарии.