Камера

Прогулка с самодельной ИК-камерой в парке

На хабре эпизодически проскакивают интересные статьи, про то как снимать фотографии в инфракрасном свете. Как правило они связанны с доработкой фотоаппарата, снятием с него ИК-фильтра и установкой дополнительного фильтра видимого света. Для меня эти решения показались достаточно сложными для повторения. Мне хотелось сделать простое и доступное устройство, который может сделать любой, даже школьник, с малым бюджетом. Колхоз-стайл, дёшево, весело и сердито поделка выходного дня.

В чём идея?

Вообще, идея родилась во время очередной посиделки с друзьями, как будут просвечивать различные материалы в различном диапазоне цветов сквозь ткань. Да, да, именно так, если вы понимаете о чём я ;). Но на деле оказалось что смотреть окружающий мир намного интереснее, чем пытаться разглядеть бельё сквозь одежду в ИК лучах (фантазия лучше). Да и как-то стар уже стал для подобных развлечений.

На этой посиделке у нас была камера видеонаблюдения, которая умеет снимать ночью и чувствительна к ИК-диапазону. Она давала отличное разрешение и так бы статья могла бы и не появиться, но у данной камеры не было светофильтра, который бы отсекал видимый свет и оставлял только ИК. В принципе, такой фильтр возможно достать, и те кто задумается повторить подобную поделку, могут его поискать на известных аукционах. Поэтому был выбран немного другой путь это взять инфракрасный детектор валют и переоборудовать его в подобную камеру. Тем более, что там есть всё что нужно для наших целей, и даже дисплей.

Исходники

В качестве основы камеры я купил детектор валют Dors 1000 или другой аналогичный. Его стоимость на досках объявлений до тысячи рублей (~13$), по моему отличная сумма, чтобы поиграться.

Заранее приношу извинения за качество фото в этой главе, снимал на старенький телефон. Сейчас уже нет возможности их переснять заново.


Подопытный детектор валют

Обращаю внимание, что их два типа: с ЭЛТ-экранами и ЖК, при чём, корпус и внешний вид абсолютно одинаковый. Если вы не олдскульщик, как я, то всё же следует выбирать с ЖК, хотя и всё это возможно повторить с ЭЛТ-экраном.


Можно протестировать его на югославских пятидесяти миллиардах, времён гражданской войны.


Почувствуй себя миллиардером


Всё работает

Чтобы было привычно, покажу как выглядят наши деньги.



Ну, всё, приступаем к разборке данного аппарата, вывинчиваем винты и нашему взору представляется огромное количество пустого пространства.


Недра

Кстати, ЖК там цветной, при этом опытным путём было установлено, что у него есть всякие разные кнопки (просто, если повазюкать пальцем по плате, по контакта вылезает цветное меню регулировки яркости). Но, к сожалению, нормальной документации на данный дисплей не нашёл, поэтому как использовать данный функционал не знаю.

Вообще, малиноводам на заметку: это отличный готовый корпус с цветным экраном, к которому можно подключить малину или любой другой одноплатник с композитным видеовыходом. Можно сделать эмулятор приставки, умный будильник, да много чего, места хватит для всего и даже для установки разъёмов джойстиков. Если вы ищите корпус с дисплеем для вашей поделки обратите внимание на данное решение, оно очень дёшево.

Достаю все потроха из этого чудесного корпуса. Сама камера настроена и оптика зафиксирована стопорным винтом, таким образом, чтобы можно было настраивать фокус, надо выкрутить данный винт. Всё, можно теперь не только валюты смотреть, но и даже что-то дома поснимать.




Часы в ИК

Видно, что многих вещей не видать в ИК, а что-то наоборот видать очень хорошо.

Сборка камеры для прогулок

Всё это конечно весело и прикольно, но всё это работает от внешнего блока питания и вообще не имеет функции записи. Фотографировать экранчик забавно и весело, но это не камера. А хочется вести запись, да какую запись снимать полноценное видео, да ещё и таким образом чтобы параллельно писался видимый глазу канал. Суровая задачка, правда? Но решаемая и решается достаточно просто.

Первое инфракрасная камера в данном детекторе, обычная камера, которая даёт композитный чёрно-белый сигнал, который можно писать любой платой видеозахвата. При чём питание камеры 9-12 вольт, с очень небольшим током. Мне удалось запитать её от батарейки типа Крона, а сигнал захватывать простейшим USB видезахватом.


Уже готовая камера для записи

На фото выше видны ИК-светодиоды, которые в нашей поделке не нужны и их нужно будет отключить.

Мне же хотелось ещё оставить дисплей, чтобы прям вживую наблюдать что происходит в ИК-лучах, и в результате в режиме отладки получил вот такое вот устройство. На фото видна плата видеозахвата, материнская плата куда приходит питание, подключается дисплей и камера, и от неё же мы получаем сигнал композитного видеовыхода.



После этого уже можно сделать даже первые испытания и произвести запись того что же происходит. Вот видео самого первого пуска, и самой первой записи на условно самодельную инфракрасную камеру.



После этого все потрошка надо было где-то разместить. Мы помним, что поделка у нас бюджетная, выходного дня, поэтому я просто купил полиэтиленовый сливной тройник 100х40, заглушку 100, и изгиб 40 под 45 градусов и всё разместил в нём. Встроил выключатель в ручку, а к заглушке прикрепил ИК-камеру и обычную WEB-камеру, для записи реального изображение. Дисплей приколхозил сзади на панель, изготовленную из утеплителя. Питание взял от 12 вольтового аккумулятора.


Готовое изделие


Закрепление камер


Закрепление экрана

В условной ручке у меня встроена плата видеозахвата и из устройства выходят три провода: провод питания, USB провод платы захвата и USB-провок WEB-камеры. Места на USB-хаб уже не хватило.

Вообще, вместо дисплея можно было поставить видоискатель, о котором я писал вот тут. Но, мне кажется смотреть через глазок в трубу от унитаза и ходить по улице это выглядит совсем подозрительно, поэтому решил оставить экран, чтобы можно было показать прохожим что же я делаю.

Время испытаний!

После того как всё соорудил, грешно было не сделать видеозаписи результатов. Писал всё с помощью программы OBS. Хоть программа предназначена для видеотрансляций, однако вполне подходит для такого типа задач. Первые съёмки делал съёмки дома, так сказать побегал по квартире, попробовал как же это будет, удобно или нет.



Но дома это всё фигня, каждый может в ночи поснимать на унитазную трубу, ты попробуй на улицу выйди, и чтобы тебя не забрали в дурку. И я, таки, сделал это!



В этой прогулке меня больше всего удивила реакция людей. Представляете себе, некоторый чудак, в камуфляже, ходит со сливной трубой, из которой торчит куча проводов и уходит в рюкзак, с другой стороны он глядит в неё.

Мне кажется, что я больше был похож на сумасшедшего охотника за приведениями, чем на исследователя. Но все было абсолютно всё равно, на меня не обращали никакого внимания, будто таких индивидуумов куча ходит по улицам.


Прогулка с камерой по парку

Меня больше всего удивил необыкновенно белый, снежный, цвет листьев. Это было наиболее непривычно.


То, что я видел на экране

Короче говоря, лучше один раз увидеть, чем тысячу раз прочитать! Людей я всячески старался не снимать, чтобы не было проблем в будущем, если только они случайно не попадали в кадр. Если кто попал, то приношу свои извинения.

Итог

Как по мне, изготовление таких вот штук весело и забавно. Помогает отвлечься от рутины, и развлечься. А если данная поделка принесёт кому-то хоть малейшую пользу, так вообще будет круто! Не бойтесь экспериментировать и творить.

З.. Хочу выразить благодарность всем кто поддерживает мои статьи донатом. Это очень ценно, и даёт понимание того что пишу я не просто так. Большое спасибо!

Есть понимание, что видеокамера, доступная по цене и функционально несложная поможет решить некоторые вопросы как автолюбителей, так и дачников.

В статье не будет затрагиваться этическая сторона вопроса продукта формата DIY (сделай сам) и кому он больше пригодится нарушителям или законопослушным гражданам. Вместо этого, предлагается сконцентрироваться на технической стороне решения, которое наверняка будет интересно в ситуациях, вынесенных в заголовок статьи.

Итак, что будет делать камера, которую предлагается собрать бюджетно и не сильно погружаясь в технические аспекты вопроса.

Алгоритм работы следующий. Камера после включения поднимает соединение через usb 3G модем, соединяется с VPN, мониторит картинку и, при появлении движения на ней, делает фото и, заодно, отправляет фото в телеграм-канал владельца. Из опций возможность записывать timelapse, видео и возможность покрутить головой удаленно, то есть поуправлять камерой и посмотреть что к чему. Нейросетей здесь нет, все достаточно просто.

Будет ли это работать?

Пожалуй будет, так как 1-3 минуты должно хватить, чтобы добежать до авто и с удовлетворением заплатить только штраф; посмотреть, кто же ворует клубнику с грядки и даже повернуть удаленно камеру в его сторону. Даже, если неизвестные снесут камеру или замажут ее, в телеграмме останется фото на память.

Для взыскательных ценителей всего движущегося motion detection можно загрубить, чтобы не фиксировались вздохи деревьев и полет мотылька.


оригинальная ссылка изображения

В качестве софта используется RPi-web-interface.

В общем и целом, проект частично повторят мой схожий проект, ранее описанный в посте здесь.

Отличия, дополнения следующие:

• связь с telegram-каналом (отправка фото на канал),
• 3g связь одновременно с наличием wi-fi,
• обратная связь с камерой через vpn,
• иные изменения в настройках.

Немного скучной предыстории

При разработке прототипа остро встали несколько вопросов:

• как создавать обратную связь с камерой, которая имеет серый динамический ip-адрес,
• как питать, какие нужны батареи, чтобы хватало хотя бы на несколько часов,
• как управлять камерой, так как постоянно подбирать ракурс установки без возможности его поправить в дальнейшем, занятие не слишком интересное.

Первая реализация камеры в части софта имела изобилие костылей.

Изначально все было собрано на raspberry pi 3b с неродной камерой (usb, не csi). В качестве обратной связи использовался skype. Для связи с камерой на нее надо было позвонить.
Через skype. В skype была функция автоответа, после снятия трубки устанавливался канал видеосвязи и можно было посмотреть то, что видела камера. Все просто.

И все просто жутко работало в плане скорости, звук был отвратительным и так далее. Потом skype перестала обновлять пакеты под raspberry. Была попытка продлить жизнь данного изделия с помощью exagear desktop, который эмулировал win и позволял установить такие приложения как icq, viber, teamspeak. Но все это работало крайне медленно и неэффективно. Потом exagear desktop, который был к тому же с платной лицензией (слава богу, единоразовый платеж) свернули и поддержку прекратили.



В плане питания все тоже было не совсем просто. Raspberry pi 3b любила и любит покушать, и powerbankи нужны были с достатком. Были попытки запитать от солнечный панелей, но сразу стало понятно, что этот вариант не подойдет.

Перейдем к текущей реализации, которая также не без греха, но вполне сносно выполняет свои функции.

Основа видеокамеры

В качестве базы, от который оттолкнемся при создании камеры будет та же raspberry pi, только модель zero w (c поддержкой wifi).

Наши комплектующие следующие:

• raspberry pi zero w 1,8 к руб.;
• камера со шлейфом 500 руб.
• сервоприводы sg-90 2шт. 200 руб.
• пластиковый подвес 100 руб.
• блок питания 1000 руб.;
• sd карта на 8, а лучше на 16Гб 1000 руб.;
• 3g modem Huawei E171 2k руб.
• sim карта с пакетом услуг интернет, например от мтс 500 руб.
• переходник с mini-usb на usb для подключения usb 3g модема 200 руб.
• коробка, в которой прислали raspberry pi-бесплатно.

Итого: 7300 руб.
Cхема соединения с сервами подвеса камеры та же, что использовалась ранее

Переходим к настройкам

Не будем далеко отходить от образа (image) с предустановленным Rpi-web-interface, servoblaster, приведенном в ранее опубликованной статье ссылка на образ. Его необходимо будет немного дополнить.

Первое, что настроим это 3g модем



Его настройка после подключения к raspberry во многом повторяет шаги из статьи, опубликованной здесь.

Но в статье много лишних этапов, чтобы, так сказать, прочувствовать модем. Поэтому можно смело начинать настраивать с шага РЕКОННЕКТ ПРИ ДРОПЕ и не выполнять все предыдущие:

$ mkdir ~/3g$ cd ~/3g$ wget http://zool33.uni-graz.at/petz/umtskeeper/src/umtskeeper.tar.gz$ tar -xzvf umtskeeper.tar.gz$ chmod +x umtskeeper$ ./umtskeeper --sakisoperators "USBINTERFACE='0' OTHER='USBMODEM' USBMODEM='12d1:1506' APN='CUSTOM_APN' CUSTOM_APN='internet.mts.ru' APN_USER='mts' APN_PASS='mts'" --sakisswitches "--sudo --console" --devicename 'Huawei' --log --nat 'no'$ sudo nano /etc/rc.local/home/pi/3g/umtskeeper --sakisoperators "USBINTERFACE='0' OTHER='USBMODEM' USBMODEM='12d1:1506' APN='CUSTOM_APN' CUSTOM_APN='internet.mts.ru' APN_USER='mts' APN_PASS='mts'" --sakisswitches "--sudo --console" --devicename 'Huawei' --log --silent --nat 'no' &

*12d1:1506 изменить на свой, который можно узнать через lsusb.
**если модем не стартует, добавить sudo в начале команды.

После настройки модема и редактирования /etc/rc.local будет небольшой баг, так сказать. Несмотря на то, что rc.local запускает при загрузке все указанные в нем скрипты, umtskeeper запускается весьма неспешно. И на старт модема может уйти от 1 минуты до 3. Это может быть критично в некоторых ситуациях. Как с этим бороться, пока не ясно.

Теперь настроим отправку сообщений в telegram канал c raspberry pi



Нам понадобится следующая статья.

Здесь могут возникнуть сложности с настройкой botа в telegram, если нет опыта его создания через Godfather, а также получения токена и API, которые надо отразить в скрипте:

#Telegram detailstokenurl="http://personeltest.ru/aways/api.telegram.org/bot<your API key>"chatid="<your chat id>"

Однако, после настройки, функционал будет работать как часы:


Настройка параметров камеры



По умолчанию в Rpi-web-interface камера при включении мониторинга движения сначала делает снимок, а потом начинает писать потоковое видео. Об этом написано здесь. Вопрос Is it possible to record still images using the RPi Cam Web interface on motion detect?

С одной стороны это удобно, сделала пару фото, оправила в telegram и дальше пишет видео. Но на практике это приводит к подвисанию, так как запись идет пока есть движение в кадре, а в телеграм попадают только первые пару снимков.

Поэтому настройки камеры надо поменять следующим образом:





То вместо ca 1 и ca 0 написать только im in.
Теперь в telegram будут прилетать практически все фото.

Настройка VPN


ссылка на оригинал картинки

Здесь были размышления по поводу нескольких вариантов.

Первый и самый простой купить белый (статический) ip и выходить на камеру без лишних заморочек. Раньше это было возможно у некоторых операторов. Но теперь для мобильного интернета физическому лицу эта опция не доступна. Оформлять ИП или покупать фейковую компанию только ради этого, не выход.

Второй вариант обратный ssh-, vpn- туннель. То есть создается туннель с raspberry pi на существующий собственный vpn сервер. При этом vpn сервер должен иметь белый ip, чтобы raspberry pi до него дотянулась. Неплохой вариант, но тут надо приобретать этот белый ip, пробрасывать порт на роутере, за которым сидит сервер, решать вопрос с падением vpn. Несложно, но хлопотно.

Третий (на нем было решено остановиться) услуга vpn, в частности vpnki.

На сайте предлагается бесплатный 14-дневный период, далее vpn-туннели блокируются, если не приобрести платный пакет услуг:



Сами тарифы не кусаются, а подробные инструкции помогут пройти несложный путь настройки туннелей. Их понадобится минимум два один для raspberry pi, второй для устройства, с которого будет доступ (допустим, телефон на android). В нашем случае для raspberry pi использовался этот вариант настройки.

И вот тут ждет еще один неприятный подводный камень, связанный опять же с rc.local.

Если коротко то модем и vpn конкурируют за соединение ppp0 и в итоге его занимает тот, кто быстрее запустится. Более подробно вопрос описан здесь.

Выход не запускать vpn пока не запустится модем (не установит соединение ppp). Далее вручную поднять vpn через команду

sudo pon vpnki updetach

Опять же здесь не решатся вопрос с падением vpn. *Свое соединение модем (umtskeeper) при падении восстанавливает и сообщения в телеграм приходить будут в любом случае, а вот vpn не оживает. Так что опция покрутить головой может немного хромать при плохой связи со стороны raspberry pi.

На этом все. Есть еще мысли добавить на web-интерфейс сведения о балансе mts и vpn.

Вопросы и предложения приветствуются.

Лет восемь назад работал я в одном а в прочем, не важно где. Делали мы там всякие разные интересные вещи. В том числе занимались системами технического зрения для роботов. Роботы были немного маленькие. И если привод для них маленький сделать не было для нас особой проблемой, то вот сделать миниатюрную цифровую камеру, которая не была бы размером с половину робота, было трудно (когда же мы наконец похороним PAL в таких разработках и везде будет цифра?). Если вам любопытно узнать, чем же всё закончилось, прошу под кат!

Небольшой дисклеймер. С описываемых событий прошло уже достаточно лет, результаты работы не представляют никакого коммерческого интереса (ведь так, товарищ майор?), поскольку повторить полностью сейчас всё это невозможно из-за устаревания элементной базы, теперь можно рассказать, как молодой инженер искал решение проблемы и к чему всё это привело.

Изначально у нас был микропроцессор PXA300, в который втыкался SoC, от тогда еще Aptina, типа MT9D131 (JPEG сразу на параллельном выходе), но всё это потребляло много, а смысла в таком монстре было мало.
Проблема звучала просто робот привязан к компьютеру проводом на 100 мегабит. Оператор должен видеть цветную картинку хотя бы 640х480 в целых 15 FPS. Ставить в него камеру, которая гонит параллельный поток в XScale, в котором потом происходит тупое складывание картинки в буфер и передача кадра по сети, показалось слишком расточительным (ну серьезно, целый линукс на борту только чтобы перекладывать байты из одного интерфейса в другой?). Особенно учитывая целевое разрешение камеры. Нужно было решение проще. Плюс существенные ограничения по габаритам не позволяли поставить даже самый маленький объектив типа М12, он был просто конских размеров вместе с держателем.

Поскольку к описываемому моменту я достаточно поднаторел в разработке систем миниатюрных приводов, необходимость заниматься какой-то камерой немного удручала. Но в то же время неизведанное интриговало. В любом случае, хотелось научиться чему-то новому, особенно учитывая то, что мои предшественники путь, описанный ниже, так и не осилили (правда, тут мог сыграть фактор времени, они занимались этой разработкой парой лет раньше).
В результате творческого поиска меня заинтересовали камеры мобильных телефонов, которые были модульными, стоили как блохи (это выяснилось уже позднее) и теоретически закрывали все наши хотелки. Вопрос был только в том, как такую камеру подключить и получить с неё картинку. Я начал с изучения доступных на рынке мобильных телефонов и конкретно того, какие параметры обеспечивают камеры в них. Сразу стало понятно, что принципиально есть два типа таких камер модули с линзами с гибко-жесткой частью, которые заточены под конкретный конструктив телефона:
,
и модули, вставляющиеся в так называемые кроватки, которые выглядели наиболее перспективно:

реальный модуль,

кроватки на любой вкус.

Также удалось узнать, что есть такая штука как SMIA. Довольно быстро я нашел всю утекшую в сеть документацию на стандарт и стал его изучать. Оказалось, что есть три типоразмера модулей:

и по конструктиву нам подходит самый маленький SMIA65.
Поиск нормальных брендовых камер ни к чему адекватному не привел. Искать такую дичь у китайцев я еще не умел, а нормальные европейцы типа ST хоть и заявляли о том, что производят подобные модули (и даже документацию на которые можно было скачать без регистрации и смс), продавать свободно заинтересованной публике не желали. Обращение в наше представительство ST не помогло, и пришлось продолжать копать.

Слава ремонтникам мобильников! Схемы, платы, фотки! У них есть всё. После изучения документации и сопоставления доступных для покупки телефонов и запчастей выбор пал на камеру от Nokia 5250.
Сферическая нокия в вакууме.

Симбиан, все дела. Я даже качал торрентом какие-то дикие исходники этой чудесной операционки, в попытке найти готовый драйвер для камеры. Но, увы, тогда моих способностей на это не хватило. Опять пришлось копать глубже.

Ох, какой же наивный я был. Это сейчас, пройдя весь путь от и до, я понимаю, что можно было существенно сократить время разработки, заказывая нормальные платы на нормальном производстве (правда, с оплатой тогда потенциально были некоторые проблемы, а ручки чесались сделать здесь и сейчас). Когда там появился JLCPCB или PCBWay? А тогда только ЛУТ на фольге, хлорное железо и два дня на всё про всё.
Signal Integrity? Вы делали гигабитные дифпары на двустороннем миллиметровом текстолите из платана лутом? А я делал. Даже импеданс считал.

0.5\0.2.

Ничо, работало (к сожалению, доступа к осциллографу, которым можно было бы посмотреть глазок, у меня не было). Сделал несколько тестовых плат. Намучился с пайкой. Экспериментировал с паяльной маской, даже сделал несколько плат. Одну успешно запорол, пропаяв её при помощи флюса ТАГС (ха-ха, какая ирония. Сейчас на сайте чипдипа написано про остаточное сопротивление. Эх, эту бы надпись тогда). На той плате ничего нормально не работало, даже источники питания. Между дорожками, которые ну никак не могли быть связаны, всегда присутствовало от десятков до сотен килоом. Причем плату после пайки мыл в семи водах. Поначалу я думал, что что-то успешно спалил. Начал отпаивать источники питания и всякую обвязку. Замыкания не проходили. Кончилось всё тем, что отпаял с платы вообще всё. Замыкания остались. Сделал вывод, что дело во флюсе, который затёк под маску и не вымылся вообще ничем. После этого я перестал делать платы с маской сам и паять их с флюсом ТАГС.

Но камера это еще полбеды. Надо же было чем-то принимать последовательный сигнал и разворачивать его в параллельный, чтобы запихнуть в STM32F217 (BlackFin? Не, не слышали. К моменту описываемых событий я прочно состоял в секте стм-оводов и конфигурил клоки через только появившийся экселевский файлик (кубоводы, привет!)). Да-да, четырехсотых стм-ок тогда еще не было (хорошо, хорошо, они только появились), и я успешно использовал кит от стартеркита на двухсотой серии. Опять же в результате длительного поиска и изучения рынка оказалось, что пути ровно два. Либо брать лэттисовскую плисину, для которой был апноут по преобразованию CSI в PCAM (так и не нашел его из 2012 года у себя в архиве, но точно помню, что был такой), либо покупать STSMIA832 (забавно, ST выпилили свою доку на преобразователь с сайта. У них теперь можно только апноутом разжиться.) и учиться паять BGA. Поскольку пайка была мне ближе и знакомство с потрохами плисов не входило в планы, да и сроки откровенно поджимали, я обзавелся несколькими микросхемами и купил готовые переходники с TFBGA25 в DIP (и да, макет был собран на беспаечной макетке и даже как-то работал).
Собственно, схема десериализатора совершенно банальна (не переживайте, ГОСТом тут и не пахнет, с тех пор я научился рисовать схемы посимпатичнее).

Схема, да.

Видите красные площадки? Это площадки подключения переходника из TFBGA25 в DIP.

Плата.

Но вернемся к камере. Чем прекрасна SMIA? Да тем, что поначалу казалось, что всё просто.

Красота же?

Все регистры модулей описаны, как выбрать внутреннюю цепочку тактирования, со всеми необходимыми пре- и постскейлерами, тоже описано.

Такие подробности да в каждый документ бы!

Пока я занимался всем этим, SMIA_Functional_specification_1.0.pdf стал моей настольной брошюркой, зачитанной до дыр.
Но, чу, колченогое подобие драйвера (ах, какое громкое слово для заголовочного файла с несколькими функциями записи-чтения регистров камеры) написано, а в память микроконтроллера почему-то никакие байтики не падают. Хотя модуль через I2C успешно читается и записывается. О, сколько раз я думал, что неправильно сконфигурировал клоки или пропустил какую-то команду. Результата не было. Тогда я подумал, что хватит биться головой об стенку, надо делать что-то адекватное тому тупику, в который я угодил. Откуда я взял камеру? Правильно, из телефона. Телефон умеет показывать видео и делать фотографии с модуля? Умеет. Значит нужно тело на опыты. Драматичная нет история покупки донора для опытов лежит здесь.
Как бы там ни было, самым сложным было подпаяться к клоку и данным с модуля.

Ножки у кроватки под стенками, понимаешь.

Дальше было дело техники снять дамп обмена процессора телефона с камерой и рассмотреть в деталях, что же происходит. В результате некоторых пертурбаций был получен вот такой лог обмена.

Вы тоже заметили строки с вопросиками, которыми я пометил запись непонятно чего непонятно куда (пакеты 45-50)? Эти странные регистры, не описанные в, казалось, незыблемой документации (кто ж знал, что в Manufacturer Specific Registers [0x3000 0x3FFF] тоже надо что-то писать). Ну а дальше всё было очевидно. Пишем это непонятно что в непонятно куда и вуа-ля!

first_picture_ever.png

К сожалению не помню, есть ли тут дебайеризация (хм, J = demosaic(I,'grbg'); подсказывает, что есть) и если есть, то всё ли сделано правильно. Как и на втором кадре:

Камера лежала на боку.

Если повернуть голову набок, то можно прочитать 95% чего-то, рассмотреть рёбра какого-то радиатора, лежавшего на столе, и даже попытаться прочитать пароли на листочках с магнитной доски.
Почему всё такое зеленое? А пёс его знает. Этим вопросом уже занимался нормальный адекватный программист (Миша, привет!), который прикручивал эту систему к LwIP и проклинал меня за маленький объем SRAM и малую скорость 217-го (120МГц всего), который еле успевал перекладывать байты. По его словам, надо было просто правильно выставить усиление цветов каналов.

А дальше было дело техники. Нарисовать нормальную схему:

Ещё одна схема.

И сделать нормальную плату, которая показана на КДПВ.

Плата, да.

В производство, собственно, ушел вариант транслятора на отдельной платке (пришлось дорожки по 75мкм делать), чтобы не удорожать производство материнки, куда это всё напаивалось.

Времени было на всё угрохано больше года. Сейчас это кажется диким и ужасно непродуктивным. Наверняка, есть много людей, проделавших бы подобное за пару месяцев. Но я был один, в коллективе никто таким не занимался, интернеты упорно молчали, совета просить было не у кого. Но опыт есть опыт. Я ни сколько не жалею о потраченном времени. Полученные знания бесценны! Предполагаю, подобным образом можно раскурить многие другие модули, которые всё еще ставятся в телефоны, ведь, по сути, никакой особой магии в них нет. Знай себе записывай правильные байтики в правильные регистры да трассировку корректную делай.

А вы как думаете?

Этой камере для работы не требуется ничего кроме питания.
В неё вставляются симкарта и карта памяти. Встроенный 4G-роутер обеспечивает её интернетом (а заодно может раздавать интернет на другие камеры, смартфоны и любые гаджеты), встроенный регистратор записывает ролики по движению или непрерывно. Видео с камеры можно смотреть в мобильном приложении через облачный сервис.




Я давно хотел изучить камеры со встроенными модемами и для знакомства выбрал самую популярную на Aliexpress модель. Сейчас она стоит $66.70, я покупал её во время распродажи с использованием купонов за $48.94.

Камера снимает видео FullHD (2 МП, 1920x1080 точек) 15 кадров в секунду, позволяет прослушивать звук и передавать звуковые сообщения на объект наблюдения, у неё объектив 3.6 мм (угол зрения около 90 градусов), есть режим ночной съёмки. Камера работает с приложением CamHi.

Благодаря герметичному металлическому корпусу, камеру можно использовать как в помещении, так и на улице. По кругу вокруг объектива расположены десять инфракрасных светодиодов и датчик освещённости, благодаря чему камера видит даже в полной темноте.



В комплект входит блок питания 12V 2A (хотя камера потребляет гораздо меньше) с европейской вилкой.



Также в комплекте инструкция, шестигранный ключ и набор саморезов и дюбелей.



Внизу у камеры есть лючок, за которым располагаются разъёмы для NanoSim и MicroSD, на самом лючке динамик и микрофон.



У камеры две съёмных антенны: если смотреть сзади, правая антенна 4G, левая раздача Wi-Fi (если Wi-Fi для других устройств не нужен, эту антенну можно не ставить).



Из камеры выходит кабель с тремя разъёмами и кнопкой сброса, но два разъёма тюльпан не используются. Фактически, при работе камеры будет задействован единственный разъём питания.



Начальная настройка настолько проста, что с ней легко справится даже человек, далёкий от техники:

1. Вставляем в камеру симкарту и карту памяти, включаем камеру.
2. Устанавливаем на смартфон приложение CamHi (регистрация не нужна), даём ему все разрешения.
3. Нажимаем сверху Доб.кам. и скан. QR код, доб. UID. Наводим камеру смартфона на QR-код на этикетке сбоку камеры или на коробке.



4. Как только QR-код будет считан, окно чтения кода пропадёт и в соответствующем поле появится уникальный номер камеры (UID). Нажимаем галку в правом верхнем углу. Камера предложит изменить часовой пояс, посоветует установить пароль и появится в списке устройств.



Теперь достаточно нажать на камеру в списке и откроется полноэкранное окно просмотра видео с камеры (изначально в режиме низкого качества SD).



В режиме просмотра всё просто, я не буду описывать все пункты, можно разобраться методом тыка. :)

Рядом с камерой в списке есть шестерёнка, при нажатии которой открывается меню настроек камеры. Там нужно первым делом установить пароль (если не хотите, чтобы посторонние могли смотреть картину с вашей камеры), дальше нужно включить детектор движения в пункте Настр. трев. В Действ. при тревоге нужно включить запись на SD (верхний движок Уведомления тревоги включает push на смартфон при каждой детекции движения, нижний Действие при тревоге включает проигрывание камерой звуков при детекции движения (собачий лай, сирена, свой звук, записываемый с микрофона смартфона). Если вы хотите, чтобы камера записывала видео только при детекции движения, нужно зайти в следующий пункт Расписание записи и выключить запись (когда движок Вкл. запись включён, запись на карту ведётся непрерывно по расписанию). Все остальные пункты меню настроек можно не трогать.



Вроде бы всё настроили и всё работает. Но есть ещё один момент. У всех таких камер пароль Wi-Fi по умолчанию 123456789. Каждый, кто про это знает, обнаружив сеть с именем, начинающимся на MIFI_ может к ней подключиться и израсходовать весь ваш интернет-трафик. В отзывах на Aliexpres пишут, что пароль изменить нельзя. Конечно же изменить его можно и нужно:

1. Подключаемся смартфоном или ноутбуком к Wi-Fi камеры: имя сети MIFI_**** (вместо звёздочек будут буквы и цифры), пароль 123456789.
2. Запускаем браузер и заходим по адресу 192.168.100.1, появляется окно ввода пароля, вводим admin и попадаем в интерфейс встроенного роутера.
3. Нажимаем Wi-Fi Setings, попадаем на экран настроек Wi-Fi, меняем там пароль и нажимаем Apply.



На работу камеры это никак не повлияет, так как её модуль подключён к роутеру проводами, а не по Wi-Fi. При желании Wi-Fi можно вообще выключить, тогда для его включения нужно будет нажать кнопку Reset на плате роутера (до неё можно дотянуться, не разбирая камеру).

Кстати, по адресу 192.168.100.100 можно попасть в web-интерфейс самой камеры (логин admin, пароль admin), но там ничего интересного нет.

Для проверки качества съёмки и записи звука я установил камеру на даче. Вот так она снимает днём.


www.youtube.com/watch?v=S4E3j7xjflI

А так ночью.


www.youtube.com/watch?v=fGJkbDtUVXI


Расскажу о том, как устроена камера. В ней целых четыре платы: ИК-подстветки, модуля камеры, регистратора, модема-роутера. Болтающийся провод с никуда не подключённым разъёмом идёт от тюльпанов на кабеле (я уже писал выше, что они не используются).



Модуль камеры построен на довольно редком процессоре Ingenic T21. Продавец утверждает, что в модуле применён сенсор SONY, но я очень в этом сомневаюсь. Каких-либо обозначений на плате модуля я не нашёл.



Плата регистратора, в которую вставляется MicroSD карта, называется PTZ_38_3.2.



И последняя плата 4G-модем-роутер ALK_AF790_V2.0.



У роутера три антенных выхода. К выходам 4G и Wi-Fi подключены две внешние антенны, а к выходу 3G подключена вон та странная чёрная штука с дырками. Похоже, это плёночная антенна от какого-то мобильного телефона. В камере она размещена внутри корпуса в верхней его части.

Такие платы роутера продаются на Aliexpress и отдельно, стоят около $36.

Камера может питаться от любого источника питания 12 вольт или от сети через штатный адаптер. Я измерил потребление камеры от 12 В. В обычном режиме наблюдения камера потребляет 140-220 мА (максимум, когда идёт просмотр через мобильное приложение). В ночном режиме около 400 мА.

Если камера не используется для раздачи Wi-Fi другим устройствам, ей достаточно очень небольшого количества интернет трафика. Когда нет просмотра через приложение, потребление трафика минимально, во время просмотра трафик возрастает, но дешёвого тарифа для умных устройств (100 или 200 Мб в месяц) ей вполне хватит и подключать платную опцию видеонаблюдение не потребуется.

Такая камера станет отличным и недорогим решением там, где нет интернета и хватит единственной камеры (например в гараже). Впрочем, с помощью неё можно строить и беспроводное видеонаблюдение с несколькими камерами (тогда остальные камеры могут быть только с Wi-Fi и они будут подключаться к этой камере, как к роутеру). Можно даже попробовать сделать на базе этой камеры систему видеонаблюдения с внешним регистратором, подключив к нему по Wi-Fi эту и другие камеры, а источником интернета будет сама камера.
А ещё Wi-Fi, раздаваемый такой камерой, может пригодиться для умных устройств (автоматики, сигнализации, мониторинга температуры).

P.S. Я специально не даю ссылок и не указываю название камеры. Её клонов под разными названиями на Али много, найдёте без проблем.

2020, Алексей Надёжин

Эта камера не требует Wi-Fi или кабельного интернета: в неё вставляется симкарта.
Она позволяет просматривать на смартфоне из любой точки мира живое видео, а также записи, сделанные при появлении человека в кадре.




Это одна из самых дешёвых 4G-камер на Aliexpress. Сейчас она стоит $58, на распродажах цена может падать до $52.

Камера работает только через мобильный интернет. Она не поддерживает Wi-Fi и не раздаёт его, разъём RJ-45 на кабеле никуда не подключён.

В комплекте блок питания 12V 2A. Камера потребляет около 210 мА в дневном режиме и около 345 мА в ночном режиме, когда работает ИК-подсветка.



Подсветка сделана на двух мощных ИК-светодиодах.



Снизу герметичный лючок, под которым есть слоты для NanoSIM и MicroSD. На лючке микрофон и динамик.



Корпус металлический, всепогодный. Передняя панель пластиковая. Недостаток такой конструкции в том, что камеру невозможно сдвигать влево-вправо относительно площадки крепления. Только вверх-вниз и вращать вокруг оси.

Мне не удалось разобрать камеру: нужно снимать переднюю панель, которая скорее всего приклеена.

Камера работает с приложением CamHI. Добавляется камера очень просто: нужно в приложении отсканировать QR-код с наклейки на боку камеры.

Настройки и режимы такие же, как у камеры (Zilink), но есть одно важное отличие: у этой камеры есть детекция человека в кадре, а значит запись по движению не будет срабатывать от колышашихся на ветру веток и пролетающих птиц.



Когда камера видит человека, в окне просмотра появляется рамка вокруг него.



Матрица в камере стоит китайская и на честные FullHD 1920x1080 можно не рассчитывать, но для того, чтобы следить, всё ли в порядке на объекте, качества вполне достаточно.



Пример записи по детекции человека. Я вышел из-за угла, камера начала запись примерно через секунду. Для проверки записи звука я спрашиваю, слышно ли меня. :)


www.youtube.com/watch?v=yxZC6YG_0D4.

Камера потребляет менее 64 КБ трафика в час, когда приложение не запущено. Неторопливый просмотр текущей картинки и трёх роликов, записанных по движению, потребовал 23 МБ. Если использовать камеру, ежедневно запуская просмотр, потребуется около 1 ГБ трафика в месяц, при еженедельном просмотре будет достаточно и 200 МБ. Я использовал камеру с симкартой Билайн с тарифом Связь Z, который наиболее выгоден для использования в камере.

Камеру можно сделать полностью автономной, если оснастить её аккумулятором и солнечной батареей.

Эта камера подойдёт для использования в гараже, на временных объектах (например для слежения за ходом стройки), а также в качестве резервной камеры (на случай, если основная система с несколькими камерами вдруг перестала работать).

2021, Алексей Надёжин

Все чаще мы видим в смартфонах так называемые 3D-сенсоры, или сенсоры глубины. Большинство из них также называют ToF-сенсорами аналогично одноименной технологии. По слухам, такой сенсор будет установлен и в новом iPhone (там он называется LiDAR, подробнее мы об этом рассказывали в другом материале). Эти сенсоры довольно дорого стоят, но зачем они нужны понятно не всем. Производители уверяют, что сенсоры позволяют делать лучше фото и портреты или добавляют фишки в дополненную реальность. Но так ли это на самом деле?



Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.

Что такое 3D сенсор (сенсор глубины)

Для начала, давайте разберемся, а что такое 3D-сенсор? Фотокамеры захватывают проекцию окружающего мира на плоскость. По одной лишь фотографии не понять реальный размер объекта размером ли он с бутылку или с Пизанскую башню. И расстояние до него тоже не понять.



Для того, чтобы понимать реальные размеры объектов на фото, масштабы съемки, отличать, что ближе к камере, а что дальше, и нужны 3D-сенсоры.Они уже давно и активно применяются в робототехнике, автономном транспорте, играх, медицине и много где еще. Более того, наши глаза это тоже 3D сенсор. При этом, в отличие от LiDARа и ToF-сенсоров в смартфонах, глаза пассивный 3D-сенсор. То есть не излучающий никакого света, а работающий только на основе поступающего света. Только благодаря этому мы можем хоть как-то перемещаться в пространстве и взаимодействовать с окружающими объектами. Теперь 3D-сенсоры появились и в смартфонах.

Как работает ToF?

LiDAR в iPadе, а также все 3D-сенсоры в Android-смартфонах это time-of-flight или сокращенно ToF-сенсоры. Они определяют расстояния до объектов вокруг, напрямую измеряя сколько времени понадобится свету, чтобы долететь от камеры до объекта и вернуться обратно. Это очень похоже на эхо в пещере, оно тоже после отражения от стенок возвращается к нам с запаздыванием. Чтобы пролететь 1 метр свету нужно 3 наносекунды, для 1 см 30 пикосекунд. Вроде бы все понятно. Но есть проблема.

Это очень маленькие промежутки времени. Как камера может такое замерить? Не будет же она делать миллиард кадров в секунду, а потом их сравнивать? Есть 2 основных подхода для решения этой проблемы: dToF (direct ToF) и iToF (indirect ToF). И чтобы вас заинтриговать еще сильнее: абсолютное большинство Android-смартфонов используют как раз iToF сенсоры, тогда как LiDAR в Apple iPad и скорее всего в грядущих iPhone это редкий представитель семейства dToF сенсоров. Так чем же они отличаются?

iToF indirect ToF

Начнем с iToF. В таких сенсорах излучатель отправляет высокочастотный модулированный свет, то есть этот свет постоянно включается и выключается с частотой десятки миллионов раз в секунду. За счет того, что свету нужно время для полета до объекта и обратно, фаза, то есть вот это состояние где-то между включенностью и выключенностью, света, вернувшегося в камеру, немного отличается от фазы света в момент отправки. На сенсоре исходный и отраженный обратно от объекта сигналы накладываются друг на друга, и за счет этого определяется сдвиг фаз, который и позволяет понять расстояние до каждой точки объекта.

dToF direct ToF

dToF работает немного иначе. В таких сенсорах напрямую измеряется разница во времени между отправкой света и детектированием его отражения на сенсоре. Для этого используются так называемые SPAD: single photon avalanche diodes. Они могут детектировать крайне маленькие импульсы света, фактически даже ловить единичные фотоны. Такие SPAD расположены в каждом пикселе сенсора. А в качестве излучателя в таких сенсорах используются как правило так называемые VCSEL Vertical Cavity, Surface Emitting Laser. Это лазерный излучатель, подобный тем, что используются в лазерных мышках и много где еще. dToF сенсор в LiDAR разработан совместно с Sony и является первым массовым коммерческим dToF сенсором.

Можно лишь гадать, почему в iPad используется dToF сенсор, но давайте отметим преимущества такого сенсора. Во-первых, в отличие от iToF сенсора излучатель испускает не сплошную стену света, а лишь светит в отдельных направлениях, что позволяет экономить батарейку. Во-вторых, dToF сенсор меньше подвержен ошибкам в измерении глубины из-за так называемой multipath interference. Это типичная проблема iToF сенсоров. Она возникает из-за переотражения света между объектами перед попаданием обратно в сенсор и искажает измерения сенсора.

Как это работает, разобрались, давайте теперь посмотрим, а зачем вообще 3D-сенсоры используются в смартфонах.

Зачем это нужно в смартфонах

1. Безопасность

Первым массовым внедрением 3D-сенсоров в смартфонах мы обязаны Apple и технологии Face ID. Распознавание лиц при использованиитрёхмерных данных намного точнее и надежнее классического распознавания лиц по фото. Для Face ID Apple использует технологию структурированной подсветки, на ней мы остановимся подробнее как-нибудь в следующий раз.

2. AR

Большинство производителей заявляют, что именно более качественный и точный режим дополненной реальности является главной задачей 3D-сенсоров. Более того, это также поддерживается непосредственно компанией Google. Буквально недавно они представили грядущее обновление своей библиотеки дополненной реальности ARCore, позволяющее более реалистично размещать виртуальные объекты в реальности ивзаимодействовать с реальными объектами.

Для этой же задачи Apple встроили LiDAR в iPad Pro. Такое можно делать и без 3D-сенсора, но с ним все работает точнее и надежнее, плюс задача становится вычислительно сильно проще и разгружает процессор. 3D-сенсор выводит AR на другой уровень.

3. Улучшение фотографий

Ряд производителей, например, Samsung и HUAWEI заявляют, что 3D-сенсор используется в первую очередь для более качественного размытия фона и более точного автофокуса при съемке видео. Другими словами, он позволяет увеличить качество обычных фото и видео.

4. Прочее

Доступ к данным сенсоров у некоторых смартфонов открыт, поэтому появляется все больше приложений, предлагающих новые применения. Так, например, с помощью внешних приложений 3D-сенсор можно использовать для измерения объектов, трехмерного сканирования и motion tracking'а. Есть даже приложение, позволяющее сделать из своего смартфона прибор ночного видения.

Тесты

С тем как это работает в теории разобрались, давайте теперь посмотрим, как это работает на практике, и есть ли какой-то толк от этих дорогущих 3D-сенсоров в флагманах. Для тестов мы взялиRedmi Note 9S, у него есть ToF-сенсор и мы сделали несколько снимков в портретном режиме, но во втором случае просто закрыли 3D-камеру пальцем. И вот что получилось.



Всё просто размытие действительно больше и лучше, если ToF работает.



И для частоты эксперимента мы взяли Samsung Galaxy S20 Ultra, который также получил ToF-камеру.



И найдите хотя бы одно отличие?



Что получается? Дело в том, что в зависимости от производителя ToF-камера используется по-разному и в разной степени.

Можно сказать, что часть производителей смартфонов располагает ToF-датчики в своих смартфонов не для маркетинга, чтобы добавить ещё одну камеру, а скорее на всякий случай. А дальше уже алгоритмы решают использовать эту камеру или нет?



При этом на сегодняшний момент необходимости в LiDAR или ToF-камерах прямо нет. Так что это видимо чуть больше маркетинг.