Заметки Computer Vision инженера

Небольшое видео с результатами года. Что интересного произошло, какие тренды, куда смотреть. Пригласил Васю обсудить и поговорить какие тренды сейчас работают а какие нет.
https://youtu.be/PnkL8k3BBPg
Если что, на Васин LI можно подписаться тут. Он периодически рассказывает что-то интересное про роботов там.

Всем привет!
Раз в год я публикую статистику канала. Немножко сумбурно получилось в этот раз и без цельной канвы. Но кажется фанатам статистики должно зайти:) Попробовал собрать много приколов. Огромное спасибо всем кто отвечал на вопросы которые я задавал в канале.
Очень интересно было читать ответы и комменты. Часть попробовал отразить в тексте.
https://telegra.ph/Statistika-kanala-20242025-12-23
И один вопрос напоследок. Что на ваш взгляд было главное событие в 2024 в мире Computer Vision и вокруг?

Представим ситуацию. К вам приходит заказчик. Сколько времени тратить на разговоры? Надо ли чарджить с первой минуты или можно разобраться в ТЗ и бесплатно сделать оценку проекта? Кажется что должен быть простой ответ. Но нет. Разные бизнес модели предполагают разное взаимодействие, разные ответы и разные разговоры. Я попробовал немного описать свой взгляд и восприятие - https://youtu.be/ej1BmC6w7a0

Апдейтнул гайд по тому как запускать нейронки на рокчипе. Какие есть репозитории, какая в них общая логика, как настраивать платы, и.т.д.
За последний год появилось много нового и интересного. Появилось много экспортированных сеточек, почти для всех неплохо описана логика изменений.
https://youtu.be/Mm9eJoqXuto

Ещё с лета у меня лежала Rock 5C Lite. Наконец добрался её позапускать недавно. Ожидал что будут какие-то проблемы, но нет. Реально одна из самых лучших плат сейчас (если смотреть по компромиссу удобства, цены и скорости). В отдельности по каждой характеристики, естественно есть варианты лучше. Думаю что на следующей неделе выпущу ещё одно видео про рокчип.
https://youtu.be/eFI08oQN4rA

После каждого видео о 3D камере кто-нибудь да спрашивает: "А какую 2D камеру мне выбрать?". Когда пускаешься в пространные размышления про оптику, типы матриц и протоколы, человек всё равно перебивает и говорит: "Не, ну вот у меня проект простой, что выбрать то?!". И понимаешь всё бессилие.
Ведь зачастую "настроить камеру" для стартапа это 50% от работы. Понять куда вешать, как крепить, куда подключать. Но не кажется эта задача сравнимой с "сделать супер крутой AI алгоритм". Так, на пол часа.
У меня на канале было несколько отдалённых видео на эту тему. Но какого-то всеобъемлющего гайда я всё не решался сделать. Но слово за слово, обсудив с несколькими товарищами - решил таки написать статью. Писал её последний месяц, медленно шла, структура часто менялась. Понимаю, что она неполна, внутренне противоречива. Но очень надеюсь что достаточна чтобы любой человек который взялся строить свою систему - примерно понимал что надо делать, с чего начинать, и какие ключевые слова есть.
Я попросил трех человек, которые хорошо разбираются в своих областях, накидать идей и покритиковать. Считаю что их идеи были очень классными и помогли мне заметить много пропущенных лакун. Но... Многие из этих идей противоречили друг другу. Что лишь показывает что тема реально сложная, и есть очень много взглядов на то как решать этот вопрос.
Итак.
1) Видео - https://youtu.be/5ZTO4PPQ9Uo
2) Статья - https://medium.com/@zlodeibaal/how-to-choose-a-camera-for-a-computer-vision-project-1da6490bb3dd
Если просмотров / прочтений будет достаточно много - продублирую на хабр. Но пока что на это сил не хватило:)

Небольшое дополнение к прошлому видел. Выложил на втором канале.
Попробовал подробнее рассказать "а как вообще все эти VLM должны менять взгляд бизнеса на ML". Но не со стороны "сейчас промптов напишем и зашибём миллиарды", а со стороны "а что в реальности можно срезать за счет использования больших претрейнов, а что лучше оставить как есть".
https://youtu.be/E-vROjyjEQw

Доступ к статистике YouTube канала иногда даёт интересные инсайты. Например можно посмотреть какое маркетинговоре решение было верным. Или посмотреть на то как растёт популярность разных платформ со временем.
На этом графике статистика моего видео про Hailo-8 выпущенного два года назад. Как вы думаете в какой точке графика Hailo объявило партнёрство с RaspberryPi и они выпустили AIHat? :)

Я уже затрагивал тему прототипирования. Какие сетки для этого нужны. И решил сделать небольшую подборку с топом того что сегодня разумно использовать. Часто с удивлением узнаю что люди не знают часть этих сеток
https://youtu.be/mPXjE5AB9oA

После прошлых видео про 3D было много вопросов про точность, сравнение методов, и.т.д.
Решил сделать несколько наглядных примеров.
Тут в видео их разобрал (в комментах видео с примерами):
https://youtu.be/JnCCvnI8-jY

Так, обещанная статья про запуск Hailo на разных платах. Никакой магии, но всё собрано в одном месте с ссылками и возможными проблемами.
https://medium.com/@zlodeibaal/how-to-run-hailo-on-arm-boards-d2ad599311fa

Дополз до тестов Hailo. Первое что мне хотелось посмотреть - а насколько Hailo вообще будет работать на разных платах. И, на удивление, все оказалось очень неплохо.
1) Заработало почти везде
2) Там где не заработало - вопрос скорее к вендорам железа, а не к Hailo
В ближайшие дни попробую ещё сделать небольшую статью с обзором как всё это дело запускать. А пока что видео с результатами бенчмарков
https://youtu.be/cUXSZcNgSz8

Полтора года назад я говорил что должны появиться NPUшки с уже заваренными в них нейронками, где ничего нельзя будет настраивать и всё будет из коробки. Зато дешево.
И что бы вы думали?
Они действительно начали появляться (50$). Пока что без изображений. Но это уже LLM + SST из коробки. Вообще без понятия на какие языки оно работает и насколько. Но прямо любопытно даже когда будут модули с VLM.
Я думал сделать видео про RK3588 с такими двумя сетками, но сейчас даже не думаю что надо, раз такое есть.

Как думаете, скоро будем скиллы для роботов отдельными картриджами покупать?

После прошлого видео было удивительно много вопросов про то как вообще работает оценка глубины по стерео, как её запустить, и всякое такое. Попробовал в этом видео разобрать общую теорию.
https://youtu.be/mEs_8vxxSqI
Если зайдёт - попробую ещё сделать оценку точности для разных методов.

В моём большом обзоре 3D камер который был весной не было камеры ORBBEC. А ведь это один из известных производителей. Впервые с их камерами я работал ещё в 2014 году.
И что-то ни у кого рядом этой камеры не было.
Так что я написал им напрямую с вопросом - а не хотят ли они прислать камеру чтобы про неё было отдельное видео. Теперь у меня есть ещё одна камера для роботов, а у вас - ещё один обзор. Считаю для всех win-win:)
https://youtu.be/kMLQuPLUq-M

Мне камера по конструктиву понравилась. Но главный вопрос сегодня. А кто-то вообще использует оригинальный 3D выход с камер? Или все уже сетками считают?

Уже почти год живу в Норвегии. Понятно, что 95% заказов из-за пределов Норвегии, но какие-то знакомства тут есть, иногда помогаем местным робототехникам, записываем демки у них и общаемся с людьми. Так что немного посмотрел на то как тут ML и AI выглядит.
Понятно, что это видео не под тему основного канала, так что выложил на втором.
https://youtu.be/JPOicvpTGLw

Раз в год, под новый год, я делаю на канале пост с статистикой канала. С инсайтами про канал, с гипотезами и их проверкой. С тем насколько публике интересны какие темы. Почему? Люблю статистику:) И кажется, что части подписчиков тоже любопытно.
Статистика которую я смотрю - это youtube, tg, vk. И вся она более-менее ущербная. Youtube потому что GDPR, тут потому что мало инструментов. ВК потому что никто там не читает давно.

Долго собирался, и наконец накидал вопросов со статистикой которая мне любопытна - https://forms.gle/kLKiNMs7NFsY6rRM8
1) Опрос анонимный
2) Результатами поделюсь в итоговом посту за год
3) Рекламы, как вы знаете, на канале нет. Так что эти данные никак не повлияют на её содержание.
4) Возможно результаты как-то повлияют на контент, но это не точно.
5) Вопросы про канал сделал обязательными, а социологические сделал необязательными, если кому неудобно отвечать

Короче буду рад если ответите:)

Ахахаха, я запустил вышедшую пару часов назад контру. Графика и фпс примерно как в клубах конца 90х :D

Как и обещал - версия для Хабра. Поправил несколько мелочей, а так почти та же самая версия.
https://habr.com/ru/companies/recognitor/articles/846936/

Что-то не удержался.
Вчера вышел Depth Pro. По качеству монокулярного зрения впереди всего вокруг. Прямо звенящая резкость. А ещё "metric depth" из коробки. А главный то вопрос, главный.... Насколько это вообще сопоставимо с 3D камерами?:)
Давно хотел показать!
https://youtu.be/UQBIKsUQZOc

С момента моего прошлого обзора Edge плат прошло уже два года. И кажется, что с тех пор многое поменялось. Jetson уже не самая популярная плата (но самая удобная). Стало больше крупных игроков. Те кто были игроками второго плана (Hailo и Jetson) - стали де-факто стандартами.
За последний год было столько релизов Edge - плат сколько не было за предыдущие года два.
Пора делать новый обзор!
Мне кажется что он получился достаточно всеобъемлющим. И может его хватит на следующие пол года - год. Я попробовал уйти от прошлой логики где все платы были отбенчмарканы, так как их стало слишком много.
Удобнее всего читать статью. Но записал и видео, чтобы можно было посмотреть в фоне.
статья - https://medium.com/@zlodeibaal/cookbook-for-edge-ai-boards-2024-2025-b9d7dcad73d6 (не забывайте ваши хлопочки)
видео - https://youtu.be/wnMFBqDalnE
Возможно будет ещё версия на хабре, но пока не знаю.

То что сегодня выйдет Yolov11 было понятно уже несколько дней назад. В конце прошлой недели была конференция YOLO Vision, где представили новую модель. Так что я подготовился заранее. Все 9 часов презентации я не посмотрел, но полистал в поисках хайлайтов и того о чём рассказыть:)

В презентации был один интересный момент. Sony рассказывала о своей новой технологии где совместило камеру и npu вычислитель (прямо как OAK, но на одном чипе). Я, как любитель таких железяк - попробовал загуглить и найти пример платы - но всё было пусто. Выглядело как что-то находящееся в глубокой разработке.
А сегодня внезапно вот это выходит - https://www.raspberrypi.com/news/raspberry-pi-ai-camera-on-sale-now/
Очень интересно теперь протестить.

Пришёл из отпуска, а тут yolov11!
Даже не выложил видео которое сегодня планировал:)
Ок, давайте быстренько глянем. В целом всё ожидаемо.
https://youtu.be/WUJMc4sDBMk

Мне очень часто пишут с двумя вопросами:
1) "А подскажи есть ли у тебя друзья кто работу ищет?"
2) "А не знаешь где работу найти?"
И в большинстве случаев, естественно в голове нет достаточно много места чтобы объединять это и проще куда-то отправить. Так что будет этот пост чтобы на него ссылаться.

У меня было уже пара постов где большая часть списка была (например тут). Но там не было фокуса на найм. Тут продублирую + актуализирую + немного прокомментирую. Понятное дело что стандартных каналов (LI, HH, getmatch, GlassDoor, etc.) тут указывать не буду, а накидаю различных ML-ных каналов.
До того как ODS развалился посылал всех туда. А теперь цветут 100 цветов...

1) Singularis.ai - слак канал, наиболее крупный на остатках ODS. Говорят что бывает что админы долго апрувают заявки. Вакансий не очень много, но часто проскакивают очень интересные. Всего в Слак канале 9 тысяч подписчиков. Обязательное условие вакансий:
а) Должна быть возможность работать не из России
б) Обязательно указывать вилку.
2) Канал ODS jobs - TG. Оно же тут . Обязательно чтобы была вилка. Канал в телеге на 6.6 тысяч подписчиков. Большинство вакансий из РФ.
3) Better Data community - 8к подписчиков. Обязательно вилку.
4) Clean Data Science - 2.4 тысячи подписчиков. Обязательно указывать вилку.
5) Один из каналов в сберовской сетке (зарплату большей частью не указывают, кажется что половина вакансий сберовская).
6) Знаю, что много людей находили себе работу через датазавтраки. Понятно, что это было в другой вселенной. Сейчас датазавтраков много разных. Крупнее всего дискорд датазавтраков . Раньше была отдельная ветка вакансий, сейчас нет. Ещё есть отдельные локальные датазавтраки и комьюнити. Писал про них когда-то тут.
7) @not_boring_ds_jobs достаточно большой канал от Евгения (с ним у меня было интервью)

Добавляйте ваши предложения, добавлю в список. Главное, чтобы это были открытые каналы без рекламы с минимальной модерацией.

Ещё несколько мыслей. Когда-то давно считалось что вакансии приходящие с ODS - более мотивированные и осмысленные чем из других локаций. Сейчас на мой взгляд этого уже нет. Когда-то считалось что в таких каналах больше зарплата. Сейчас я бы так не сказал, но то что вилку обязательно указывать - как минимум подсказывает реальный разброс на рынке. И это помогает оценивать на сколько можно претендавать/сколько можно готовить под сотрудника. Реально, конечно, и в РФ и снаружи, надо понимать что в среднем сеньор🍅 часто может получать может больше указанных вилок. Ну и да. Рекрутёры многих компаний уже автоматически постят по большинству таких каналов.

🎉🎉🎉 🎉Ох, 5000!🎉🎉🎉🎉 🎉
Спасибо всем кто читает и смотрит!
🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉
Для полноты:
YouTube - 5,653 ⬆️ В какой-то момент стал расти супер быстро, даже быстрее канала
LinkedIn - 2916 ⬆️ Сам я особо никого не добавляю, но растёт тоже быстрее tg
VK - 2895 ➖ За пол года где-то 10 новых подписчиков
Habr - 645 ➖ Иногда по паре человек подписывается
Medium - 343 ➖ Иногда по паре человек подписывается
Twitter - 38 🫤 Мне кажется, что твиттер больше про науку а не про технологию
——————————————————-
🤝🤝🤝🤝🤝🤝🤝
Давно я думаю что надо бы устроить пост знакомства . Про многих читателей я знаю, а про многих нет.
И кажется, что это хороший повод. Расскажите в двух словах про вашу компанию, стартап, лабу или про ваш ТГ/YouTube/TikTok канал в комментариях!:)
🤝🤝🤝🤝🤝🤝🤝
P.S. зная метрику подписчиков канала - ожидаю что 5к в ближайшие пару дней будет взято ещё пару раз!:)

Год назад уже делал видео на тему того "что такое Computer Vision сейчас". После него было много вопросов и мнений, но в целом, как мне кажется, все подтвердили. Так что решил сделать небольшой апдейт за этот год.
https://youtu.be/7fQXfJdEHnA

Кажется, что это одна из самых необычных плат в последнее время
1) Чипсет от крупного вендора который раньше Edge бордов не выпускал
2) Реально крутая производительность
3) От крупного производителя (Radxa)

Но... Настолько сырая что вообще страшно. Надеюсь что пофиксят. А пока можно посмеяться
https://youtu.be/9NZKeTGuYRs

Одна из вещей которые мне в Норвегии непривычны - это то насколько всё открыто. Например вот это местный дилер рук ABB. Открытое помещение, где стоит рук минимум на пол ляма баксов, а скорее больше. Войти в него можно с трёх сторон. И естественно ни одной души по дороге. Иногда ездили тут посмотреть на разные заводы и фермы - примерно то же самое везде.

А вот и видео про NXP!
В целом я приятно удивлён. Если бы ещё не tflite а инференс на пайторче кто-нибудь поддержал.
Пару вещей которые не вошли в видео и хотел бы добавить.
1) Я попробовал достаточно много LLM сеток но ничего не завелось
2) Но я нашёл один доклад где человек из NXP таки запустил Tiny LLAMA. Так что в теории может и можно повозиться. Но не из коробки.

https://youtu.be/dRCjpvwYpQk

Видео про Computer Vision на NXP борде потихоньку готовится. Может быть завтра или послезавтра выложу. До меня дошли RK3582 и MediaTek. Так что они в плане. Farnell Hailo отправил, но когда дойдёт - вообще не понятно. Есть ощущение что они не парятся:)
Ещё есть пара плат которые может пришлют/дадут доступ.
Короче что-то железок в последнее время становится сильно больше. Как в реальности так и на тест.

Стараюсь чтобы видео как-то были разные. Не только про железки. И возникла мысль. Год назад я делал видео с обзором что Computer Vision в 2023 - https://youtu.be/A3HdPnw8wN4

Надо ли сделать такое же по тому что сейчас? Если да - то какие вопросы рассмотреть? Может накидаете?

Зашёл в музей в Бергене. Тут технологии древних показывают!

Давно хотел добраться до тестирования LLM-ок на RockChip'ах. А тут ещё недавно прислали RK3576 на халяву для видео. Так что решил совместить.
В этом видео:
1) Сравнение RK3588 и RK3576 для LLM-ок
2) Гайд по запуску и возможностям RKLLM
3) Обзор платформы 3576

https://youtu.be/RXDwdOtfog4