Мой канал о DS, Kaggle

Итак, после большого перерыва мы(ML Boost Camp) возвращаемся с теоретической лекцией по NLP. Будет обзор основных технологий от словарей до GPT с примерами соревнований, где они давали призовые места. Приходите сегодня в 20-00 по мск. Трансляция будет тут

Анонс движа по Kaggle!

Как вы, возможно, знаете, я терпеть не могу такое явление, как инфопродукты, курсы как стать программистом за месяц и прочее. А значит надо запустить свой курс)

Я уже давно хотел сделать такой движ, но не хватало времени, но сейчас объединился с Артемом, так что должно быть попроще. Состоять он будет из двух частей. Сначала будет публичная часть - теория ML+советы по kaggle(где-то 6-8 лекций по 1-2 часа). Дальше мы разобьемся на команды по 5 человек и каждая команда возьмет одно уникальное актуальное соревнование с Kaggle. Мы с Артемом будет тоже в командах, направлять и помогать. В каждом соревновании строго одна команда, так что шаринга быть не должно. Это уникальная возможность поучаствовать с нами в одном соревновании(между прочим, мне за такое предлагали до 5тыс евро) и, надеюсь, узнать что-то для себя новое.

Если вам такое интересно, до добавляйтесь в группу https://t.me/ml_boost_camp и проходите опрос. Участие бесплатное

Делитесь этим постом, чтобы больше желающих могло поучаствовать. Если такой формат зайдет, то дальше будет больше. Идей очень много, да и оффлайн тоже хочется провести. Пишите в комментариях свои пожелания и мнения.

Также, напишите мне, если вы хотите помочь в организации bootcamp от своего лица, или от лица компании

История того, как меня заскамили

Как вы могли заметить, я тут не особо пишу посты (Но, возможно, скоро что-то интересное будет), так как стал больше времени уделять обустройству личной жизни.

И вот две недели назад познакомился в тиндере с красивой, милой девушкой и сразу же завязалось приятное общение. Оказалась, что она из Амстердама и скоро приезжает на Кипр. Я заподозрил подвох, но номер телефона был голландский, фотки были оттуда, да и я сам так пару раз делал. Решил созвониться по видео, и она не отказала. На видео была она, да, потолстевшая, но мне ок, да, с непривычным макияжем, но она была на работе и может от этого зависит. После этого посылала свои фото, которые не гуглились и я расслабился.

Первые 5 дней все было хорошо, и я подумал, что как же мне повезло и начал уже думать над долгосрочными планами, но потом она упомянула, что занимается инвестициями, что вызвало подозрение, но пусть делает что хочет, еще через пару дней вкинула, что за пару дней заработала 20тыс баксов, еще через пару дней предложила и мне инвестировать с личного счета и что деньги никому переводить не надо. Я сказал, что это звучит как мошенничество, и думал, в таком случае она пропадет, но она написала грустное сообщение и мне стало неловко за мое недоверие( Так что я извинился и мы опять начали общаться.

Я уж подумал, не, ну так долго развод продолжаться не может и видимо все хорошо. Но через еще несколько дней она опять предложила поторговать и я опять сказал что это мошенничество и на этот раз меня уже забанили

Итого:
- Я хорошо провел почти 2 недели за хорошим общением
- Немножко разбил себе сердце(
- Получил важный опыт
- Потратил часов 20 у мошенницы и, надеюсь, этим кому-нибудь спас деньги)

Пытались ли вас развести?

Сначала люди думали, что земля плоская, а теперь, что плоские вселенная и галактики. Если так, то почему мы видим звезды со всех сторон?! Шах и мат плосковселенщики!
Они даже написали статью https://habr.com/ru/articles/721426/ советую всем прочитать, чтобы знать, что у наших врагов в головах!

Уважаемые дамы, с днём борьба за права женщин! Оставайтесь такими же прекрасным и умными. Творческой реализации вам и научных достижений!

Мы в команде давно заметили, что с VAE в Stable Diffusion 1.5 что-то не так. Оказалась, что не только мы. Тут на редите появился пост об этом. Давайте разберем проблему.

Зачем нужно VAE?
Оказалось, что генерировать картинку(и обучать) размером 1024 на 1024 может быть очень сложно, но к счастью, в картинках много избыточности(т. е. взяв рандомные пиксели мы получим шум и надо сгенерировать миллиарды рандомных картинок, чтобы хотя бы одна выглядела как что-то информативное), а значит их можно хорошо сжимать. Поэтому придумали 2 идеи.

Сжатие картинки
Сначала генерировать маленькую картинку(пиксельное пространство), а потом растягивать, или сжимать картинку в маленькую матрицу(латентное пространство) и уметь потом обратно возвращаться. Модель которая делает второе и назвали VAE.

Требования к VAE
В VAE авторы закладывали 2 важные вещи, без которых sd работал бы плохо:
1) Чтобы соседние пиксели картинки влияли только на соседние значения матрицы в латентном пространстве(и наоборот, чтобы в левом верхнем углу латентной матрицы была информация только о левом верхнем углу картинки
2) Чтобы небольшой изменение чисел в латентной матрице не приводило к сильному изменению картинки. Чтобы латентное пространство не было разряжено

Устойчивость VAE
Чтобы этого добиться, мы при обучении немного меняем значения латентной матрицы, и при этом хотим восстанавливать оригинальную картинку. Но оказалось, что это не помогло.

Какую проблему нашли
Авторы поста на редите начали занулять по одному числу в латентной матрицы sd размером 64 на 64 и смотреть как при этом, после декодирования, изменится оригинальная картинка. Предполагалось, что изменение одного числа не должно сильно сказаться на всю картинку, а только на небольшую область, и у всех чисел влияние будет равнозначным. Но этого не произошло. Ярко желтые пиксели(см фото в коментах) сильно ломали всю картинку

К чему привело
И когда обучали SD, он должен был научиться делать какие-то пиксели глобальными, и если этот пиксель предсказывали немного другим, то это влияло на всю картинку. Это должно было привести к тому, что sd обучался дольше, чем должен был, и возникновению артефактов, в том числе мог меняется оттенок всей картинки при инпейтинге.

Итого
К сожалению эту проблему не поправить, так как SD уже настроился на эту особенность и потребуется полноценное обучение на новом VAE. У SDXL такой проблемы нет.

Мы продолжим следить за событиями
Информацию увидел у https://t.me/derplearning

В Тайланде Артем https://www.linkedin.com/in/artem-toporov/ взял у меня интервью https://www.youtube.com/watch?v=eDrNyueowOs о моем пути и Kaggle. Он, кстати, ищет работу, так что скидывайте ему офферы. Еще я завел аккаунт в запрещенной сети, так что подписывайтесь https://www.instagram.com/vlomme/ ну и https://www.linkedin.com/in/vlomme/

Привет друзья, надеюсь у вас все хорошо, а будет ещё лучше.
Новый год это время когда все ставят цели, чтож, буду и я. Пусть следующий год у меня будет годом любви и уважения.
Надеюсь и у вас этого будет в достатке. Любви вам, мира и самореализации!
С новым годом!

Всем привет. С 20го декабря пару недель буду в Тайланде, Если вы чилите там, и хотите встретиться - пишите в личку.

Еще, у меня периодически просят кого-нибудь порекомендовать, думаю создать базу желающих, чтобы было из кого это делать. Что думаете?

Прямо сейчас просят работящего NLPшника, если интересно, напишите, свяжу

#английский #anki
Как и обещал пару постов выше, выкладываю код создания ANKI флеш карт для изучения английского по субтитрам. К сожалению, пока это черновик, времени привезти все это в удобный вид пока не нашлось. Если кто-то улучшит, или знает как это сделать, пишите.
https://colab.research.google.com/drive/181CruiodGTzaPWl49UWILZM3f39AtI0A?usp=sharing

# Методичка по поиску работы в ML/DS и IT в целом

В канале накопилось немало материала про поиск работы. Я собрал, дополнил и превратил всё в небольшую книжку.

Все кратко и по делу. Чтения минут на 30. Внутри рассматриваю поиск работы с самых азов и до деталей с примерами из жизни.

https://btseytlin.github.io/intro.html

Если вы давно читаете этот канал и хотели бы ему помочь, то вот лучший способ: скиньте методичку кому-то из друзей.

@boris_again

#подкаст
Искусственные мысли с Колей Форратом. ИИ, Kaggle, DS, карьера
Мы встретились с Колей Forrat, который является Kaggle Competitions Master и поболтали обо всем и не о чем. Приятного просмотра. Если будет позитивный отклик, то продолжу делать такие записи
https://www.youtube.com/watch?v=Yw5IC0CKmAw

#английский #anki
Так получилось, что мне всегда тяжело давались изучения языков. Да и необходимости раньше не было. Но пару лет назад все изменилось, и я стал учить английский. С 0 и пока только до B1. Делюсь своими идеями, а если у вас тоже есть советы, пишите в комментариях.

1) Грамматика. Я использовал онлайн сервисы(пазл, лео, дуо, гэлакси, и др). Они неплохо справились с задачей, но требуют кучу времени
2) Говорение. Тут все просто, разговорные клубы, общение с иностранцами и репетиторы. У меня это часть пока самая слабая
3) Слушание. подкасты, сериалы и фильмы(ороро, пазл муви, Яндекс музыка, и др)
4) Чтение. Новости, статьи, общение
5) Словарный запас. Anki, Lingvist, ChatGPT

Для меня сейчас основная задача - наработать вокабуляр, так что остановлюсь на этом пункте подробнее. Я сначала пробовал смотреть фильм на английском, но встречалось сильно много незнакомых слов и мозг ночью отказывался их запоминать, поэтому я стал учить слова до просмотра фильма с помощью сервисы флеш карт Anki. Работает это так.
1) Загружаю субтитры и аудиодорожку на колаб(теоретически можно и статью, или книгу)
2) Скриптом извлекаю все неизвестные мне слова
3) Автоматически обогащаю их контекстом, в котором это слово встречалось(со звуком), определением из оксфордского словаря, озвучкой. Идиомами, картинкой, примерами использования и тд
4) Создаю из этого добра карточки для Anki с разными типами заданий. Вставить пропущенное слово, написать слово по определению, или по аудио и др
5) Учу на каждое слово от 3 до 20 повторений(по 1-4 на каждый тип заданий). Если слово не запомнилось, то не расстраиваюсь и продолжу его изучать, когда оно попадаться в следующий раз.
6) Далее прохожусь по всем предложениям сериала, вспоминая перевод
7) Смотрю серию
8) Все выученные слова заношу в словарь «выучено»
9) Повторяю пункты 1-9 с другими эпизодами/фильмами

Дополнительно у каждой карточки есть ссылки на
1) https://youglish.com/pronounce/power/english - сервис где можно найти упоминание любой фразы среди всех ютуб роликов. Очень удобно для изучения примеров использования и произношения
2) https://forvo.com/word/power/ Только произношение
3) https://wooordhunt.ru/word/power Хороший словарь на русском
4) https://dictionary.cambridge.org/dictionary/english/power https://www.oxfordlearnersdictionaries.com/definition/english/power_1 Словари на английском
5) https://www.multitran.com/m.exe?l1=1&l2=2&s=power словарь с редкими значениями

Если наберем 100 огоньков, то почищу и выложу код создания Anki карт, или подниму сервис

Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!

DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.

Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).

Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.

Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)

Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.

Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).

Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)

Если остались вопросы, пишите нам на почту ([email protected]), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)

Открывается набор на лучший бесплатный русскоязычный курс по ML(по моему мнению)
Кто еще не влился, отличная возможность.
Я сам, в свое время, его смотрел, так то рекомендую

Валидация
Для того, чтобы создать валидационную выборку, достаточно простого советского…..
1. Чтобы валидация максимально сильно отличалась от трейна
2. Чтобы валидация была максимально похожа на тест(данные с прода)
Соблюдайте эти два простых правила и вы получите объективные метрики и сможете выжать максимум из задачи, подбирая модели и гиперпараметры

Всем привет. На неделю приехал в Питер, кто хочет увидеться и познакомиться, велком.
P.S. на неделе так же планирую давно обещанный пост про валидацию.

Мы тут собрались с командой получившей серебро на Kaggle Stable Diffusion (@slavabarkov @icecreamflavors), чтобы подвести итоги и обсудить решения. Приятного просмотра https://youtu.be/FuaxUbm3ypI
В комментариях можете задавать вопросы по соревнованию

В пятницу провел лекцию коллегам по генеративках в картинках. От автоэнкодера, до Stable Diffusion. Они сделали вид, что им понравилось, так что записал видео и для вас. Лекция получилась вводная, но если вам понравится, то запишу продолжение https://www.youtube.com/watch?v=l30xusW0ExA Лайки, репосты, все как вы любите.

С праздником, товарищи! Мира вам и продуктивного труда!
Хочу на следующей недели провести лекцию своим коллегам по генеративкам в картиночных моделях. От основ, как работают нейронки и что такое эмбединги, до современного состояния и отличия Dalle от Stable Diffusion. Думаю отдельно записать видео и для вас. Я с двумя вопросами, что бы вы хотели послушать по этим темам? И стоит или устроить прямую трансляцию, или лучше просто роликом?

Сегодня мне исполнилось 31, а значит самое время затронуть очень важную и личную для меня тему - важность здоровья. И что прокачиваться надо не только на kaggle, но и в тренажерном зале.

Где-то лет восемь назад я начал быстро уставать, далее начиналась подниматься температура до 39 и часто стали появляться симптомы отравления. Походы к врачу заканчивались ничем, то ставили ОРЗ, то, пока дожидался записи, обострение заканчивалось и результатов не было А однажды, чуть не вырезали аппендицит из-за болях в животе. Но после того, как меня в метро по дороге в вуз прихватило так, что думал, что умираю, решил приложить больше усилий к диагностике проблемы.

Итого, мне поставили неизлечимую, но хотя бы незаразную болезнь, отрезали часть кишки и выписали дорогостоящее лекарство. Так и живём, но, хотя бы, количество обострений снизилось на порядок.
Чтобы спасти остатки здоровья, хожу в спортзал, набрав 10 кг, и периодически обследуюсь.

Так что мой вам совет, проходите раз в несколько лет полную диспансеризацию, ведь здоровье у вас одно и восстановить его бывает очень сложно, а иногда и вовсе невозможно. Занимайтесь спортом, хотя бы пол часа в день. Поверьте, Эти инвестиции будут оправданы. Не болейте!