Восстание машин
ML-легушька Telegram 帖子
Гений, стартапер, плейбой, филантроп
Для связи: @MLfroge
Для связи: @MLfroge
3,018 订阅者
1,297 张照片
116 个视频
最后更新于 28.02.2025 21:12
ML-легушька 在 Telegram 上分享的最新内容
Чем отличается лампочка от программиста?
Лампочка перестает работать когда перегорит
Лампочка перестает работать когда перегорит
Давайте пообщаемся немного. Ссылка для анонимных вопросов:
t.me/questianonbot?start=463607823b
t.me/questianonbot?start=463607823b
Планы на 14 февраля: работа, спортзал и созвон с научным руководителем
Только что была очень смешная ситуация.
Подхожу на ресепшен в РЭШ, прошу выдать пропуск, показываю паспорт.
Женщина начинает искать. А я же бороду сбрил, она видимо подумала что я студент вышкинский или еще кто.
Добавляю «на преподавателя». У нее было настолько выразительное лицо и фраза «А..» в этот момент. И она уже начинает в другом журнале искать.
Подхожу на ресепшен в РЭШ, прошу выдать пропуск, показываю паспорт.
Женщина начинает искать. А я же бороду сбрил, она видимо подумала что я студент вышкинский или еще кто.
Добавляю «на преподавателя». У нее было настолько выразительное лицо и фраза «А..» в этот момент. И она уже начинает в другом журнале искать.
Если правильно упорядочить любой набор точек то вы получите AGI за 2 года
Зачем нам вся эта математика бахнем ML все и так заработает. Или нет?
Сегодня разберем следующую 'оптимизационную' задачу. Мы хотим найти максимум ф-ии f на некотором ограниченном домене, при это f отделима от нуля на этом домене и монотонна. В чем же сложность, если f - монотонная ф-ия? В том, что есть дополнительное условие - xf(x) <= b. Существуют задачи в индустрии, на которых завязано много денег и которые формулируются подобным образом. Фактически, нужно решить уравнение xf(x)=b.
Дополнительная проблема в том, что мы не знаем вид функции f, и даже не можем взять ее градиент. Все что мы можем - измерить значение f в некоторой точке. В оптимизации это называется оракулом нулевого порядка. Соответственно, оракул 1ого порядка - знаем значение функции и ее градиента, второго порядка - то же что и ранее + гессиан, и так далее.
Вспомним метод простой итерации. Как он формулируется? Нужно найти сжимающее отображение, которое в итоге будет сходиться к нужной точке. Однако алгоритмически подобрать сжимающее отображение не очень возможно. К счастью, тут его придумать просто.
Например, отображение g(x) = a* x + (1 - a) * b/f(x). Идейно понятно, почему оно сходится к решению - если x слишком большой, тогда b/f(x) < x, и мы его уменьшим, иначе увеличим. На картинке приведено доказательство, почему для этого отображения наше решение - неподвижная точка.
Почему это круто? Ну... Метод сходится геометрически, на практике за 4-5 итераций, что важно, если измерить значение функции f сложно. Подобную тактику можно использовать для подбора гиперпараметров каких-то моделей, если мы идейно представляем, как устроена зависимость лосса от конкретно этого гиперпараметра. Также подобный метод никак не привязан ко времени, и адаптируется, если ф-ия f между итерациями меняется, но не сильно.
Вот так простая математика позволяет зарабатывать деньги. Формальное доказательство что это сжимающее отображение приводить не буду ибо оно немного громоздкое и также следует из свойств метода простой итерации.
Также легко обобщается на стохастический случай, можете попробовать в комментариях :)
Сегодня разберем следующую 'оптимизационную' задачу. Мы хотим найти максимум ф-ии f на некотором ограниченном домене, при это f отделима от нуля на этом домене и монотонна. В чем же сложность, если f - монотонная ф-ия? В том, что есть дополнительное условие - xf(x) <= b. Существуют задачи в индустрии, на которых завязано много денег и которые формулируются подобным образом. Фактически, нужно решить уравнение xf(x)=b.
Дополнительная проблема в том, что мы не знаем вид функции f, и даже не можем взять ее градиент. Все что мы можем - измерить значение f в некоторой точке. В оптимизации это называется оракулом нулевого порядка. Соответственно, оракул 1ого порядка - знаем значение функции и ее градиента, второго порядка - то же что и ранее + гессиан, и так далее.
Вспомним метод простой итерации. Как он формулируется? Нужно найти сжимающее отображение, которое в итоге будет сходиться к нужной точке. Однако алгоритмически подобрать сжимающее отображение не очень возможно. К счастью, тут его придумать просто.
Например, отображение g(x) = a* x + (1 - a) * b/f(x). Идейно понятно, почему оно сходится к решению - если x слишком большой, тогда b/f(x) < x, и мы его уменьшим, иначе увеличим. На картинке приведено доказательство, почему для этого отображения наше решение - неподвижная точка.
Почему это круто? Ну... Метод сходится геометрически, на практике за 4-5 итераций, что важно, если измерить значение функции f сложно. Подобную тактику можно использовать для подбора гиперпараметров каких-то моделей, если мы идейно представляем, как устроена зависимость лосса от конкретно этого гиперпараметра. Также подобный метод никак не привязан ко времени, и адаптируется, если ф-ия f между итерациями меняется, но не сильно.
Вот так простая математика позволяет зарабатывать деньги. Формальное доказательство что это сжимающее отображение приводить не буду ибо оно немного громоздкое и также следует из свойств метода простой итерации.
Также легко обобщается на стохастический случай, можете попробовать в комментариях :)
Поздравляю всех причастных с днем российской науки!
Сегодня не успел, но завтра выкачу содержательных постов. Будет рассмотрена интересная оптимизационная задача с ограничениями и безградиентным решением.
Поставьте огонек если хотите
Сегодня не успел, но завтра выкачу содержательных постов. Будет рассмотрена интересная оптимизационная задача с ограничениями и безградиентным решением.
Поставьте огонек если хотите
