Data Science | Тесты

🤔 Как решить задачу, где присутствует одновременно два target – один categorical, другой continuous?

Используются модели multi-output, которые обучаются на несколько целевых переменных, например, через отдельные выходные слои в нейросети.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

📺 Уникальная база IT собеседований

456+ реальных собеседований на программиста, тестировщика, аналитика и прочие IT профы.

Есть собесы от ведущих компаний: Сбер, Яндекс, ВТБ, Тинькофф, Озон, Wildberries и т.д.

🎯 Переходи по ссылке и присоединяйся к базе, чтобы прокачать свои шансы на успешное трудоустройство!

🤔 Что будет с целевой меткой с предсказаниями, если обучалась на неотрицательной целевой метке?

Модель будет предсказывать только неотрицательные значения, что может ограничивать её применение.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какие лоссы есть?

Основные лоссы: MSE, MAE для регрессии; Cross-Entropy, Hinge Loss для классификации. Выбор зависит от задачи и типа данных.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какие современные архитектуры языковых моделей известны?

Ключевые архитектуры включают BERT, GPT, Transformer, T5 и их производные. Эти модели используют механизмы внимания и самообучения для работы с текстами.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Зачем нужен метод dir для объектов?

Метод dir возвращает список атрибутов и методов объекта, упрощая исследование структуры объекта и доступных методов.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

Ищу работу пол года

Практически под каждым постом в этом канале я вижу комментарии от людей, которые ищут работу по полгода. Это перерастает в обсуждение того, как нужно (или не нужно) искать работу, почему процесс найма сломан и как они откликались на фейковые вакансии.

Честно говоря, искать работу полгода — это нонсенс. Очевидно, что человек делает что-то не так. Главная ошибка, которую совершают многие, — это создание иллюзии поиска работы.

То есть человек вроде бы ищет работу, но делает это неэффективно, тратя время на нецелевые действия. Например:

➖ Просматривает вакансии перед откликом.
➖ Пытается понять, подходит ли он под вакансию. Если считает, что не подходит — не откликается.
➖ Пишет сопроводительные письма (иногда даже уникальные под каждую вакансию).
➖ Заполняет анкеты, проходит тесты.

Все эти действия отнимают время, но не приводят к результату.

Почему это не работает?

HR-менеджер не может вручную отсмотреть 2000 откликов, оценить каждое резюме и прочитать сопроводительные письма. Поэтому компании используют ATS-системы (системы автоматического подбора), которые анализируют резюме и определяют процент его соответствия вакансии.

Что делать, чтобы повысить шансы?

1️⃣ Добавить ключевые навыки в резюме — и в основной текст, и в теги. Возьмите их с easyoffer.ru

2️⃣ Убрать нерелевантный опыт, оставить только подходящий.

3️⃣ Оформить опыт так, чтобы он выглядел релевантным. Если у вас его нет, укажите проекты, стажировки или другой опыт, который можно представить как работу от 1 года. Если опыт слишком большой, сузьте его до 6 лет.

4️⃣ Откликаться на все вакансии без разбору. Если вы Junior, не ищите только стажер или Junior-вакансии — пробуйте везде. Не отказывайте себе сами, пусть это решит HR

5️⃣ Сделать резюме публичным, потому что HR-менеджеры часто ищут кандидатов не только среди откликов, но и в базе резюме.

6️⃣ Используйте ИИ по минимуму – ATS-системы считывают это и помечают "сгенерировано ИИ"

‼️ Главное правило: чем больше откликов — тем выше шанс получить оффер. Делайте резюме удобным для ATS-систем, и вас заметят.

1. Посмотрите видео о том как я вывел свою резюме в Топ1 на HH
2. Посмотрите видео как я нашел первую работу
3. Прочитайте этот кейс про оптимизацию резюме

Если прям вообще тяжело.

Создайте несколько разных резюме. Создайте 2, 3 да хоть 10 резюме. Настройте авто-отлики и ждите приглашения на собесы.

Не нужно создавать иллюзию поиска работы, сделайте несколько простых и актуальных действий.

🤔 Как систематическая ошибка и дисперсии связаны между собой?

Высокая систематическая ошибка (bias) уменьшает сложность модели, но снижает точность, а высокая дисперсия (variance) приводит к переобучению. Баланс между ними важен для оптимальной работы модели.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

⚡️ В сети начали массово сливать курсы и книги известных онлайн школ по айти

Вот отсортированная база с тонной материала (постепенно пополняется):

БАЗА (4687 видео/книг):

(363 видео, 87 книги) — Python
(415 видео, 68 книги) — Frontend
(143 видео, 33 книги) — ИБ/Хакинг
(352 видео, 89 книги) — С/С++
(343 видео, 87 книги) — Java
(176 видео, 32 книги) — Git
(293 видео, 63 книги) — C#
(174 видео, 91 книги) — DevOps
(167 видео, 53 книги) — PHP
(227 видео, 83 книги) — SQL/БД
(163 видео, 29 книги) — Linux
(114 видео, 77 книги) — Сисадмин
(107 видео, 43 книги) — BA/SA
(181 видео, 32 книги) — Go
(167 видео, 43 книги) — Kotlin/Swift
(112 видео, 24 книги) — Flutter
(137 видео, 93 книги) — DS/ML
(113 видео, 82 книги) — GameDev
(183 видео, 37 книги) — Дизайн
(129 видео, 73 книги) — QA
(213 видео, 63 книги) — Rust
(121 видео, 24 книги) — 1С
(136 видео, 33 книги) — PM/HR

Скачивать ничего не нужно — все выложено в Telegram

🤔 В чем различия между методами apply и applymap?

apply применяется к строкам или столбцам DataFrame, а applymap – к каждому элементу DataFrame. apply универсальнее и может обрабатывать как строки, так и столбцы.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

Привет, ребята!
1,5 года я учился на программиста, а сайт easyoffer.ru стал моим пет-проектом. Я создавал его, потому что:
а) нужно было добавить хоть какой-нибудь проект в резюме
б) подготовиться к прохождению собесов

И всё получилось! Благодаря еasyoffer я успешно прошёл собеседование и устроился Python Junior-разработчиком на удаленку с зарплатой 115 тысяч рублей.

Однако ещё во время разработки я понял, что у этого проекта есть потенциал. Казалось, что сайт может стать популярным и, возможно, превратиться в стартап.

По-этому я с самого начала заложил в проект минимальную бизнес-модель, на случай, если сайт начнёт набирать трафик. Я предложил пользователям полный доступ к сайту в обмен на подписку на Telegram-каналы. Это позволяло развивать аудиторию, а в будущем — зарабатывать на рекламе.

Результат превзошёл ожидания!
С момента запуска easyoffer посетило 400 тысяч человек. А когда доход с рекламы превысил мою зарплату программиста, я принял решение уйти с работы и полностью посвятить себя разработке новой версии сайта.

Вот так, зайдя в IT, через 4 месяца вышел через свой же пет-проект. Мне очень повезло

Уже год я работаю над easyoffer 2.0.
Это будет более масштабный и качественной новый проект:
– Появится тренажер
– Появятся задачи из собесов
– Фильтрация контента по грейдам
и еще очень много фич, о которых я расскажу позже.

Хочу, довести easyoffer до ума, чтобы сайт стал настоящим помощником для всех, кто готовится к собеседованиям.
По этому в ближайшее время я объявлю о старте краудфандинговой кампании, чтобы ускорить разработку и я готов щедро отблагодарить всех, кто поддержит проект.

А те, кто поддержат проект первыми, получат специальные лимитированные выгодные вознаграждения. Следите за этим телеграм каналом, если хотите стать первыми сапортерами.

🤔 Чем отличаются str и repr?

str возвращает строковое представление объекта для пользователей, а repr – детализированное представление для разработчиков, предназначенное для отладки. Например, repr может вернуть полные данные, чтобы восстановить объект.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Как работают несимметрические метрики?

Несимметрические метрики, такие как Precision и Recall, оценивают разные аспекты работы модели, учитывая несбалансированные классы. Precision показывает долю истинно положительных среди всех предсказанных положительных, а Recall – долю найденных положительных объектов среди всех существующих.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Виды метрик машинного обучения.

1. Для классификации:
- Accuracy: доля верных предсказаний.
- Precision: точность предсказаний класса.
- Recall: полнота предсказаний класса.
- F1-score: сбалансированная метрика точности и полноты.
- ROC-AUC: качество модели при разных порогах.
2. Для регрессии:
- MSE: среднеквадратичная ошибка.
- MAE: средняя абсолютная ошибка.
- R²: объясненная доля дисперсии.
3. Для кластеризации:
- Silhouette Score: качество разделения кластеров.
- Dunn Index: компактность и разделенность кластеров.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Как объяснить бизнесу метрику машинного обучения?

1. Сфокусируйтесь на бизнес-цели: Объясните, как метрика напрямую влияет на цели компании (например, рост прибыли, снижение ошибок).
2. Избегайте технических терминов: Переведите метрику в понятные термины, например, "точность модели" — это процент правильно принятых решений.
3. Приведите примеры: Покажите, как изменения метрики влияют на реальные сценарии (например, снижение ошибок классификации улучшает качество обслуживания).

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Что такое boxplot?

Это график, показывающий распределение данных. Он визуализирует:
1. Медиану: центральное значение данных.
2. Квартиля: нижний и верхний (25% и 75%).
3. "Усы": разброс данных за пределами квартилей.
4. Выбросы: значения, выходящие за пределы нормального диапазона.
Используется для анализа распределения и выявления аномалий.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Что такое Fitch Engineering?

Это подход, применяемый в инженерных решениях для системной оптимизации процессов. Он связан с выбором оптимальных стратегий проектирования, особенно в контексте архитектуры программных систем или машинного обучения. В ML используется для разработки масштабируемых и эффективных решений.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какой функционал оптимизируется в задаче линейной регрессии? Как записать это в векторной записи?

Оптимизируется ошибка между предсказанными и фактическими значениями, минимизируя среднеквадратичное отклонение, что позволяет определить параметры модели.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какие есть детекторы и архитектуры в CV?

Классические: SIFT, HOG. Современные архитектуры: YOLO, SSD, Faster R-CNN для детекции объектов, U-Net, DeepLab для сегментации.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 При свёртке картинки HxW матрицей 3x3, что получится в итоге?

Результирующий размер изображения будет (H−2)×(W−2)(H-2) \times (W-2), если не использовать дополнение, так как свёртка "обрезает" края.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Сколько слоёв многослойного перцептрона с линейной функцией активации понадобится для приближения полинома третьей степени?

Одного слоя недостаточно, так как линейные функции не способны моделировать нелинейности. Нужны нелинейные функции активации для успешного приближения.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какими должны быть распределения для t-теста?

Для стандартного t-теста данные должны быть:
1. Нормально распределёнными.
2. Иметь одинаковую дисперсию между группами.
Если эти условия не выполняются, используют его модификации или непараметрические тесты.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Как сгенерировать распределение, исходя из выборок?

1. Использовать метод бутстрепинга для повторного выборочного моделирования.
2. Рассчитать параметры распределения (среднее, дисперсию) и использовать их для генерации данных.
3. Применить библиотеки, например, numpy.random для моделирования нужного распределения.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Как оценивать эффективность работы рекомендательных моделей?

Используются метрики:
1. Precision@K и Recall@K для точности и полноты рекомендаций.
2. NDCG для оценки релевантности на основе позиций элементов.
3. Coverage — доля уникальных рекомендованных элементов.
4. Оценка на основе A/B-тестов или пользовательских метрик, таких как удержание.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Что такое декоратор?

Это функция, модифицирующая или расширяющая поведение другой функции или метода, не изменяя их исходный код. Используется для добавления функциональности, например, логирования, проверки прав доступа или кэширования. Обозначается с помощью @decorator_name.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Чем отличается итератор от генератора?

Итератор — это объект с методами iter и next, позволяющий поочерёдно перебирать элементы. Генератор — это удобная форма итератора, создаваемая функцией с использованием yield, которая сохраняет своё состояние между вызовами. Итераторы требуют ручной реализации, а генераторы упрощают создание итераций.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🧠 Machine Learning — авторский канал, где собрана вся база по ИИ и машинному обучению.

Senior разработчик AI-алгоритмов и автономных агентов, разбирает гайды, редкую литературу и код топовых моделей машинного обучения и искусственного интеллекта.

В 2025 году ИИ выйдет на совершенно новый уровень тот, кто не успеет за прогрессом - отстанет, а кто разберется - сорвет куш.

Стоит подписаться: t.me/ai_machinelearning_big_data

🤔 В чём смысл Information Value (IV)?

Это метрика, используемая для оценки предсказательной способности признака относительно целевой переменной.
1. Высокое значение IV говорит о сильной связи между признаком и целевой переменной.
2. Часто используется в кредитном скоринге для выбора наиболее значимых признаков.
3. Значения IV помогают определить, какие признаки следует включить в модель, а какие можно исключить.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

📊 Реклама в сети телеграм каналов easyoffer
✈️ Для заказа пишите @easyoffer_adv

easyoffer
Backend

Python | Вопросы
Python | Удалёнка
Python | LeetCode
Python | Тесты

Frontend | Вопросы
Frontend | Удалёнка
JavaScript | LeetCode
Frontend | Тесты

Java | Вопросы
Java | Удалёнка
Java | LeetCode
Java | Тесты

Тестировщик | Вопросы
Тестировщик | Удалёнка
Тестировщик | Тесты

Data Science | Вопросы
Data Science | Удалёнка
Data Science | Тесты

C# | Вопросы
C# | Удалёнка
C# | LeetCode
C# | Тесты

C/C++ | Вопросы
C/C++ | Удалёнка
C/C++ | LeetCode
C/C++ | Тесты

Golang | Вопросы
Golang | Удалёнка
Golang | LeetCode
Golang | Тесты

DevOps | Вопросы
DevOps | Удалёнка
DevOps | Тесты

PHP | Вопросы
PHP | Удалёнка
PHP | LeetCode
PHP | Тесты

Kotlin | Вопросы
Kotlin | Удалёнка
Kotlin | LeetCode
Kotlin | Тесты

Swift | Вопросы
Swift | Удалёнка
Swift | LeetCode
Swift | Тесты

📊 Реклама в сети телеграм каналов easyoffer
✈️ Для заказа пишите @easyoffer_adv

🤔 Можно ли тьюнить только Batch Norm?

1. Да, параметры Batch Norm, такие как скорость обучения, моментум и гамма/бета, могут быть настроены для улучшения обучения.
2. Однако тьюнинг только Batch Norm может быть недостаточен без оптимизации других частей модели.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какие есть проблемы с Batch Norm?

1. Зависимость от мини-батчей: небольшие батчи могут приводить к нестабильной оценке среднего и дисперсии.
2. Сложности с применением в рекуррентных сетях: последовательность данных может вызывать проблемы с нормализацией.
3. Увеличение вычислительных затрат: дополнительные параметры и операции замедляют обучение.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Что такое метод максимизации правдоподобия?

Это статистический метод оценки параметров модели.
1. Идея состоит в нахождении параметров, которые максимизируют вероятность наблюдения данных при заданной модели.
2. Часто используется в задачах регрессии, классификации и моделирования вероятностей.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Почему в картинках используют Standard Scaling вместо MinMax Scaling?

Standard Scaling (z-score normalization) чаще используется для обработки изображений, поскольку:
1. Он центрирует данные вокруг нуля и масштабирует их на основе стандартного отклонения, что улучшает производительность моделей, чувствительных к масштабам.
2. MinMax Scaling, преобразующий значения в диапазон [0, 1], может терять информацию о дисперсии пикселей.
3. Standard Scaling более устойчив к изменению контрастности и яркости изображений.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Где использование линейных моделей целесообразно?

Линейные модели применяются, когда данные линейно разделимы или зависимости между признаками и целевой переменной близки к линейным.
1. Они эффективны на высоких объёмах данных благодаря низкой вычислительной сложности.
2. Хорошо интерпретируемы, что важно в задачах с требованием объяснимости.
3. Используются в случаях, когда признаки предварительно масштабированы и очищены.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какие значения может давать предсказание модели?

1. Для задачи классификации — вероятности классов или метки классов.
2. Для задачи регрессии — числовые значения.
3. Сложные ансамблевые модели могут давать средние или взвешенные значения нескольких прогнозов.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Какие есть 2 случайности в обучении модели случайного леса?

1. Случайность в выборе подмножества данных: для каждой модели дерева случайный лес использует метод bootstrap, выбирая случайные подмножества обучающего набора.
2. Случайность в выборе признаков: на каждом узле дерева выбирается случайное подмножество признаков для поиска лучшего разбиения.
Эти случайности способствуют снижению переобучения и повышению обобщающей способности модели.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Что будет с целевой меткой с предсказаниями, если обучалась на неотрицательной целевой метке?

Если модель обучалась на неотрицательной целевой метке (например, значение продаж), она, как правило, будет предсказывать неотрицательные значения.
Однако модель может выдавать отрицательные значения в случае:
• Регрессионных задач без ограничений, если данные недостаточно информативны.
Для устранения этой проблемы применяют методы, такие как регуляризация или трансформация целевой переменной.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Почему нельзя использовать дерево, если переменная непредобработана?

Деревья принимают решения на основе пороговых значений, и непредобработанные переменные могут привести к неверным или неэффективным разбиениям.
1. Категориальные переменные без кодирования (например, текст) не могут быть обработаны деревьями.
2. Пропущенные или масштабно несбалансированные данные могут искажать результаты.
Предобработка помогает улучшить качество разбиений и повысить производительность модели.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Почему нейронные сети усложняют добавлением слоёв, а не количеством нейронов в слое?

1. Добавление слоёв увеличивает глубину: Это позволяет моделировать более сложные зависимости и иерархические признаки (например, в изображениях).
2. Слишком много нейронов в одном слое приводит к избыточности: Сеть может переобучаться или не быть эффективной.
3. Слои способствуют обучению на разных уровнях абстракции: Например, начальные слои выделяют простые признаки (линии, края), а более глубокие — сложные (объекты).
4. Увеличение количества нейронов вместо слоёв может повысить вычислительную сложность без значительного увеличения эффективности.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Почему в нейронных сетях нельзя инициализировать веса нулями?

1. Симметричность: При инициализации весов нулями все нейроны в слое начинают обучение одинаково, что делает их идентичными.
2. Отсутствие обучения: Градиенты для всех нейронов слоя будут одинаковыми, из-за чего они не смогут различаться и обучаться.
3. Решение: Инициализация случайными значениями разрывает симметрию, позволяя нейронам обучаться независимо друг от друга.
Стандартные методы, такие как He или Xavier инициализация, обеспечивают оптимальный начальный размах весов.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Разница между K-Means и KNN

1. K-Means (кластеризация):
o Используется для группировки данных в кластеры на основе схожести.
o Это алгоритм обучения без учителя.
o Результат — центры кластеров, данные распределяются вокруг них.
2. KNN (K-Nearest Neighbors):
o Алгоритм классификации или регрессии, находящий ближайших соседей для прогнозирования.
o Это алгоритм обучения с учителем.
o Результат зависит от разметки данных (меток классов).

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 В чём разница между методом GMM и K-Means?

1. K-Means:
o Основан на разделении данных по расстояниям до центроидов (жёсткое разделение).
o Каждая точка принадлежит только одному кластеру.
2. GMM (Gaussian Mixture Model):
o Использует вероятностный подход: каждая точка имеет вероятность принадлежности к каждому кластеру (мягкое разделение).
o Кластеры формируются на основе распределений Гаусса, что делает GMM более гибким для сложных данных.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 Как систематическая ошибка и дисперсия связаны между собой?

Систематическая ошибка (bias) и дисперсия (variance) образуют компромисс: уменьшение одной часто увеличивает другую. Высокая bias связана с недообучением, а высокая variance — с переобучением. Баланс между ними достигается через выбор подходящей модели, настройки гиперпараметров и использования регуляризации.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний

🤔 В чем разница между L1 и L2 регуляризацией?

L1-регуляризация (Lasso) добавляет сумму модулей весов к функции потери, склоняя веса к нулю, что способствует разреженности. L2-регуляризация (Ridge) добавляет сумму квадратов весов, уменьшая их величину, но не зануляя. L1 эффективна для отбора признаков, а L2 — для стабилизации модели и борьбы с переобучением.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний