A/B testing

​​False Positive Risk in A/B Testing

There is a much greater probability than generally expected that a statistically significant test outcome is in fact a false positive. In industry jargon: that a variant has been identified as a “winner” when it is not.

https://georgi-georgiev.medium.com/false-positive-risk-in-a-b-testing-ba2c76e258c4

via @ABtesting

​​The good Lukas Vermeer’s A/B testing game simulator is here. It’s an interactive way to understand hypothesis testing better.

You control the backlog and running experiments for a small development team. Each day you make decisions that impact product development and overall sales.

Your objective is to maximise total sales.

via @ABtesting

​​It takes a Flywheel to Fly: Kickstarting and Keeping the A/B testing Momentum

Practitioners from hundreds of companies and several different industries reached out with thoughts, concerns and tips on how to kickstart and scale an A/B testing program from “Crawl” or “Walk” milestones, to the “Run” or “Fly” stages.

via @ABtesting

​​Four Ways to Improve Statistical Power in A/B Testing (without increasing test duration, duh)

Exploration simple and potent techniques for enhancing power without prolonging test durations. By grasping the significance of key parameters such as allocation, MDE, and chosen KPIs, data analysts can implement straightforward strategies to elevate the effectiveness of their testing endeavors. This, in turn, enables increased data collection and provides deeper insights into their product.

via @ABtesting

​​Beyond the limitation of A/B Testing using Causal Inference

In the realm of product management and development, understanding the impact of new campaign (aka treatment) releases on user behavior is crucial. Campaign assessing effect on key performance indicators, such as retention metrics (specifically, Day 1 retention or D1), becomes a pivotal task.

However, this task presents several challenges. While A/B testing is commonly employed to measure such impacts, it is not always a viable option due to ethical, practical, or financial constraints.

@ProductAnalytics

​​Ми в MacPaw шукаємо продуктового аналітика з досвідом у web-аналітиці та бажанням працювати над маркетинговими задачами.

MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.

40+ аналітиків, багато різноманітних сервісних команд, які допомагають продуктовим аналітикам робити їх роботу краще. Можливість працювати віддалено.

Вакансія за посиланням:

👉 Product Analyst (Marketing).

​​Computing Minimum Sample Size for A/B Tests in Statsmodels: How and Why

A deep-dive into how and why Statsmodels uses numerical optimization instead of closed-form formulas.

@ABtesting

​​The downsides of experimentation

The article help you to delve into the less discussed, yet critical, aspects of experimentation.

@ProductAnalytics

​​When You Should Prefer “Thompson Sampling” Over A/B Tests

An in-depth explanation of “Thompson Sampling”, a more efficient alternative to A/B testing for online learning

@ABtesting

​​Delusive Extrapolation and A/B Testing

Cautionary Tales of Complexity and the Dangers of Jumping to Conclusions

@ABtesting

​​The Five Types of A/B Test Decisions

https://www.harlan.harris.name/2023/07/the-five-types-of-a-b-test-decisions/

@ABtesting

​​Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" - тепер із фокусом на машинне навчання (ML), штучний інтелект (АІ) та роботу з даними!

Програма стартує 18 вересня та націлена на програмістів, IT-інженерів, студентів IT-спеціальностей і точних наук, а також нетехнічних фахівців, які працюють із даними.

Учасники програми отримають:

✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost
✔️практичний досвід
✔️індивідуальні напрями навчання, зокрема з фокусом на АІ, ML та дані
✔️призи від Google
✔️безкоштовні ваучери на сертифікаційний іспит Google Cloud
✔️поради від експертів із хмарних технологій

🔗 Долучайтеся до програми за посиланням!

An Introduction to Bayesian A/B Testing in Stan, R, and Python workshop - цікавий воркшоп від Dariia Mykhailyshyna за донат.

Про основи байєсівського підходу до A/B тестування та теорії прийняття рішень для аналізу великомасштабних експериментів у промислових умовах.

Більше корисних воркшопів тут.

@ABtesting

​​Як обійти обмеження Google Optimize при аналізі результатів A/B-тестування використовуючи BigQuery та Python зі зразками коду.

@BigQuery

​​Difference-in-Differences

Метод оцінки ефекту змін у випадку, коли немає змоги провести A/B-тест.
+ приклад реалізації на Python.

@ABtesting

​​BigQuery UDF for A/B-testing

Automate the calculations of experimental results in BigQuery via User Defined Function.

@BigQuery.

​​Валідація продуктових гіпотез

Підходи до валідації та про А/Б тестування.

@ABtesting

​​AB testing in real life step-by-step.

+ repository with the code on GitHub

@ABtesting

​​Variance reduction in experiments using covariate adjustment techniques by Data Scientists at Glovo

@ABtesting

​​Optimizing Marketing Strategies using A/B Testing with Machine Learning (Part 1, Part 2)

via @ABtesting