Ross Nazarenko Telegram Posts

Паша хоче 1000 підписників на сабстаку до кінця року.

Тому ми записали ось такий подкаст, в якому поговорили про те, чому компанії ростуть, що там з ринком роботи і ще багато всього.

https://pavlopedenko.substack.com/p/what-makes-companies-grow-and-the?utm_campaign=post&utm_medium=web

Я тут дропаутаюсь зі scaleai, шоб зробити нормальний лейбелінг medical data.

Шукаємо зараз ще одного дизайн партнера, з якими можна пройтись весь шлях. Від нас - якісні дані без маркапа (тобто, десь в 10 разів дешевше) і продукт заточений під них. З них - бажання отримати більше даних від топових експертів.

Якщо ви знаєте фарму/біотек/хелстек компаніі, якім це цікаво - буду вдячний за інтрос.

Coconut від Мета.

Ранішні версії моделі генерували відповідь одразу.

Потім ми додали reasoning tree (CoT)

Новий рісьорч пропонує створити search tree, яке досліджує варіанти, на які потім накладається continues reasoning.

Continues reasoning - це коли модель не видає назовні текст, але використовує «думку» як інпут для наступного кроку reasoning

https://arxiv.org/pdf/2412.06769

На наступному тижні запускається нова когорта на Growth курс в Проджі.

Що нового?

- Мені буде допомагати нова кураторка - Женя Гагаркіна. Женя була моєю студенткою сто років назад. Вона добряче так вміє в активацію і ретеншен, і набагато більш емпатичніша ніж я. А це означає - більше фідбеку, і цей фідбек нарешті буде вчасним (вибачте мене, остання когорто!).

- Окрім цього, до нас долучився ще і Марк - growth PM в Рефейсі. Марка я щиро так не люблю, бо він в індустрії всього пару років, але працює на рівні з мастадонтами. Я заздрю, не розумію, як він це робить, і думаю, що він точно стане VP of Growth в якомусь наступному OpenAI чи шо там буде далі. Марк буде допомагати з аналітикою і переклади з аналітичного на гроусовський.

- Peer review - я майже ніколи не робив пір-ревю, бо організаційно - це той ще челендж. Але за допомогою Жені, ми нарешті поставимо цей процес і студенти зможуть вивчити ще більше.

- Ну і є певні оновлення по програмі, але то вже сюрприз буде.

Я також приймаю участь, ведучі повністю блоки гроуз моделей, карʼєри, софт скіли, рефералку і ще трошки. Я буду доступний в слеку і буду залітати на другу частину вебінарів для розбору тестових завдань від найкращих компаній.


Є ще наче три місця, тож тойво -

https://prjctr.com/course/growth

Пошейрив думки про те, що робить компанію рости швидко.
https://rossongrowth.substack.com/p/its-not-what-i-thought-that-makes

Чому це важливо для нас? Бо я бачив, наскільки важко працював Preply, ще коли вони сиділи в коворкінгу на Кловській, і де вони тепер. Окрім того, не знаю поки жодної компанії, яка б наблизилась до такої моделі роботи. Власне, то робить мене думати, що у нас є цей культурний геп. І він трошки більший за геп у місцевих компаніях. Тому гоу читати.

Hot take alert:

AGI не прийде і винний тут Чарлз Сандерс Пірс.

Для AGI, LLM має вміти в reasoning.

Класична риторика будувалась довкола знаків, прикладів і доказів. Це допомагало побудувати силогізми. Але як? На той момент, через дедуктивний та індуктивний методи. Важливий нюанс, Аристотель закладав вірогідність на рівень "знаків". Тобто, факт того, що на вулиці мокро, могло означати, що йшов дощ (а може просто трубу прорвало).

Вся ця логіка файно виглядає на простих прикладах. У вигляді ж повноцінних дебатів-спічей, використовували структурні "дерева". Тобто:
- Три сигнали складались в приклад
- Три приклади складались в доказ
- Докази, опрацьовані одним з двох методів вище, призводили до силогізму.

"Ймовірність" мала доволі малий шанс зруйнувати аргумент, тому що це була наймінорнішою конструкцією, на який будувалось все древо різонінгу (ось той приклад про дощ зверху). Тобто, навіть якщо один з сигналів був хибним, два інших все одно підтримували приклад.

До поки в 18хх не зʼявився Чарлз Пірс.

Містер Чарлз додав ще один вид - abductive reasoning. І ось він, своєю чергою, як раз таки будувався майже цілком довкола ймовірностей.

Це було логічно, тому з часів Сократа, ми трошки більше дізнались про світ, і наші інструменти змінились. Ми зрозуміли, що забагацько речей довкола нас можуть мати декілька пояснень, тому винести "ймовірності" на декілька рівнів вище домагало нам рухатись швидше в наших дослідженнях зовнішнього світу. Замість того, щоб витрачати купу часу на установлення всіх контекстів і як вони впливають на висновки, ми сказали "та і хер з ними, якщо виглядає як утка, звучить як утка, то це утка". Але є одне але, з яким ми зіштовхнулись 160 років потому.

LLM працює на ймовірностях. І "вгадує" наступне слово. З цим є одна проблема. LLM не вміє в дедукцію і індукцію. Воно вміє лише в abductive reasoning based on probabilities, тому шо це те, як ми до нього і прийшли.

Росс, шо за херня?

А вона в тому, що by design, поточна архітектура моделі віддає перевагу ймовірностям і лише симулює дедуктивні і індуктивні (тобто, основні) методи побудови різонінгу. Воно не робить фактчек, бо перевірка основного і другорядних премісів потребує розуміння контексту. А цей контекст ми, як людство, вирішили не описувати занадто детально, бо то важко (дивись: Дизайн Систем).

Ось і маємо. LLM не може в різнонінг, бо не має контекстів, щоб використати один з двох методів. А контекст схований ще глибше і його не можливо зчитати з оточуючих слів.

Все це підтверджується власне тим пейпером від Єпла, про неможливість математичного різонінгу.

Вихід?

Спробувати дістати цей context tribal knowledge, і, можливо, заборонити використання abductive reasoning на рівні датасетів, і приймати тільки дедуктивні і індуктивні пояснення.

Починаємо ось тут: https://www.youtube.com/watch?v=v6qGAXhONpY

Говоримо з Павлом про пошук роботи в 2025

А є у мене хтось з Uber тут?
Шукаю виходи на ось цю команду - https://techcrunch.com/2024/11/26/uber-is-building-a-fleet-of-gig-workers-to-label-data-for-ai-models/

Всім привіт!

Разом з Росом Назаренко (@RossNazarenko) домовились зробити благодіний стрім про пошук роботу та побудову кар’єри в product / growth в Британії та США.

Будемо збирати донати на KOLO, відповідати на ваші запитання, ділитися власним досвідом.

Заплануйте собі час - наступна п’ятниця, 18:00 по Києву.

Посилання тут: https://www.youtube.com/watch?v=v6qGAXhONpY

ПОСТАВТЕ СОБІ НАГАДУВАННЯ ЗАРАЗ.

7го грудня запускаємо з Проджем інтенсив про пошук роботи.

https://prjctr.com/course/landing-a-tier-1-job

А тізеріть як то - шукати роботу на цьому ринку, будемо з Пашою за донати на Коло.