Hot take alert:
AGI не прийде і винний тут Чарлз Сандерс Пірс.
Для AGI, LLM має вміти в reasoning.
Класична риторика будувалась довкола знаків, прикладів і доказів. Це допомагало побудувати силогізми. Але як? На той момент, через дедуктивний та індуктивний методи. Важливий нюанс, Аристотель закладав вірогідність на рівень "знаків". Тобто, факт того, що на вулиці мокро, могло означати, що йшов дощ (а може просто трубу прорвало).
Вся ця логіка файно виглядає на простих прикладах. У вигляді ж повноцінних дебатів-спічей, використовували структурні "дерева". Тобто:
- Три сигнали складались в приклад
- Три приклади складались в доказ
- Докази, опрацьовані одним з двох методів вище, призводили до силогізму.
"Ймовірність" мала доволі малий шанс зруйнувати аргумент, тому що це була наймінорнішою конструкцією, на який будувалось все древо різонінгу (ось той приклад про дощ зверху). Тобто, навіть якщо один з сигналів був хибним, два інших все одно підтримували приклад.
До поки в 18хх не зʼявився Чарлз Пірс.
Містер Чарлз додав ще один вид - abductive reasoning. І ось він, своєю чергою, як раз таки будувався майже цілком довкола ймовірностей.
Це було логічно, тому з часів Сократа, ми трошки більше дізнались про світ, і наші інструменти змінились. Ми зрозуміли, що забагацько речей довкола нас можуть мати декілька пояснень, тому винести "ймовірності" на декілька рівнів вище домагало нам рухатись швидше в наших дослідженнях зовнішнього світу. Замість того, щоб витрачати купу часу на установлення всіх контекстів і як вони впливають на висновки, ми сказали "та і хер з ними, якщо виглядає як утка, звучить як утка, то це утка". Але є одне але, з яким ми зіштовхнулись 160 років потому.
LLM працює на ймовірностях. І "вгадує" наступне слово. З цим є одна проблема. LLM не вміє в дедукцію і індукцію. Воно вміє лише в abductive reasoning based on probabilities, тому шо це те, як ми до нього і прийшли.
Росс, шо за херня?
А вона в тому, що by design, поточна архітектура моделі віддає перевагу ймовірностям і лише симулює дедуктивні і індуктивні (тобто, основні) методи побудови різонінгу. Воно не робить фактчек, бо перевірка основного і другорядних премісів потребує розуміння контексту. А цей контекст ми, як людство, вирішили не описувати занадто детально, бо то важко (дивись: Дизайн Систем).
Ось і маємо. LLM не може в різнонінг, бо не має контекстів, щоб використати один з двох методів. А контекст схований ще глибше і його не можливо зчитати з оточуючих слів.
Все це підтверджується власне тим пейпером від Єпла, про неможливість математичного різонінгу.
Вихід?
Спробувати дістати цей context tribal knowledge, і, можливо, заборонити використання abductive reasoning на рівні датасетів, і приймати тільки дедуктивні і індуктивні пояснення.
