Out of Distribution

از چند سال پیش، زمانی که فیلم زیبای Kingdom of Heaven رو دیدم، این شخصیت بالدوین چهارم برام جالب شد. در ۱۳ سالگی پادشاه اورشلیم می‌شه، در ۱۶ سالگی صلاح‌الدین ایوبی با اون عظمت و نبوغ رو شکست می‌ده، درگیر جذام می‌شه تا حدی که مجبور میشه باقی عمر صورتش رو پشت نقاب مخفی کنه. کشورش رو جلوی صلاح‌الدین حفظ می‌کنه و نهایتا هنوز به ۲۴ سالگی نرسیده جذام سرانجام زندگیش رو نیمه‌کاره تموم می‌کنه. چطور با وجود درهم‌امیختگی پادشاهی و جذامی‌بودن، زندگی رو تونسته دووم بیاره و با خودش چی فکر می‌کرده. من زدم صلاح‌الدینی که همه رو شکست می‌ده رو تو نوجوانی‌ام شکست دادم بعد حالا از جذام ظاهرم رو هم از دست دادم و دارم می‌میرم. نمادی از همین قدر زندگی الکی، بی‌وفا، بی‌معنی.

صفر تا صد llm برای مخاطب عام به روایت کارپثی

آندره کارپثی که بنده ارادت بسیاری به ایشان دارم، یک ویدئو جدید سه ساعت و نیمه با عنوان Deep Dive into LLMs like ChatGPT ضبط کرده و برای مخاطب عام، کلیات ماجرا رو توضیح میده. از همون صفر ماجرا، یعنی شبکه عصبی گرفته تا ورودی و خروجی مدل زبانی و توکنایزیشن گرفته تا بعدش نحوه آموزش llm‌ها و الزامات دیتایی که برای آموزششون نیازه و مسائلی که سمت اینفرنسشون هست و انواع مراحل پایپلاین آموزششون نظیر PT و SFT و RLHF و حتی این ابتکارات اخیری که Deep Seek در زمینه RL زدن روی LLM به خرج داده رو هم توضیح داده.

کاش تو هر فیلد دیگه‌ای هم یکی پیدا می‌شد همین کارها رو برای چیزهای دیگه از تکنولوژی‌های مهندسی‌ نرم‌افزار و DevOps گرفته تا مسائل تئوریک کامپیوتر ساینس و از اونور تا اقتصاد و فیزیک نسبیت و کوانتوم می‌کرد (کاملا مشخصه از چه چیزهایی رنج می‌برم). گرچه نمی‌دونم آیا این خاصیت دیپ لرنینگ هست که خیلی سست و راحته یا این که فرهنگ اوپن سورس بین ملتش بیش از حد خداپسندانه است.

پی‌نوشت بعدی: کارپثی آدمیه که اراده کنه بهترین شرکت‌های دنیا می‌تونه بالاترین role‌ها رو داشته باشه این که به چه انگیزه‌ای داره وقت می‌گذاره این کارها رو میکنه جالبه برام.

لینک:
https://www.youtube.com/watch?v=7xTGNNLPyMI

روزم به غم جهان فرسوده گذشت
شب در هوس بوده و نابوده گذشت

عمری که ازو دمی جهانی ارزد
القصه به فکرهای بیهوده گذشت

ابوسعید ابوالخیر

جایگزینی برای کراس انتروپی

صبح یک مقاله جالب دیدم که البته باعث افسردگیم شد. ایده‌اش اینه که پیشنهاد داده لاس cross entropy رو با یک لاس دیگه که خودش اسمش رو گذاشته harmonic loss جایگزین کنیم. لاسش این شکلیه که عوض این که لایه قبلی رو در ماتریس وزن ضرب داخلی کنه و بعد سافتمکس بگیره، میاد برای هر کلاس، یک بردار قابل یادگیری در نظر می‌گیره و بعد فاصله رپرزنتیشن رو با هر کدام از این بردارها می‌گیره و این فاصله‌ها رو به توان یک هایپرپارامتری می‌رسونه و خیلی ساده نرمالایزشون می‌کنه و همین رو لاس می‌گیره. اومده روی تسکهای الگوریتمیک ساده و mnist و lm آموزش داده و نشون داده مدلش با دیتای کمتر نسبت به کراس انتروپی بهتر آموزش می‌بینه، پدیده grokking براش زودتر رخ میده و البته تفسیرپذیری بهتری داره.

افسردگیم حالا اینه که مشابه همین ایده رو چند ماه پیش پیپر کردم فرستادم برای یک ژورنالی و چند ماهه منتظرم جواب بگیرم که احتمالا ریجکته. این دوستمون ولی از اونجایی که MIT هست با arxiv کردن ساده ایده‌اش رو معرفی کرده و البته با حجم امکاناتی هم که دستشه میزان اکسپریمنت قابل توجهی تونسته بگیره.

لینک:
arxiv.org/abs/2502.01628

تولد پروداکت منیجر تیم

امروز، بعد از چند روز کوچ به تپه‌های بهشتی، سرانجام توفیق بازگشت به جردن را پیدا کردیم. هر چند صبح، وقتی پشت هر چهارراهی، بدشانسی آوردیم و با چراغ قرمز متوقف شدیم، یادم افتاد که مصیبت مسیر جردن چه بود و یاد همان چمران را کردم. در ترافیک مشغول خواندن اخبار شدم. رادیو داشت راجع به پیشرفت‌های ورزش ایران در بعد از انقلاب صحبت می‌کرد و من داشتم راجع به دعوای اخیر بر سر این که چه کسی مسئول مذاکرات هسته‌ای است می‌خواندم. تشتت به کجا رسیده که یکی می‌گوید من مسئولم آن یکی می‌گوید نه خیر من مسئولم. خدا رو شکر همه دغدغه خدمتگزاری دارند. قبل ظهر چند دقیقه‌ای با دلاور مردی راجع به ادبیات بحث مختصری کردیم. طرفدار بایزید و ابوسعید و بیهقی بود. فکر میکنم نسبت به من که طرفدار سعدی و شهریار بودم در کلاس کاری بالاتری قرار می‌گیرد. اصلا سعدی و شهریار خیلی بیش از حد صورتی هستند. احساس خجالت کردم.

عصر جلسه سینک داشتیم. قبل از جلسه کارهایی که کرده بودم را مختصر و ساده اسلاید کردم و در جلسه از همانرو صحبت کردم.‌ تجربه خوبی بود. هم من بهتر توضیح دادم و هم بقیه منظورهایم را بهتر متوجه شدند. آدم از بی‌برنامگی و بی‌هدفی است که خسته ناکار می‌شود.

بعد از رفتن آفتاب برای دو تن از هم تیمی‌هایمان تولد گرفتیم. یکیشان پروداکت منیجر تیممان بود که اسمش آرتاباز است. ریشه کلمه اردبیل هم در اصل آرتاویل است. کلمه اردوان هم در اصل تلفظ یونانی‌ آرته‌وان است. خیلی‌ها رابطه خوبی با پروداکت منیجر تیمشان ندارند. من هم قبل از ارتاباز اصلا تجربه خاصی از پروداکت منیجر نداشتم. با دیدن این بشر اما نظرم عوض شد. تجربه‌ای که گرفتم این بود که نیروی فنی با پروداکت منیجر است که کامل می‌شود. بخواهم مصداقی بگویم این است که اولا مثلاً در ذهن نیروی فنی معمولا ابتدا راه‌حل می‌آید و بعد نیازمندی و این خب غلط است. ممکن هم هست که نیروی فنی با این دید محصول درست کند ولی خب محصولش به درد شوهرعمه‌اش هم نمیخورد. دوماً خیلی جاها است که نیروی فنی حوصله و انرژی ظرافت کاری‌هایی را که محصول را کامل می‌کند ندارد، در اینجا pm است که حوصله می‌کند و بحث‌های محصولی را پیش می‌برد و نیروی فنی را وادار به تکمیل می‌کند. سوما از همه اینها مهمتر، بعضی مواقع شما با pm های تیم‌های دیگر دچار مشکل می‌شوید، در اینجا فقط یک pm است که می‌تواند از شما در برابر pm‌های دیگر دفاع کند. اگر روزی پولدار شدم، حتما یک پروداکت منیجر برای ازمایشگاهمان به کار می‌گیرم. تمام آن مواردی که درباره pm در صنعت گفتم به نوعی در آکادمی هم انگار برقرارند.

اندکی بعدتر به واسطه علیدوستی با آقا صدرا آشنا شدیم. شخصیت جالب و هنردوستی بود و روایت داستانی جالبی داشت. این مفهوم که آدم چطور برده فالوئرهایش می‌شود را می‌فهمید. آخر روز به منظوری کاری پیش بهرامی رفتم. اخباری راجع به قصد ترامپ برای امضای فرمان اجرایی ضد ایران آمده بود کمی با بهرامی بحث کردیم و غصه دلار ۸۵ تومنی را خوردیم. بحث مهمتری هم راجع به اهمیت دمو داشتیم. به این نتیجه رسیدیم که حتی در آکادمی هم مهمتر از ایده‌های داشته و نداشته، این مهم است که چه چیزی را چه طور دمو کنیم. آکادمی، صنعتی است که روی علم ساخته شده وگرنه با علم و علم دوستی فرق‌ها دارد.

شب آمدم خانه، سخنان جدید ترامپ را دیدم که برای مذاکره ابراز آمادگی کرده بود. تا این لحظه بیست سال از عمر ما مسخره این سیاستمدارها و طناب‌کشی بی‌پایان در قضیه هسته‌ای شده. ملت هوشی دانشکده شروع کردند به بحث سیاسی. دخالت نکردم. هر چه قدر زمان بیشتر به جلو رفته بیشتر فهمیدم که اطلاعاتم کمترند، مسأله پیچیده‌تر است و البته نقش من هیچ‌تر است. حالا مثلاً ما بحث سیاسی کنیم، چه فایده؟ گاها هم اگر آتشم بالا می‌گیرد و بحثی میکنم بیشتر از روی احساس و مرثیه برای فرصت‌های شهید شده است. هر چند تاثیر ما نه ناچیز که همان هیچ است.

#روزمرگی

چند روز پیش کارپثی طی توییتی پیشنهاد داده بود عوض این که LLM‌ها رو در ارزیابی‌های ثابت مقابل همدیگه بذاریم و مقایسه‌شون کنیم، اونها رو در بازی مقابل هم قرار بدیم و این طوری هوششون رو بسنجیم. حالا یکی تحت تاثیر این ایده، اومده و codenames رو پیاده‌سازی کرده. این طوریه که چهار تا مدل زبانی به رندوم انتخاب می‌شن و بعد دو به دو با هم تیم می‌شن و با هم codenames بازی می‌کنند.

لینک:
llmcodenames.com

امروز این مقاله S1 رو دیدم که یک مکانیزم ساده ولی کارآمد Test-Time Compute ارائه داده. ایده ساده‌اش که اسمش رو budget forcing گذاشته این طوریه که یک میزان و محدوده برای تولید توکن زنجیره استدلال و به اصطلاح thinking در نظر می‌گیره. فرض کنید مثلا در نظر گرفتیم ۱۰۰ توکن. بعد موقع اینفرنس نگاه می‌کنه اگه کمتر از اون میزان توکن thinking تولید کرده بود و می‌خواست زنجیره افکار رو تموم کنه، اون توکن انتهای زنجیره افکار رو پاک می‌کنه و به جاش یک توکن wait می‌ذاره و مدل رو مجبور می‌کنه که به thinking اش به زور ادامه بده، در صورتی هم که مدل اون میزان بودجه توکن thinking رو رد کرده باشه، به زور یک توکن پایان thinking می‌ذاره و مدل رو مجبور می‌کنه که به زنجیره استدلالش پایان بده. با همین ایده ساده بهبود قابل توجهی تونسته بگیره.

یک چیز جالب دیگه‌ای که برای من داشت این بود که اومده بود دسته روش‌های test time compute رو از نگاه خودش به دو دسته Sequential و Parallel تقسیم کرده بود

لینک:
https://arxiv.org/abs/2501.19393

هم دل شکنی هم تن

خون‌ریزی و نندیشی، عیار چنین خوش‌تر
دل دزدی و نگریزی، طرار چنین خوشتر

زان غمزهٔ دود افکن آتش فکنی در من
هم دل شکنی هم تن، دل‌دار چنین خوش‌تر

هر روز به هشیاری نو نو دلم آزاری
مست آیی و عذر آری، آزار چنین خوش‌تر

نوری و نهان از من، حوری و رمان از من
بوس از تو و جان از من، بازار چنین خوش‌تر

الحق جگرم خوردی خون‌ریز دلم کردی
موئیم نیازردی، پیکار چنین خوش‌تر

مرغی عجب استادم در دام تو افتادم
غم می‌خورم و شادم غم‌خوار چنین خوش‌تر

من کشته دلم بالله تو عیسی و جان درده
هم عاشق ازینسان به هم یار چنین خوش‌تر

این زنده منم بی‌تو، گم باد تنم بی‌تو
کز زیستنم بی‌تو بسیار چنین خوش‌تر

خاقانی جان افشان بر خاک در جانان
کز عاشق صوفی جان ایثار چنین خوش‌تر

خاقانی

و مکرت و مکر الله ...

صبح که بیدار شدم، سعی کردم به خودم قول بدهم که شب زود می‌خوابم. خوشبختانه یا متاسفانه دیدم که کلاسی که داشتم کنسل شده. فرصت را آماده دیدم که شنبه صبحی بروم دانشگاه کارهای اداری را انجام بدهم.

کارهای اداری مثل همیشه آدم را شگفت زده می‌کنند. آماده بودم که از صفر شروع کنم ولی بعد فهمیدم شبیه تیم‌هایی که لیگ را با امتیاز منفی شروع میکنند فرایند اداری منظور را باید از چند قدم عقب‌تر آغاز کنم چرا که یکسری چیز که برای چند ماه قبل بود، وارد نشده بودند. نگاهم به فلوچارت مانده بود که کی تمام می‌شود. دیگر دیدم دیر شده و باید ریموت کار را پیش ببرم. نهار از کلین فود الویه گرفتم و از اتاق دانشجویان دکترا مشغول نگاه به خیابان دانشگاه شدم. دانشگاه ترسناک‌تر از همیشه شده. با درختان بی‌برگ، اسمان خاکستری و حتی کلاغ‌های کم‌رمق و وانتی که باغبان های دانشگاه را این وسط جا به جا می‌کرد.

عصر آزمایشگاه ما و همسایه شلوغ شد. ارائه‌ای راجع به دیپ سیک بود و چه فایده. بعد از ارائه مشغول بحث درباره اینده شغول شدیم. بهشان گفتم که کار متخصصان AI تمام شده و همه چیز API Call شده. دیگر خبری از آموزش و حتی دپلوی مدل نیست. چند تا بک‌اند کار کنار هم می‌توانند بنشینند و محصول هوشی بالا بیاورند. و البته که ظرف دو الی پنج سال اینده آنها هم نهایتا بی‌کار خواهند شد. بعد از بیکار شدن مردم، چیزی که در نهایت مهم است این است که صاحبان قدرت و سرمایه دنیا بخواهند چه طور با ما رفتار کنند و در چرخ اقتصاد جایمان دهند. یا همه چیز شبیه دنیای وال‌ای رایگان می‌شود یا به کشتنمان می‌دهند تا جمعیت مصرف‌کننده کم‌تر شود. الله اعلم.

بعد از جلسه با یکی از دوستان خفن نزدیک صحبت مختصری کردم. افسرده بود. می‌گفت انگیزه انجام کاری را ندارد. حق داشت. قضیه ما بعضاً قضیه ماهی یا قلاب ماهیگیری و یا آموزش خود ماهیگیری نیست، قضیه این است که چرا و به چه امیدی ماهی بگیریم؟ خیلی‌ها به امید مهاجرت ماهیگیری میکنند، خیلی‌ها به شوق پول و خیلی‌ها هم به حرص قدرت. من اما متعدد آدم‌هایی را دیده‌ام که ده سال حتی بیست سال است شریفند و نه حس افتخاری از پیشرفت به گذشته دارند و نه شعفی به آینده. زندگی تازه جایی معنی پیدا می‌کند که خواسته‌ها یکی یکی ناممکن و محو‌ می‌شود و می‌فهمی همه چیز در نبود یک خواست ممکن، چه قدر بی‌معنی است.

شب، دوستان شرکتی بیرون قرار داشتند. دیدم نه نای رفتن و برگشتن دارم و کلی هم کار روی سرم ریخته. تازه آخر هفته قبل را هم با خانواده‌ام مسافرت نرفته بودم و احساس گناه می‌کردم. تپسی زدم برگردم خانه، منتظر بودم که شنیدم فردی پشت سرم بلندد بلند صحبت میکند. گویا داشت سعی میکرد دایی‌اش را قانع کند که زمین هایش را بفروشد. در اثنای بحثش گفت که: "ببین دایی آدما باید عوض بشن. من خودم مثلاً چند سال پیش فکر میکردم اگر با یک دختر شش ماه آشنا بشم بعدش میگیرمش الان ولی خیلی تغییر کردم" گوشم را تیز کردم ببینم چه تغییری کرده. "الان میگم باید حداقل سه سال با یک دختر آشنا بشم تا بتونم باهاش ازدواج کنم". احساس کردم مثالش خیلی بی‌ربط بود و بیشتر درددل ناخودآگاهش بود. مرد رفت و تپسی نیامد. دانشگاه تاریک‌تر، سردتر و ترسناک‌تر از همیشه بود.

شب وقتی به خانه رسیدم و چیزی را چک کردم، فهمیدم اتفاقی دقیقا بر خلاف میل و خواستم افتاده. کلی مکر کرده بودم اما مصداق و مکروا و مکر الله و الله خیر الماکرین شدم، البته از آنوری. شبیه باران شانگ فانگ. خدا من و نقشه‌ام را برد. گاهی وقتها فکر میکنم خدا قوه طنز قوی دارد. میگذارد ما برای خودمان نقشه بکشیم، دل ببندیم به عملی‌شدنش و نهایتا خودش وارد عمل شود و مکر کند، جوری که تراژدی شکل بگیرد. شاید می‌خواهد بفهماند که باید بپذیری که خواسته‌هایت در گرو خواست منند. اما مگر آدم بدون خواسته می‌شود؟ خود این که چیزی را نخواهی، خودش یک خواسته اتفاقا سنگین‌تر است که وقتی در پی‌اش بروی آنجا هم خدا با لبخندی تراژیک منتظرت است. ما از خواسته‌هایمان هم که نمی‌توانیم فرار کنیم. اصلا بدون خواسته‌هایمان معنی نداریم که؟ تکلیف ما چه می‌شود؟ مرا به کجا آورده اید؟!؟ احساس میکنم شاید خدا در پی ساختن یک دنیا با روایت تراژیک است، ما هم بازیگران آنیم، بخواهیم نخواهیم باید بپذیریم که هر مسیری که انتخاب کنیم سرنوشتمان تراژدی است، فقط شاید روایت آرامبخش‌تر این است که تراژدی را بپذیریم و البته آنکه در این دنیا اکثر چیزها آن قدر ارزش ندارند البته که اگر همین را هم بپذیریم از تراژدی خارج شدیم و تناقض است (آن لحظه که بپذیری و آرام بگیری دیگر تراژدی نیست و اگر هدف خدا خلق تراژدی باشد پس ارزشی نداری) تراژدی همین خواستن‌ها و نشدن‌های ماست ...

#روزمرگی

فصل چهارم تضاد دولت و ملت: گونه‌های لیبرالیسم اروپایی و مفاهیم نو آزادی در ایران

در این فصل، کاتوزیان به بررسی مفهوم لیبرالیسم و رابطه‌اش با قانون می‌پردازه. سه نکته از این فصل برای من جالب بودند:

۱- از نظر کاتوزیان، انقلاب‌های اروپا به هدف کنارزدن قانون‌های وقت و بیشترکردن آزادی مردم در سایه محدودکردن قانون بوده در حالی که انقلاب‌ مشروطه ایران به هدف کنارزدن دولت خودکامه و استقرار قانون بوده. قانونی که قرار بوده حافظ آزادی مردم از دست دولت خودکامه باشه.

۲- بحث جالبی درباره تاثیر رمانتیسم بر ایران داره به این شرح که همون رمانتیسمی که سبب گرایش به دوران پیش از اسلام در اواخر قاجار و اوایل پهلوی شده بود، با تغییر جهت ناشی از غرور جریحه‌دارشده در برابر غربی‌ها باعث تمایل به ارزش‌های دوران پس از اسلام شد.

۳- در آخر فصل هم در توضیج این که چرا سرانجام مشروطه به هرج و مرج رسید می‌گه که عادت قدیمی تمایل به حذف رقیب سیاسی باعث شد که مشروطه خواهان اول بقایای نیروهای قبل از مشروطه رو حذف کنند و بعد هم بین خودشون جنگ داخلی قدرت شکل بگیره. رقابتی که در نهایت باعث هرج و مرج در مرکز قدرت در تهران و بعد هم باعث هرج و مرج در نقاط دور از مرکز شد و نهایتا باقی ماجرا.

https://telegra.ph/%D8%AE%D9%84%D8%A7%D8%B5%D9%87-%D9%81%D8%B5%D9%84-%DA%86%D9%87%D8%A7%D8%B1%D9%85-%D8%AA%D8%B6%D8%A7%D8%AF-%D8%AF%D9%88%D9%84%D8%AA-%D9%88-%D9%85%D9%84%D8%AA-01-31-2

صحبتی درباره فاصله بین دانشگاه و صنعت به بهانه درس تکنولوژی کامپیوتر

اگر یادتون باشه یک زمانی منطق یک عده برقی و سایر رشته‌ها در برابر کامپیوتر برای انتخاب رشته، این بود که کامپیوتر رو که خودت هم می‌تونی بیرون دانشگاه یاد بگیری. این حرف با این که برخواسته از شناخت ناکافی نسبت به کامپیوتر بود ولی از جهات نیاز بازار کار مقداری صادقه. در واقع شما اگر در کامپیوتر شریف هم درس بخونید و پروژه همه درس‌ها رو هم کامل انجام بدید و نمره‌تون هم بیشتر از ۲۰ بشه، ولی وقتی در یک شرکت روز اول که قرار می‌گیرید می‌بینید اون علمتون به کمترین دردی نمی‌خوره و مسائل و تکنولوژی‌های دنیای کار یک چیز دیگه است. واقعیتش هم اینه که تقصیر کسی نیست. دلیل اول این اتفاق اینه که هدف دانشگاه در مقطع، نه تربیت تکنسین خاص که تربیت چیز دیگه‌ایه (توضیحش سخته ولی هدف دوران کارشناسی با اون طیف گسترده درساش اینه که شخص با حوزه وسیع رشته‌اش آشنا بشه و بتونه تصمیم بگیره که دوست داره در ادامه به چه کاری بپردازه). در مقطع ارشد هم که هدف اینه که طرف ببینه آیا دوست داره به آکادمی بپردازه یا نه. هدف دکترا هم که ریسرچه و این که برای آکادمی و ریسرچ نیرو تربیت کنه. پس کلا اصلا هدف ست‌شده دانشگاه، درست یا غلط، نسبت به نیاز واقعی چیز دیگه‌ایه (کما این که شما اگر بخواید یک خونه بسازید نمی‌رید از عمران شریف آدم بیارید براتون خونه بسازه، هر چند علم ابزار صنعته ولی یکی نیستند و چیزهای جدایی هستند) .اما دلیل دوم مشکل نامطابق بودن دانشگاه با صنعت، خودش شامل دو زیردلیله: اول قدیمی‌بودن سیلابس‌ها و دوم نداشتن آدمی که بتونه سیلابس با تکنولوژی جدید رو به صورت کارایی درس بده و البته مشکل دوم حادتره. خود این هم باز دو دلیل داره: آدمی هم که طبق متریک‌های دانشگاه زندگیش رو معامله کرده و بالا رفته فرصت تجربه صنعت رو نداشته و آدمی که به تکنولوژی جدید وارده طبق متریک‌های نهاد راکد آکادمی، تایید صلاحیت نمی‌شه و از طرف دیگه هم باز معمولا این آدم‌های وارد به تکنولوژی‌ها (که معمولا حقوق خوبی سمت صنعت می‌گیرند) حاضر نیستند وقتشون رو بذارن پاشن بیان دانشگاه بدون هیچ گونه سود و ریوارد مشخصی، تدریس کنند.

حالا کلا این همه مقدمه‌چینی کردم تا یک چیز دیگه بگم نهایتا. امروز تصادفا از یکی از دوستام شنیدم که علیرضا توفیقی این ترم قراره درسی به نام تکنولوژی‌های کامپیوتری تو دانشکده علوم ریاضی ارائه بده. سیلابس درس رو تو بلاگ توفیقی دیدم و به نظرم با مباحثش درس نزدیک به واقعیتی اومد که میتونه برای کمتر خسرالدنیا شدن آدم‌ها فایده داشته باشه (هر چند کافی نیست). از این رو با توجه به شناختی که از خود شخص توفیقی دارم (به عنوان یک شخصی که هم نرد و هم گیکه، هم در آکادمی مونده و هم مدیرفنی بلده و در همه چیز سر و کله می‌زنه و کلا در حد یک شرکت تک نفره است) به نظرم جا داشت رپورتاژ ریزی براش برم.

پی‌نوشت: درس‌خوندن کار جذابیه، منتهای مطلب اون چیزی که درس‌خوندن رو طاقت‌فرسا کرده آشفتگی و رکود نهادهای متولی آکادمی و تحت قالب‌ بازی‌کردن آدم‌های آکادمیه، قالبی که درش هدف نه انتقال استوری و فلسفه اصلی یک درس که انتقال هر چه بیشتر معلومات و محفوظاته، مشکل در واقع چیزی فراتر و قبل‌تر از سیلابسه. قالبی که من هم وقتی درش قرار می‌گیرم تحت فشار تبدیل به ضدنمونه می‌شم. من هنوز بعد این همه سال دوست دارم برگردم و OS و DB و حتی ریاضی ۲ رو به شکل دیگه‌ای یاد بگیرم.

لینک سیلابس درس تکنولوژی کامپیوتر:
https://alireza.dev/teaching/ct1403/

لینک کانال تلگرام توفیقی:
https://t.me/Tofighi_Times

ضرب شست چینی‌ها:‌ R1 > O1

بی‌شک، رونمایی از مدل DeepSeek R1 داغ‌ترین اتفاق چند روز گذشته هوش مصنوعی بود. زلزله‌ای که لرزه‌هاش به هوش مصنوعی محدود نموند و پس‌لرزه‌هاش امروز باعث ریزش ۲۰ درصدی قیمت سهام nvidia در ۵ روز گذشته شده و این افت nvidia هم مثل یک دومینو باعث ریزش قیمت بیت کوین و سایررمز‌ارزها شده. اما قضیه کلا از چه قراره و اهمیت DeepSeek R1 در چیه؟

- اولا این که این اولین جهش و درخشش DeepSeek نیست. حدود ۲۰ روز پیش این شرکت چینی، مدل DeepSeek V3 خودش رو به صورت اوپن سورس منتشر کرد. مدلی که در عملکرد بالاتر از Llama و در رقابت نزدیک با GPT-4o قرار می‌گیره و البته طبق ادعاش تنها با ۵.۵ میلیون دلار آموزش دیده. اهمیت DeepSeek V3 در این بود که آموزش مدل در اون ابعاد مخصوصا با در نظر گرفتن تحریم GPU‌های H100 که آمریکا روی چینی‌ها تحمیل کرده کار راحتی نیست. در واقع برای آموزش LLM‌هایی در این ابعاد باید تعداد بسیار زیادی H100 به هم متصل بشن و با هم آموزش ببینند و آمریکا هم فروش H100 به چین رو ممنوع کرده. سر همین داستان هم، nvidia یک نسخه دستکاری‌شده از H100 به نام H800 رو که نرخ انتقال داده کمتری نسبت به اون داره رو برای چینی‌ها می‌سازه و بهشون می‌فروشه.. و این حدس زده شد که این‌ چینی‌ها GPU‌های H800 رو به هم متصل کردند و سپس در سطحی پایین‌تر از Cuda اونها رو پروگرم کردند تا به چنین عملکردی بتونن برسند.

- دوما اما این که ماجرا به DeepSeek V3 ختم نشد و چینی‌ها پس از پنجه در پنجه انداختن با GPT-4o این بار سراغ زورآزمایی با GPT-o1 رفتند و از مدل DeepSeek R1 رونمایی کردند. نکته این مدل اینه که قدرت reasoning ای در سطح o1 داره، با صرفا ۶ میلیون دلار هزینه درست شده و قیمت اینفرنسش هم نسبت به o1 پایین تره، به طوری که اگر قیمت o1 به ازای هر یک میلیون توکن ورودی و خروجی، ۱۵ دلار و ۶۰ دلاره، این نرخ برای R1 تنها ۰.۵۵ و ۲.۱۹ دلاره!

- سوما، اما نکته‌ فنی که نتونستم ازش عبور کنم، نوآوری R1 در نحوه آموزشش هست. مغز نوآوری که چینی‌ها برای این مدل به خرج دادند اینه که به جای استفاده از SFT مستقیما از RL استفاده کردند. دقت کنید که RL و نه RLHF! یعنی مدل رو صرفا در یک ستینگ RL اون هم با دو ریوارد مدل ساده‌ای که یکیشون جواب نهایی رو قراره چک کنه و یکیشون هم قراره که مدل رو ملزم به خروجی داده در یک فورمت خاصی کنه، آموزش دادند. نکته جالب اینه که این ریوارد مدل‌ها یعنی بسیار ساده هستند و صرفا می‌شه Rule-Based شون دید. نکته جالب دیگه این که گفتند استفاده از PRM یا همون Process Reward Model هم براشون سود خاصی نداشته و تکنیک‌های Inference time compute هم تفاوت چندانی در جواب نداشته. در حالی که این تکنیک‌ها، تکیه‌گاه‌های اصلی مدل O1 هستند، R1 بدون چنین تکنیک‌هایی به چنین سطح عملکرد رسیده. از کل این بند همون bitter lesson در ذهن تداعی می‌شه که وجود داده و ظرفیت محاسبه کافی،‌ برای رسیدن به هوش کافیه.

- چهارما، حالا چرا سیلیکون ولی و nvidia شوک دیدند؟ حرف‌ و حدیث در این زمینه زیاده. بعضی‌ها با عینک خیلی فنی این جوری تحلیل کردند که شاید این که روش R1 تونسته بدون تکیه بر تکنیک‌های Inference Time Compute که مستلزم استفاده بیشتر از قدرت محاسباتی هستند، به AGI نزدیک بشه از اهمیت GPU‌ها کاسته. تکه اولش درسته ولی خب تکه دومش نه، چرا که به هر حال با رواج این مدل هم میزان مصرف GPU‌ها بیشتر میشه. توضیح جالبی که دیدم این بود که اولا این یک شوک موقتی هست و ناشی از سه چیزه. اولا این که بالاخره چینی‌ها تونستند در زمینه مدل‌های زبانی به رقابت نزدیک به آمریکا برسند و در حالی که همیشه آزمایشگاه‌های هوش مصنوعی چینی عقب‌تر از آمریکایی‌‌ها بودند، R3 به مثابه یک شوک و نقطه عطف برای مونوپلی آمریکا در هوش می‌تونه باشه. دوما این که قیمت پایین‌ آموزش و اینفرنس R1 می‌تونه باعث یک تکانه به وابستگی به nvidia باشه که البته صرفا در حد یک شوک موقته. و سوما هم این که از این زاویه می‌شه نگاه کرد که DeepSeek تونسته تحریم‌های آمریکا در زمینه GPU رو کم‌اثرتر بکنه و شاید این روند در آینده ادامه دار باشه.

- پنجما، آیا DeepSeek برده؟ نه خیر و نه هنوز. چرا که o3 هنوز عملکرد بسیار بهتری نسبت به R1 داره، با این وجود R1 کاراتره، هم می‌تونه روی دیوایس‌ها اجرا بشه و هم هزینه اینفرنس پایین‌تری داره و هم با اوپن سورس کردنش فشار رو برای کاهش قیمت به مدل‌هایی مثل o1 و o1-mini وارد می‌کنه. باید دید رقابت بین آمریکایی‌ها و چینی‌ها در ادامه چه خواهد شد. الله اعلم.

لینک پیپر R1:
arxiv.org/abs/2501.12948

یک سری لینک مفید دیگه برای توضیحات:
stratechery.com/2025/deepseek-faq/
youtubetranscriptoptimizer.com/blog/05_the_short_case_for_nvda

فصل سوم تضاد دولت و ملت

در فصل سوم، کاتوزیان ابتدا به بیان ویژگی‌های استبداد ایرانی در طی تاریخ حکومت می‌پردازه و بعد با بررسی شاهنامه، مهم‌ترین ویژگی مشروعیت حکومت‌های ایرانی که همون فره ایزدی هست، رو بیان می‌کنه. در واقع در حافظه تاریخی ایرانی، فره ایزدی بیان ‌میکنه که حکومت کردن نه یک حق و وظیفه که یک امر اقتداری هستش. همین نگاه باعث می‌شه تا هم حاکمیت در برابر جامعه پاسخگو نباشه و هم جامعه در برابر حاکمیت احساس بیگانگی کنه و حکومت‌پذیر نباشه. برهم‌نهی این دو روی هم باعث می‌شه هیچ چارچوب حقوقی بادوامی به وجود نیاد و از نبودی چارچوب حقوقی هم، امکان هیچ گونه انباشتی محقق نشه.

https://telegra.ph/%D8%AE%D9%84%D8%A7%D8%B5%D9%87-%D9%81%D8%B5%D9%84-%D8%B3%D9%88%D9%85-%D8%AA%D8%B6%D8%A7%D8%AF-%D8%AF%D9%88%D9%84%D8%AA-%D9%88-%D9%85%D9%84%D8%AA-01-22

همانطور که خواندن مولودی در روز عاشورا غیرقابل تصوره، خواندن روضه در روز عید هم خالی از فضاحت نیست. وقتی چنین اتفاقی رخ میده این فکر برای آدم تداعی میشه که روضه‌خوان نه دنبال معنی ماجرا، که دنبال گریه درآوردن از مردم به هر قیمتی برای اقبال خودشه.

به علاوه، روضه خواندن تو گاه و بیگاه ، ماجرای اصلی رو لوث و عادی می‌کنه.

آیا ML کلاسیک به درد نخور است؟

دیروز در یک کانال-گروه دانشجویی دانشکده بحث بالا گرفته بود که آیا در درس ML باید مطالبی همچون SVM تدریس شوند یا خیر؟ ماجرا به طور کلی این شکلی بود که این ترم، یکی از گروه‌های ML به جای تدریس سرفصل‌های کلاسیک، به تدریس مباحث دیپ لرنینگ پرداخته بود. دوست داشتم در این خصوص چند نکته بنویسم:

اولا که قرار نیست که هر چه که لحظه ترند است را صرفا درس بدهند. اگر قرار بود اینگونه باشد در دهه ۲۰۰۰ همین SVM روش‌های شبکه عصبی را در لوله کرده بود. اگر قرار بود آن موقع هم همین منطق را به کار ببندند، آن وقت دیگر کسی نباید شبکه عصبی یاد می‌گرفت و شبکه عصبی در تاریخ دفن میشد.

دوماً این که SVM هنوز هم کاراست. در سناریوهایی نظیر یادگیری چندنمونه‌ای که با تعداد کمی داده رو به رو هستیم و نمی‌توانیم کل شبکه را فاین تیون کنیم، گاها از SVM به عنوان یک مدل کارا بر روی رپرزنتیشن‌ها استفاده می‌شود.

سوما همه یادگیری ماشین، متن یا تصویر یا صوت نیست. شبکه‌های دیپ در قلمرو این داده‌های بی‌ساختار برتری دارند ولی در جاهایی مثل داده تبولار، هنوز هم روش‌هایی کلاسیکی مثل SVM حرف برای گفتن دارند. این مطلب هم هم در آکادمی و هم در صنعت برقرار است. در واقع یادگیری ماشین، صرفا کار با داده‌های تصویری یا متنی نیست.

چهارما این که فراتر از svm، یادگیری ماشین فقط منحصر به آموزش یک شبکه نیست. به شخصه برای من، زیباترین بخش‌های کورس یادگیری ماشین چیزهایی غیر از شبکه عصبی بودند. از تخمین گرفته تا انواع روش‌های کلاسترینگ و کاهش بعد و روش های غیرپارامتری همگی برای من جذاب و شهوددار و البته پرکاربرد بودند. هر مسأله ای را نمی‌توان صرفا با شبکه عصبی مدل کرد. شبکه عصبی همه یادگیری ماشین نیست و یادگیری ماشین هم همه هوش نیست.

پنجم و اخر، میخواهم یک مصداق عینی را مثال بزنم. در ابتدای کورس هوش مصنوعی معمولا مطالبی راجع به سرچ و هوش مصنوعی سیمبلیک و کلاسیک گفته می‌شود که اغلب هم با اعتراض دانشجویان همراه است چون که جذابیت و استفاده کمتری در ترند امروز هوش مصنوعی دارد. حال اما در دیپ لرنینگ، با داغ شدن مسأله ریزنینگ و سیستم‌۲، حل آن نیازمند ترکیب دیپ لرنینگ با دسته روش و شهودهای سرچ است و به نوعی آن قسمت از کورس هوش مصنوعی هم این بار در ترکیب با دیپ لرنینگ، به مرور زنده می‌شود. علم این گونه است، مدتی از ترند خارج میشود اما گاه سالیانی بعد به فرم دیگری باز میگردد. آن چیز که مهم است نه حفظ معلومات و واژگان که چیز دیگری است. هدف از یک درس نه دادن ماهی یا قلاب آن که باید آموختن شهود و روش‌شناسی پشت آن باشد. هدف در واقع آموختن روش فکر کردن است. هدفی که در طی یک پکیج از واحدها و دروس مختلف به دست می‌آیند.

شیوه، ۲۲ دی

دیشب بر سر سفره شام، به عادت مالوف، مشغول گشت و گذار بین کانال‌های تلویزیونی بودم که به تصادف سرگرم مناظره بین خاندوزی و مشایخی شدم. برنامه قابلی بود. خاندوزی با حرف‌های همیشگی که ما باید خودمان را پیدا کنیم و توسعه پیدا کنیم و الگوی خودمان را داشته باشیم شروع کرد. مشایخی اما درخشان بازی کرد. طوری که خاندوزی که با کلی مقوا احتمالا برای دفاع از عملکرد خود در زمان دولت رئیسی آمده بود، نهایتا در ۴ دقیقه آخر برنامه فرصت کرد تا نمودارهای خود را نشان دهد. همه اینها به خاطر این بود که مشایخی فراتر از مناظره با شخص خاندوزی عمل کرد. دو ویژگی درخشان مشایخی در برنامه دیشب، یکی متانت و آرامش او بود و دیگری هم این بود که نقدهای سنگین و شاید مگوی خود را در قالبی ظریف و گیرا ارائه کرد. بخشی از این نقدها را در ادامه می‌نویسم:

مشایخی بحث خود را با این پرسش آغاز کرد که آیا ۴۶ سال برای یافتن الگوی توسعه کافی نبوده است؟ سپس پرسید که اگر پاسخ شما این است که اینها تقصیر دشمنان است و ما در حال مبارزه هستیم، آیا بقیه کشورهای دنیا با یکدیگر در حال رقابت نیستند؟ آیا چین رقیب و تهدید اول آمریکا نیست؟ بعد پرسید که آیا ذهنیت حاکمیت ما توسعه و رشد داخل کشور است یا صدور ایدئولوژی؟

اینجا من یک نقدی بر مشایخی دارم و آن هم این است که فقط از یک زاویه اقتصادی و داخلی در حال نگریستن به مساله است. مساله دعوای سیاست خارجی ما مساله ۴۰ سال و ۱۰۰ سال نیست. مساله چند صد ساله است. این این که تصور کنیم حاکمیت جمهوری اسلامی به دنبال صدور ایدئولوژی است، شبیه این است که فکر کنیم صفویه از تشیع‌گری هدف‌های جانبی دیگری در برابر عثمانی‌ها نداشته. ایران و حاکمیت‌های آن دچار اضطراب امینیتی هستند که قبلا تحت نظریه تنهایی راهبردی ایران صحبت کردیم. اگر جمهوری اسلامی در سوریه دخالت کرد، پهلوی هم در عمان دخالت کرد. اگر جمهوری اسلامی به حزب الله کمک ‌رسانی می‌کند، پهلوی هم به جنبش امل کمک رسانی کرد. اگر جمهوری اسلامی از حشدالشعبی در عراق حمایت می‌کند پهلوی هم از کردهای عراقی در برابر صدام حمایت می‌کرد. مسائل سیاست خارجی ما تقریبا یکی هستند و آن هم اضطراب ایران در برخورد با ابرقدرت‌های جهانی و قدرت‌های رقیب منطقه است که اضطراب بیجایی هم نیست. مشایخی و امثال مشایخی از این زاویه مساله را نمی‌بینند که اقدامات خارجی ایران در منطقه، نه علت، که معلول اضطراب ایران هستند.

در ادامه هم مشایخی نقدهای سنگین‌تری را به صورت ساندویچ‌پیچ مطرح کرد. اول درباره این صحبت کرد که گفتگو در چین تک حزبی بیشتر است تا ما، به این مفهوم که در آن تک حزب هم این گونه نیست که یک مکانیزمی برای تبادل نظر وجود دارد. دیگر آن که بر ایجاد شوراهای عالی بی‌شمار انتقاد کرد و آنان را مخل در قوه مجریه دانست. دوتا از تندترین نقدهای مشایخی جاهایی بودند که اول گفت چرا کلیدواژه‌های سخنرانی مسئولین ما کلمات دشمن و فتنه در ان بیشتر از توسعه دیده می‌شود و دوم هم ان جایی که گفت حالا که شوراهای عالی بی‌شماری وجود دارند کاش رهبری مسئولیت اجرایی حکومت را به عهده بگیرند در غیراین صورت اختیارات این شوراها باید در اختیار دولت قرار بگیرد تا مسئولیت‌پذیر و پاسخگو باشد.

در انتها می خواستم از مجری برنامه، عطا‌الله بیگدلی هم تعریف کنم. بیگدلی معدود و شاید تنها مجری صداسیما است که جانب‌دار حاکمیت نیست و از قضا در میان بحث خودش را همراه می‌کند و بعضا حتی بحث را بهتر از دو مهمان هدایت می‌کند. کما این که دیشب در خیلی از لحظات به این نکته درست اشاره کرد که جریانات قدرت داخلی و جامعه در ایران نمی‌دانند به چه مقصدی می‌خواهند بروند و سردرگمی ما عمیق‌تر از این حرف‌هاست و خیلی از جاها خود بیگدلی هم صراحتا به تقابل دستگاه‌های انتخابی و انتصابی در ایران هم اذعان کرد.

در مورد Quantization و مدل‌های 1.58بیتی

امروز این مقاله رو دیدم که مدل Flux رو در ستینگ ۱.۵۸ بیتی، کوانتایز کرده بود و ادعا کرده بود که تقریبا همون کیفیت مدل Flux رو با صرف مموری کمتر ارائه می‌ده (در واقع پارامتر‌های مدل رو کوانتایز کرده بودند طوری که حجم نگه‌داری این flux کوانتایز‌شده از ۲۳ گیگ به ۳ گیگ و میزان مموری لازم برای اینفرنس گرفتن هم براش از ۲۴ گیگ به کمتر از ۵ گیگ رسیده)

همین بهانه‌ای شد تا وسوسه بشم بیشتر راجع به کوانتیزیشن مدل‌ها بخونم. در همین راستا، این بلاگ فوق‌العاده رو پیدا کردم که مساله رو از کف (از نحوه نمایش اعداد در فورمت‌های مختلف fp32 و fp16 و bfp16 و uint18) شروع کرده و تا کوانتیزیشن ۱.۵۸ بیتی پیش برده.

به صورت خلاصه مساله اینه که در مواجهه با شبکه‌های عصبی ما با دو مجموعه value مواجه هستیم که باید روی این مقادیر، عملیات‌های ریاضی انجام بدیم و اونها رو نگه‌داری کنیم. مقادیر میانی شبکه (یا activation‌ها) و وزن‌های شبکه که پارامترهاش هستند. ما به صورت عادی این مقادیر رو به صورت fp32 باهاشون کار می‌کنیم. حالا کوانتیزیشن قصدش اینه که عوض این شبکه‌ای داشته باشیم که این مقادیر رو fp32 نگه‌داری کنه، به شکل‌های دیگه‌ای مثل fp16 یا int8 نگهداری کنه تا هم مموری کمتری بخوان و هم اگر شد سریع‌تر بشه از شبکه inference گرفت. حالا ما دو نوع quantization می‌تونیم داشته باشیم. Post-Training Quantization و Quantization Aware Training. اولی این شکلیه که اول یک شبکه رو در همون حالت عادی fp32 آموزشش می‌دن و بعد از اتمام آموزش سعی می‌کنن تا مقادیر شبکه رو به تایپ‌های سبک‌تر کوانتایزش کنند. دومی این شکلیه که سعی می‌کنند در همون فرآیند آموزش شبکه، آموزش وزن‌ها رو جوری انجام بدن که انگار واقعا در همون تایپ سبک‌تر دارن انجام می‌شن. دقت کیفیت مدل‌های حاصل از روش دوم، نسبت به روش اول بالاتره قاعدتا. مساله ولی خب به این سادگی‌ها نیست و پیچیدگی‌هایی برای خودش داره. مثلا نمی‌شه که پارامترهای شبکه رو کوانتایز کرد و مقادیر میانی رو به امان خدا ول کرد، این دو تا روی هم تاثیر دارند.

حالا یک سال پیش مقاله‌ای به نام BitNet اومد و هدفش رو کوانتایزکردن وزن‌های شبکه ترنسفورمری در یک بیت گذاشت. یعنی می‌خواست به شبکه‌ای برسه که هر وزن شبکه یا ۱+ باشه یا ۱-. برای این کار اومد مقادیر میانی رو هم به uint8 کوانتایز کرد. اساس کارش هم این شکلی بود که اومد هر چی لایه Linear بود را با لایه ابداعی خودش تحت عنوان BitLlinear جایگزین کرد. در واقع لایه‌های خطی رو با لایه‌های خطی که وزن‌هاش فقط می‌تونستن یک یا منفی یک باشند جایگزین کرد. کلیت ایده هم این شکلیه که موقع آموزش مقدار هر وزن w در همون fp32 نگه‌داری می‌شه ولی از یک فانکشن sign رد می‌شن که مقادیرش رو به مثبت یک یا منفی یک تغییر می‌ده. موقع بک‌وارد که گرادیان عقب میاد این w رو روش اثر می‌گذاره ولی موقع فوروارد پارامتری که در شبکه اثرگذاره همون نتیجه فانکنش sign بر w هست. وقتی هم که فرآیند آموزش تموم شد همون w‌هایی که صفر و یک هستند به عنوان مدل ریلیز می‌شن. مدتی بعد از این مقاله، یک مقاله دیگه با عنوان 1.58 - bit اومد. ایده کلی این مقاله این بود که وزن‌ها بتونن عوض دو مقدار، حالا سه مقدار یک و صفر و منفی‌یک بگیرند. ایده فنی‌تر این مقاله هم این بود که اگر لایه‌خطی رو این جوری فرض بگیریم که در ضرب ماتریسی، عناصر یک بردار ماتریس در یک بردار ضرب می‌شن و بعد با هم جمع می‌شن، با فرض این که وزن‌ها می‌تونن صفر و یک و منفی‌ یک باشند، می‌تونیم که تکه ضرب رو حذف کنیم و صرفا به جمع تبدیلش کنیم و این جوری در محاسبات و ذخیره‌سازی صرفه‌جویی کنیم. از نشانه‌های قدرت این روش این که وقتی روی لاما ۱۳ بیلیونی اعمالش کردند، به مدلی بهتر، سریع تر، با میزان حافظه کمتر و مصرف انرژی کمتری نسبت به لامای ۳ میلیاردی fp16 ای رسیدند و کلی مورد مقایسه دیگه این شکلی.

لینک بلاگ:
https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization

آخر هفته جالبی نبود،‌ هر چند فاجعه‌ناک هم نبود. منتها اکنون که خوابم نمی‌برد آن وجه جالب نبودنش انگار بیشتر اثر گذاشته. صبح برای بار Nام سعی کردم کتاب "جز و کل" ورنر هایزنبرگ را بخوانم. هایزنبرگ یکی از کراش‌هایم هست. زندگی که داشته، عقایدی که داشته، وجهه علمی‌اش، اصل عدم قطعیتی که ارائه داده و شاید هم اسمش، همگی برایم جذابند. وقتی کتاب جز و کلش را می‌خوانم احساس به معنای واقعی کلمه، تعلق، به او را می‌دارم. در این حد که دوست دارم در قیامت با ایشان محشور شوم، نه از جهت بهشت و جهنم، که از نزدیک فرصت یک دست دادنی فراهم شود. با این که بنده خدا مسیحی بوده ولی به، نظرم از خیلی از مسلمان‌ها، خداشناس‌تر بوده. این دفعه خوب و شاید بهتر از دفعات قبل، پیش رفتم ولی باز وقتی به بخشی رسید که وارد خاطراتش از بحث‌های مکانیک کوانتومی شد، در صفحات گیر کردم و واماندم. در حدود سال ۱۹۲۶ میلادی، زمانی که بزرگوار ۲۵ سالش بوده و در خاطراتش مشغول صحبت با نیلز بور و ولفگانگ پائولی و پل دیراک و انیشتین و ... است. ای کاش از جوانی‌ام بهتر استفاده می‌کردم. الان به عنوان یک علاقه‌مند به هایزنبرگ هم احساس گناه می‌کنم که زندگیم را ذغال آتش‌های اشتباه کردم.

ظهر با حسین حسنی اندکی بحث کردیم. راجع به بی‌کفایتی و نابه‌خردی سیاسیون. بحث‌هایی که راه به جایی نمی‌برند و انگار صرفا می‌خواهیم خودمان را خالی کنیم. بعد از صحبت با حسین، احساس افسردگی کردم. روی تخت دراز کشیدم و همینطور که چشم به سقف بودم، فکر کردم چه قدر کم می‌دانم. بعد به ذهنم زد، کمتر از چیزی که می‌دانم، می‌توانم. و کمتر از چیزی که می‌توانم، انجام می‌دهم. و در نهایت کمتر از چیزی که انجام می‌دهم، نتیجه می‌گیرم. در این زنجیره دانش و توان و عمل و نتیجه، هر جاییش را که می‌گیرم می‌بینم جاهل یا گناهکارم.

عصر، بعد از نهار، شروع کردم به ظرف شستن. نه برای کمک که برای دل خودم. ظرف شستن معدود چیزی است که در آن احساس می‌کنم دارم کاری انجام می‌دهم و اثرگذاری دارم. علی رغم این که حتی ظرف‌شور خوبی هم نیستم و نرخ مصرف آب و زمانم به ظرف شستنم آن چنان نمی‌صرفد. ولی خب، گاها چیزی است که اندکی آرامم می‌کند. از ظرف شستن که خسته شدم،‌ از بی حوصلگی فراوان نشستم برای کارهای شرکت، یکی دو ساعتی کار کردم و دیدم که آخر هفته کارکردن چه حس مخدرواری دارد. بعد از آن، رفتم روی تخت دراز کشیدم. پنجره را برای دقایقی باز کردم. ترکیب آفتاب خسته و افسرده زمستان و اندک نسیم سردی که بر صورت می‌وزید طوری بود که دوست داشتم برای سال‌ها در آن موقعیت می‌ماندم. بی‌خیال از هر چیزی. خیالهایم که سرجایشان برگشتند بلند شدم که پنجره را ببندم. نگاهم به بیرون افتاد. کبوتر بی‌رمقی که روی پشت بام بود و درخت‌هایی با شاخه‌های لخت که دیگر حتی اثری از برگ‌های زردشان هم نبود. همینشان هم البته قشنگ است. فشنگ که نباید سبز باشد. البته قشنگی این شاخه‌های لخت شاید به این است که می‌دانی در انتظار بهارند و برگ‌های سبز نو، از راه می‌رسند. فکر کردم اگر زنده بمانم احتمالا چند هفته دیگر دی تمام می‌شود و بعدش هم بعد از گذر از بهمن خونین جاویدان و اینها، اسفند می‌شود و چشم به هم بزنم سال نو شده. سناریوی تکراری هر سال. هر سال بهار از راه می‌رسد و درخت‌ها در سیکلی نو می‌شوند ولی من در مسیر خطی فرسوده‌تر می‌شوم.

شب، از نوتیف تلگرام فهمیدم که فردا تهران تعطیل شده. اول فکر کردم به خاطر آلودگی هواست بعد دیدم گلستان و سمنان و خراسان و ... هم گویا تعطیلند. تلویزیون را روشن کردم بزنم شبکه شش ببینم چه خبر است. دیدیم دارند گزارشی از آتش‌سوزی گسترده در کالیفرنیا پخش می‌کنند و آن زیر هم زیرنویس کرده‌اند فردا فلان جاها تعطیل است. در خانه به مانند همیشه سخنرانی من باب ناتراژی انرژی و اشتباهات ۲۰ ساله و اینها کردم. اکنون که از چند ساعت آینده نگاه می‌کنم دوست دارم با ماشین زمان به عقب برگردم و یکی بزنم تو سر چند ساعت پیش خودم که ابله فرق صحبت کردن یا نکردن تو در این باره چیست؟ چه تفاوتی دارد؟ کاش آدم شوم. داشتم در شبکه‌های صداسیما دور می‌زدم که دیدم شبکه یک ویژه برنامه برای آتش سوزی در کالیفرنیا رفته و شبکه سه هم در زیرنویسش دارد اخبار آتش سوزی را پوشش می‌دهد. ما هیچ ما نگاه.

#روزمرگی

حزب‌الله و ۸ اکتبر

دیروز برای حزب‌الله لبنان، روز عقب‌نشینی سختی محسوب می‌شد، چرا که بعد از دو سال و دوازده دور رای‌گیری بر سر انتخاب رییس جمهور لبنان، سرانجام کاندید نه چندان متمایل با جریان مقاومت (حزب‌الله+امل)، جوزف عون رای آورد. عون هم در اولین مصاحبه بر لزوم انحصار اسلحه تنها در دست ارتش اشاره کرد و بسیاری این سخنان او را حمل بر تلاش برای خلع سلاح حزب الله دانستند. این که حالا حزب‌الله و امل خودشان خواستند تا قبل از سرکارآمد ترامپ به گزینه عون رضایت بدهند تا گرفتار گزینه‌های تندتری نشوند یا این که سقوط بشار اسد، معادلات را تغییر داد بحث‌هایی است که بر چرایی رای‌آوری جوزف عون، هر دو مطرح‌اند.

نکته اما سوالات باز در مورد ۷ اکتبر و پس از آن است. حزب‌الله بعد از ۷ اکتبر سه انتخاب داشت: می‌توانست دخالت نکند (و احتمالا نهایت امر در غزه فرقی با حالا نمی‌کرد)، می‌توانست همان ۸ اکتبر طبق طرح‌های از پیش تعریف ‌شده که برای آن‌ سال‌ها امکانات اندوخته و تمرین کرده بود به الجلیل و داخل اسرائیل حمله کند و البته می‌توانست صرفا اقدام به زیر آتش گرفتن شمال اسرائیل کند و همین آخری را انتخاب کرد و به نوعی بدترین بازی ممکن را کرد. در واقع هیچ سناریویی برای حزب‌الله نمی‌توانست بدتر از این باشد. حزب‌الله با شرط آتش بس در غزه وارد عمل شد، نتوانست مانع از آن شود، رهبران و کادر فرماندهی نظامی خود را از دست داد و در آخر آتش‌بس و عقب‌نشینی از جنوب لبنان را پذیرفت. سقوط ناگهانی بشار و بسته‌شدن راه ایران به لبنان هم تراژدی را سخت‌تر کرد. حال حزب‌الله با ضرباتی که در طول یک سال اخیر خورده و همچنین از دست رفتن سوریه، ناچارا باید ریاست جمهوری جوزف عون را هم بپذیرد و برای روزهای سخت‌تر، آماده باشد.

بسیاری نظریه‌پردازی می‌کنند که ۷ اکتبر، نقشه‌ای طراحی‌شده از سمت محور مقاومت بود. اما نقشه و طرح محور مقاومت و به خصوص حزب‌الله در ۸ اکتبر به بعد کمتر نشانی از یک طرح از یپش آماده شده می‌دهند. اگر هم که واقعا طرحی از سمت جبهه‌ مقاومت بوده، این سوال بزرگ در ذهن ایجاد می‌شود که خب، نقشه برای ۸ اکتبر به بعد چه بود؟ همانطور که این سوال هم سال‌هاست در ذهن ماست که خب نقشه برای برنامه هسته‌ای چیست؟ قرار است بمب بسازیم یا نه؟ اگر بله چرا وارد برجام شدیم؟ اگر نه، حرکت ما به سمت غنی‌سازی‌های بالاتر چه فایده‌ای دارد؟ اگر می‌خواستیم بمب بسازیم چرا وارد برجامی شدیم که مکانیزم ماشه به این صورت داشت؟ اگر نمی‌خواهیم بمب بسازیم چرا داریم به افزایش غنی‌سازی ادامه می‌دهیم در حالی که یک سال دیگر موعد مکانیزم ماشه است؟ اگر مکانیزم ماشه فعال شد می‌خواهیم چه کنیم؟ اصلا کسی می‌داند می‌خواهیم چه کنیم؟

پی‌نوشت: مرتبط با این بحث، البته پیش‌تر در این پست از foreign policy دیده بودیم که نویسنده حدس زده بود که برنامه ایران عجله در ساخت سلاح هسته‌ای نیست بلکه افزایش آرام آرام سطح آستانه هسته‌ایه. برای دیدن سرانجام قضیه هسته‌ای باید یک سال دیگر منتظر بمونیم و ببینیم آیا توافق جدیدی در راهه یا اتفاقات تندتری در آینده انتظار ما رو می‌کشن. هر چند شاید اتفاقت یک سال اخیر در منطقه که بر محور ایران گذشت، کمی نقشه قبلی رو تغییر داده باشه. الله اعلم.

فرانسوا شله، طی توییتی گفته که قصد دارند نسخه دوم ARC رو در فوریه منتشر کنند. همچنین گفته که در حال کار روی بنچمارک AGIای هستند که فورمتش کاملا با ARC فعلی فرق داره.

برام جالبه ببینم مساله جدیدی که می‌خواد مطرح کنه باز هم در قالب program synthesis می‌گنجه یا قطعه جدیدی از پازل رو می‌خواد رو کنه.

من به کرات دیدم که خواب به مثابه ریست‌کردن ذهن در هنگام مواجهه با خشم و غضب عمل میکنه. روی اضطراب ولی متاسفانه کارساز نیست.

#تجارب

حرکت nvidia در زمینه foundation world model با cosmos

شرکت nvidia دیروز از مجموعه مدل‌هایی به نام cosmos به صورت اوپن سورس رونمایی کرده. این مدل‌ها عنوانشون Foundation World Model هست و این شکلیه که با ورودی گرفتن یک فریم و یک پرامپت می‌تونن لحظات بعدی ویدئو رو جنریت کنند. مزیتش در چیه؟ در اینه که برای Physical AI (مثل ماشین‌های خودران)، برای این که بخوایم عاملمون رو آموزش بدیم و یا بسنجیمش مجبوریم ببریم در دنیای واقعی و بسنجیمش. حالا گذاشتن مثلا یک ماشین خودران در دنیای واقعی و تست گرفتنش هم هزینه مالی و هزینه زمانی زیاد می‌خواد. اما این Foundation World Model خوبیش اینه که می‌تونه چنین محیط‌های واقعی رو با کیفیت بالا برای عامل شبیه‌سازی کنه و امکان ارزیابی سیاست رو به عامل بده. دیگه نکته این که دیتاست آموزشیشون ۲۰ میلیون ساعت ویدئو بوده که ۱۱ درصدش رانندگی، ۱۶ درصدش مربوط به حرکات دست و object manipulation و بقیه چیزها هم مربوط به nature dynamics و first person point of view و این جور چیزا بوده (خلاصه که یعنی روی فیزیک دنیای واقعی آموزش دیده و دنیای واقعی رو می‌فهمه). nvidia امیدواره که با این مدل بتونه جهش بزرگی در زمینه robotic به وجود بیاره. الله اعلم.

لینک:
https://www.nvidia.com/en-us/ai/cosmos/

لینک پیپرش:
https://d1qx31qr3h6wln.cloudfront.net/publications/NVIDIA%20Cosmos_4.pdf

فصل دوم تضاد دولت و ملت

در فصل دوم، کاتوزیان سعی می‌کنه تا یک نظریه برای انقلاب‌های ایرانی ارائه بده. بیان می‌کنه که انقلاب‌های ایرانی با انقلاب‌های اروپایی متفاوتند چرا که در انقلاب‌های اروپایی طبقات جامعه علیه یکدیگه که صاحب دولت بودند قیام می‌کردند ولی در انقلاب‌های ایرانی، طبقات جامعه (که خودشان هم قدرتی ذاتی سیاسی نداشتند) علیه دولت خودکامه قیام می‌کردند. در عین حال اما این قیام‌ها حتی اگر به پیروزی می‌رسیدند به علت آزادسازی نیروهای خودکامه کف جامعه باعث می‌شدند تا چرخه حکومت خودکامه-هرج و مرج-حکومت خودکامه در طول تاریخ مدام تکرار بشه.

https://telegra.ph/%D8%AE%D9%84%D8%A7%D8%B5%D9%87-%D9%81%D8%B5%D9%84-%D8%AF%D9%88%D9%85-%D8%AA%D8%B6%D8%A7%D8%AF-%D8%AF%D9%88%D9%84%D8%AA-%D9%88-%D9%85%D9%84%D8%AA-01-07

زیادت می‌کنی دردم

مرا می‌بینی و هر دَم زیادَت می‌کنی دَردَم
تو را می‌بینم و میلم زیادَت می‌شود هر دَم

به سامانم نمی‌پرسی، نمی‌دانم چه سر داری
به درمانم نمی‌کوشی، نمی‌دانی مگر دردم؟

نه راه است این که بُگذاری مرا بر خاک و بُگریزی
گُذاری آر و بازم پرس تا خاکِ رَهَت گردم

ندارم دستت از دامن، به جز در خاک و آن دَم هَم
که بر خاکم روان گَردی بگیرد دامنت گَردم

فرو رفت از غمِ عشقت دَمَم دَم می‌دهی تا کی؟
دَمار از من برآوردی نمی‌گویی برآوردم

شبی دل را به تاریکی ز زلفت باز می‌جُستم
رُخَت می‌دیدم و جامی هلالی باز می‌خوردم

کشیدم در بَرَت ناگاه و شد در تابْ گیسویت
نهادم بر لبت لب را و جان و دل فِدا کردم

تو خوش می‌باش با حافظ، برو گو خصم جان می‌ده
چو گرمی از تو می‌بینم، چه باک از خصمِ دَم سَردم

حافظ

نقطه عطف کاوه

امشب رندوم به سرم سوال زد که ما چرا کاوه رو قهرمان می‌دونیم؟ کلیتی که از داستان کاوه در ذهنم بود این بود که پسرانش خوراک مارهای ضحاک می‌شن و وقتی نوبت به آخر پسرش می‌رسه این هم دست به قیام می‌زنه و باعث سقوط ضحاک می‌شه. خب این چه جای قهرمانی و فداکاری داره؟ کاوه برای دیگران قیام نکرده، بلکه وقتی کار به فرزندش رسیده قیام کرده. اون هم تازه وقتی نوبت فرزندان بزرگترش بوده کاری نکرده و نوبت به آخرین فرزندش که رسیده دیگه ناچارا قیام کرده. خب این کاوه کجاش جنبه قهرمانی داره؟

برای همین رفتم شاهنامه رو خوندم و دیدم که نه، اشتباه از من بوده و داستان جزییات دیگه‌ای داره. ماجرا به صورت دقیق اینه که ضحاک که از بابت پیش‌بینی برآمدن فریدون نگران بوده،‌یک روز بزرگان رو جمع می‌کنه و می‌گه من دشمنی دارم که از بابتش نگرانم. برای شکست دادن اون باید لشکر بزرگ جمع کنیم. منتها برای جمع‌کردن اون لشکر، نیاز داریم تا من من رو به عنوان دادگر بشناسند. برای همین دستور می‌ده یک طومار آماده بشه و بزرگان اون رو امضا بزنن و شهادت بنویسند که ضحاک دادگره و بزرگان هم همه از ترس چنین کاری رو می‌کنند. بعد در همین اثنا کاوه آهنگر با داد و بیدار وارد مجلس می‌شه. ظاهر روایت این جوری برمیاد که فرزندان قبلیش خوراک مارهای ضحاک شدند و حالا نوبت به آخرین فرزندش رسیده. کاوه شکایت می‌کنه چرا باید سیستمتون این شکلی باشه هی فرزندان من خوراک مارهای تو بشن؟ ضحاک که فرصت رو مناسب می‌بینه دستور می‌ده که پسرش رو بهش پس بدند. تا اینجا اثری از قهرمان‌بازی کاوه دیده نمی‌شه. ضحاک بعدش به کاوه حالا که فرزندت رو بهت پس دادیم بیا پای این طومار شهادت بنویس که من پادشاه دادگری هستم. در اینجا نقطه عطف کاوه رخ می‌ده و عصبانی می‌شه و دعوا راه می‌اندازه می‌ره و دست به قیام می‌زنه.

در واقع اون ظرافتی که در داستان کاوه هست اینه که سناریوهای دیگه‌ای میتونست براش رخ بده. می‌تونست به موقع فرزندان قبلیش قیام کنه، می‌تونست اونجایی که وارد مجلس می‌شه عصبی بشه، می‌تونست اونجایی که ضحاک بهش فرزندش رو برمی‌گردونه گواهی بده که آره ضحاک آدم خوبیه ولی نهایتا جایی عصبی می‌شه که ضحاک ازش گواهی می‌خواد و با وجود این که احتمال از دست رفتن فرزندش هست، انتخاب می‌کنه که من نمی‌تونم این ریاکاری رو بپذیریم. می‌تونم ظلم رو بپذیرم، می‌تونم حتی از ضحاک خواهش کنم که فرزندم رو نکشه و فرزندم رو پس بگیرم، ولی نمی‌توانم این ریاکاریش رو بپذیرم که حالا بیا شهادت بده من آدم خوبیم. و این‌ها ظرافت‌ها و زیبایی‌ها هست که در شاهنامه و اسطوره‌های ایرانی وجود داره و به خاطر همین چند هزار ساله که پابرجا هستند.

غم من، ليك، غمی غمناك است.

شب سردی است ، و من افسرده.
راه دوری است ، و پايی خسته.
تيرگی هست و چراغی مرده.

مي كنم، تنها، از جاده عبور:
دور ماندند ز من آدم‌ها.
سايه‌ای از سر ديوار گذشت،
غمی افزود مرا بر غم‌ها.

فكر تاريكي و اين ويراني
بي خبر آمد تا با دل من
قصه ها ساز كند پنهاني.

نيست رنگی كه بگويد با من
اندكی صبر، سحر نزديك است
هردم اين بانگ برآرم از دل
واي، اين شب چقدر تاريك است!

خنده‌ای كو كه به دل انگيزم؟
قطره‌ای كو كه به دريا ريزم؟
صخره‌ا‌ی كو كه بدان آويزم؟

مثل اين است كه شب نمناك است.
ديگران را هم غم هست به دل،
غم من، ليك، غمی غمناك است.

سهراب سپهری

آزمایش جالبی که انجام دیده اینه که اومده از LLM خواسته برای یک مساله‌ای کد بزنه و بعد هر بار به صورت iterative prompting طی چند iteration ازش خواسته که write better code. نتیجه این که عملکرد زمانی کد به صورت غیراکیدا صعودی بهبود پیدا می‌کنه. ولی همونطور که کارپثی کامنت کرده کدش از حالت عادی دور می‌شه و حجمش زیاد می‌شه و دیباگ کردنش سخت‌تر میشه.

https://simonwillison.net/2025/Jan/3/asking-them-to-write-better-code/

فصل اول تضاد دولت و ملت

محمدعلی کاتوزیان کتابی داره به نام "تضاد دولت و ملت، نظریه تاریخ و سیاست در ایران" که مجموعه مقالات مستقلیه که درش به بررسی مسائل پیچیده دولت و جامعه ایرانی پرداخته و توسط نشر نی هم به ترجمه علیرضا طیب منتشر شده. کتاب جالبیه و به نظر و ارزش خوندن داره. فحوای کلام کاتوزیان تو این کتاب اینه که ویژگی اصلی ایران، فارغ از تغییر حکومت‌ها، خاندان‌ها، رژیم‌ها و ایدئولوژی‌ها، پاسخگونبودن دولت و حکومت‌ناپذیری جامعه است و چنین فریمورکی به عنوان بررسی تحولات تاریخ ایران ارائه داده. از این به بعد فصل به فصل، نوت‌های چیزهایی که به نظرم جالب هستند رو یادداشت و بازنویسی می‌کنم.

روح کلام فصل اول اینه که نبود چارچوب حقوقی تخطی‌ناپذیر در کشور باعث می‌شه که تاریخ اون کشور تبدیل به رشته‌ای از تحولات کوتاه مدت بشه و این کوتاه‌مدتی باعث می‌شه تا هیچ گونه انباشت نهادی اعم از اقتصادی، اجتماعی، فرهنگی و حتی آموزشی شکل نگیره.

https://telegra.ph/%D8%AE%D9%84%D8%A7%D8%B5%D9%87-%D9%81%D8%B5%D9%84-%D8%A7%D9%88%D9%84-%D8%AA%D8%B6%D8%A7%D8%AF-%D8%AF%D9%88%D9%84%D8%AA-%D9%88-%D9%85%D9%84%D8%AA-01-03

هر چیز که در جستن آنی، آنی

آدم‌ها، چیزهایی هستند که می‌خواهند. ما در زندگی هر یک به دنبال چیزی هستیم که اکثر اوقات البته نمی‌دانیم چیست و شبیه شبحی از پشت رفتار و انتخاب‌های ما را تعیین می‌کند (اوضاع به نظر خیلی شبیه به شبکه‌های دیپ است، ما دقیقا نمی‌دانیم که در عمق داخل شبکه هر یک از وزن‌ها و نورون‌های شبکه در پی چه هستند و شبکه هر چه قدر بزرگتر باشد برای ما بیشتر شبیه به یک جعبه سیاه است). مثلا من اگر به دین عمل می‌کنم تا خدا در این دنیا عذابم نکند و سوسک نشوم، من همان ترس از شکست در این دنیایم. یا مثلا اگر به دستورات خدا عمل می‌کنم تا آن دنیا حوری و قوری نصیبم شود، من همان خواستن حوری و قوری هستم و فرقم با کسی که در این دنیا به دنبال حوری و قوری بوده در این است که حوری و قوری‌های بیشتر و بهتری می‌خواستم. جذاب به نظر می‌رسد که خدا ما را این گونه قضاوت کند و ما نهایتا در آخرت تابعی از خواسته‌هایمان شویم. پیچیدگی اما این جاست که ما در قید مکان و زمان و سایر بندهای این دنیاییم. شاید هیچ وقت نتوانیم بفهمیم و نشان دهیم که چه می‌خواستیم. من شاید روزگاری فکر کنم که مطلوبم دانش است، بعد بفهمم نه مطلوبم شهرت بوده، بعد بفهمم نه پول بوده، بعد متوجه شدم قدرت می‌خواستم، بعد از رسیدن یا نرسیدن به قدرت بفهمم من دنبال آرامش و فرار از ترس بودم و نهایتا هم موقع مرگ نمی‌توانم بفهمم دقیقا چه می‌خواستم. در این دنیا، خواست‌های ما نهایتا زمان‌مند و مکان‌مند هستند. من هیچ وقت در قدرت امپراطور و در زمانی خاص قرار نمی‌گیرم که مشخص شود دقیقا خواسته‌ام چیست و اگر هم قرار بگیرم، نامتناهی عمر نمی‌کنم که خواسته‌ام به صورت دقیق مشخص شود.

سوال سخت اما این است که آیا آدم‌ها می‌توانند خواسته‌هایشان را عوض کنند؟ هر شب مذهبی که مناسبتی دارد و مردم مشغول دعا کردن هستند این جمله کیرکگور برایم تداعی می‌شود که "دعا خدا را تغییر نمی‌دهد بلکه دعاکننده را تغییر می‌دهد". فکر می‌کنم که چه دعاهایی می‌توانم بکنم و واقعا برایم جذاب هستند. وقتی بهشان فکر می کنم در انتها اغلب ناامیدکننده و شطحیات هستند. پس از گذر از مسیر خطی، این فکر به ذهنم می‌زند که دعا کنم که دعای خوبی بکنم. با این که جمله به ظاهر زیبایی است اما در باطنش به طرز ظریفی شاید بی‌معنی است. در واقع اگر این جمله دعا کنم که دعای خوبی کنم را در کنار جمله کیرکگور بگذاریم به این پرسش می‌رسم که این دعای من که ای کاش بتوانم دعای خوبی بکنم قرار است چه چیزی را در من تغییر دهد؟ انگار یک جور پس از شروع از سوال اول بعد از کلی پیچیدن دوباره به سوال اول باز می‌گردیم که باید چه بخواهیم؟ خلاصه که صحبت‌کردن از خواستن پیچیده است، طوری که حتی وقتی راجع بهش صحبت هم می‌کنیم به درستی نمی‌تواند تصویر شود. یک سوال ولی اکثر پیچیدگی مطلب را می‌رساند: آدم چطور می‌تواند خواسته‌اش را تغییر دهد؟

نکته جانبی دیگر، در مورد توبه است. آنانی که به این جمله کیرکگور در مورد خدا اعتقاد دارند، به این مطلب متسمک می‌شوند که خدا تغییر نمی‌یابد. در این صورت با تناظری ریز می‌توانند بگویند که توبه هم قرار نیست خدا را تغییر بدهد که به واسطه تغییر خدا، گناه بنده پاک شود، بلکه توبه‌دهنده را تغییر می‌دهد و اگر بپذیریم که اگر شخص گناهکار به راستی توبه کند، گناهانش بخشیده می‌شوند در آن صورت توبه باید چه چیزی را در توبه دهنده تغییر دهد و چطور گناهکار خودش می‌تواند با توبه، با تغییر خودش، گناهان خودش را پاک کند؟ ابراز ندامت اگر با تغییر خواسته همراه نباشد کافی نیست. آدم چطور می‌تواند خواسته‌اش را تغییر دهد؟ این خواسته که من خواسته خودم را تغییر دهم یک جور پارادوکس در خودش دارد انگار. من اصلا کی و چطور می‌توانم بفهمم که خواسته‌ام این است که دعای خوبی کنم؟ نکند از این دعا خواسته‌ی دیگری دارم؟

در آخر این رباعی معروف ار مولوی:

تا در طلب گوهر کانی کانی
تا در هوس لقمهٔ نانی نانی

این نکتهٔ رمز اگر بدانی دانی
هر چیز که در جستن آنی آنی

#افکار_پریشان

دعا، خدا را تغییر نمی‌دهد، بلکه دعاکننده را تغییر می‌دهد.

سورن کیرکگور

صبح یادم نیست چطور بیدار شدم. چند شبی است که دیر می‌خوابم و حافظه‌ای از صبح‌هایم ندارم. هر چه بود به علت جا به جایی شرکت، خانه بودم. دلم برای بلوار بهزاد تنگ می‌شود. مخصوصا برای اردیبهشت‌هایش. در عمرم آرزو داشتم درخت ارغوان را از نزدیک ببینم. بلوار بهزاد، یک بلواری بود که باغچه‌هایش یک راستا ارغوان بودند. اردیبهشت که می‌شد خیابان ارغوانی رنگ می‌شد و البته بعد از دو هفته، می‌رفت تا یک سال دیگر. می‌خواستم بنویسم حیف که یک بهارش را بیشتر ندیدم که ترسیدم نکند مثلا بی‌کار شوم و به یک شرکت دیگری در همان خیابان برگردم. باقی روز روزمرگی‌ کار بود. بعد از ظهر برای جلسه به دانشگاه رفتم. چون دیر شده بود مجبور شدم تپسی بگیرم. بزرگوار تک تک خیابان‌ها را خلاف رفت و برای هر کدام چند دقیقه منتظر بود تا ماشین‌ها بگذرند. آدم خلاف هم می‌خواهد بکند باید جوری خلاف کند که سود کند نه که خسرالدنیا به علاوه آخره شود. دانشگاه حلسه در مورد پیپری ارائه می‌داد که با دایورس‌کردن خروجی LLM می‌خواست ریزنینگ را بهبود ببخشد. جلسه که تمام شد قرار شد شب با هم بیرون برویم. دیدم یک ساعت و خرده‌ای وقت است و وقت برای تمرکز روی کار دیگری نیست، نشستم Squid Game2 را با سرعت چند X دیدم. مقوا بود. مقوایی که دیگر افتاده به دوشیدن مخاطب. اثری که به چند فصل ساختن می‌افتد به ابتذال می‌افتد. دیگر ارزشش برای سازنده‌هایش این می‌شود که از این چه میزان پول می‌توانیم بدوشیم. آن وسط در دانشکده هم باز رودیدادی (رویداد ASM) در حال برگزاری بود. جدیداها مدشده هودی‌ها را سفید می‌زنند، مای بیچاره ولی هر چه هودی از هر رویدادی که گرفتیم به سیاهی رنگ زندگیمان بود. خلاصه هودی زیبایی داشتند. ملت هم بسیار شوق و ذوق داشتند. شوق و ذوقشان غبطه‌انگیزند. یک فقره با آسانسور در حال جا به جایی بودم که در در طبقه‌ای که محل برگزاری رویداد بود باز شد، چند نفر وارد شدند، یکی جیغ زد تا آمدم خودم را جمع کنم نفر بعدی چنان وارد شد که کیفش محکم مرا نواخت. نمی‌دانم آیا چطور می‌شود زندگی به شور و شوق این جوانان داشت. یا شاید هم از سن من گذشته است. دیگر از امید معناداشتن زندگی دست شسته‌ایم و به هیجان‌ها راضی هستیم. حینی که درب آسانسور بسته می‌شد آقای آ.ط را از دور دیدم که چشم تو چشم شدیم ولی وقعی ننهاد.

در مسیر رستوران در ماشین، بحث‌های TA‌ای شد. در نهایت هر سناریویی‌ را بررسی کردیم دیدیم که وضعیت حکایت خر ملانصرالدین است. هر کاری کنی و هر سیاستی بچینی، فحشت می‌دهند. تاخیر مجاز نگذاری فحشت می‌دهند، تاخیر مجاز بگذاری فحشت می‌دهند. نمره ندهی فحشت می‌دهند، نمره بدهی هم گروه‌های دیگر فحشت می‌دهند. دیگر مساله ای که مهم شده این است که در عصرپسا GPT چطور تکالیف را طرح کنیم که ارزیابی‌مان درست باشد. دیدیم در نهایت برای تکالیف کاری نمی‌توان کرد. نهایت می‌توان در حکم آمادگی برای امتحان دیدشان. در رستوران و در آزمون انتخاب غذا، بغل دستی‌ سمت راستی‌ام می‌خواست با من گروه شود، طی یک اقدام نامترقبه نپذیرفتم و با بغل دستی چپم وارد مذاکره شدم که آن هم به نتیجه‌ای نرسید و خودم مستقلا سیاست نه شرقی نه غربی اتخاذ کردم. از استقلال انتخاب این سری‌ام راضی بودم. بحث‌های سر میز هم که مثل همیشه. ترکیبی از بحث‌های نرد ریسرچی. گهگاهی است فکر می‌کنم جز یک عده موضوعات ثابت، چه چیزهایی دیگری برای بحث داریم؟ شبیه به LLM شده‌ایم انگار. هر چند به مانند LLM بسیار به training ای که روی آن آموزش می‌بینیم حساسیم. می‌ترسم بمیرم و نتوانم آخر سر بحث درستی برای خودم داشته باشم. بعد از شام، به مانند همیشه که شکم سیر می‌شود بحث‌های ژئوپلتیکی شروع شد. بار به بار کمتر بحث می‌کنم، فکر می‌کنم چه فایده‌ای دارد حالا بحث کنیم؟‌ شاید فهمیدن حقیقت از درد چشیدنش بکاهد. خب اگر این جوری باشد که هدف کاستن از درد چشیدن باشد، اگر ضدحقیقتی تسکین‌انگیزتر باشد آن بهتر نیست؟ ارزش دانستن حقیقت پس در چیست؟ حقیقتی که با آن نتوانی کاری کنی بدتر از ضدحقیقتی نیست که آرامت کند؟ نمی‌دانم. شب، خنجر خبر تلخی بر قلبم وارد شد. از عصبانیت چند ساعتی خوابم نبرد. استضعافمان کرده‌اند.

#روزمرگی

پدر هوش مصنوعی مدرن

از اخبار مهم کامیونیتی هوش که در این چند روزه تعطیلات سال نو میلادی گم شده و کمتر شنیده شد، خروج Alec Radford از OpenAI بود. احتمالا اسم Radford رو نشنیدید اما از نظر برخی‌ها به عنوان پدر GenAI و هوش مصنوعی مدرن نامیده شده. Radford در پیپرهای GPT و CLIP و DALLE و Whisper حاضر بوده و در بعضی از اونها اسم اول بوده حتی. حالا Radford هم بعد از ۸ سال از open ai جدا شده و شنیده‌ها می‌گن که می‌خوان ریسرچ مستقل رو شروع کنه. دو نکته اما برای من جالب بود:

اول متنی بود که sam altman برای radford نوشته بود و در اون رادفورد رو در سطح انیشتین دونسته بود و البته گفته بود که فرد متواضعیه و اون قدری که باید شناخته‌شده باشه نیست و خودش هم میلی به این اتفاق نداره.

دوم هم پیپری بود که از Radford در iclr 2018 است که ریجکت شده. این پیپر یک جورهایی ریشه تمامی پیشرفت‌هی بعدش بوده و درش رادفورد نشون داده که یک لنگوئج مدل با آموزش روی تولید ریویو‌ها می‌تونه رپرزنتیشنی رو یاد بگیره که به صورت فیوشات روی دیتاست‌های دیگه کارا باشه. مجددا یادآوری می‌کنم که این پیپر در iclr 2018 ریجکت شد! در برابرش احساس شرم ‌میکنم

اگر اشتباه نکنم، عربستان برای اولین بار بعد از توافق پکن، دست به اقدام تنش‌آمیز در رابطه با ایران زده و شش ایرانی را به جرم قاچاق مواد مخدر اعدام کرده است و البته که این اتفاق، از اولین نتایج از دست دادن سوریه برای ایرانه. در واقع این اقدام، پیام جدید عملی سعودی به ایرانه که معادله عوض شده. پیش‌تر بسیاری از تحلیل‌گران سیاسی ایران این شکلی تحلیل می‌کردند که با قدرت گرفتن ترکیه و قطر در سوریه، عربستان هم تحت ترس از این اتفاق به ایران نزدیک‌تر می‌شه و اتحادی در برابر ترکیه شکل می‌‌دن. البته هنوز برای قضاوت و این که اتفاق می‌افته یا نه زوده ولی اون چه که مشخصه اینه که ایران ابزار مهمی رو از دست داده و دیگر کشورها هم مثل قبل از دسامبر ۲۰۲۴ به ایران نگاه نمی‌کنند. اوضاع منطقه‌ای و جهانی برای ایران حساس‌تر از هر موقع دیگه‌ای بعد از جنگ جهانی دومه.

https://www.reuters.com/world/middle-east/saudi-arabia-executes-iranians-drugs-smuggling-tehran-protests-2025-01-01/

راهکار HF برای LLM Agents

با گذر زمان، اهمیت جنبه Agentic بودن در کنار LLM‌ها بیشتر می‌شه و به همون تبع هم ابزارهای بیشتری در این راستا منتشر می‌شن. سرانجام حالا هاگینگ فیس هم کتابخونه مخصوص خودش برای Agent‌زدن با LLM‌ها رو منتشر کرد که اسمش رو SmolAgent گذاشته.

در بلاگی که برای معرفی این کتابخونه رفته اول یک توضیح کلی راجع به Agency داده و نکته جالبش برای من نحوه توضیحش راجع به Agency و دسته‌بندی انواع اقسامش بود. مخصوصا یک جاییش که گفت Agency بودن یک طیف هست و نه یک ویژگی صفر و یکی.

نکته حائز اهمیت دیگه هم این که اومده این کتابخونه رو با hub خودش یکپارچه‌ کرده. به این مفهوم که مردم می‌تونن ایجنت‌های خودشون رو مثل مدل‌ها، روی huggingface hub به اشتراک بگذارند. شاید همین ویژگی باعث برتری این کتابخونه هاگینگ فیس بر بقیه کتابخونه‌های Agentic دیگه بشه.

لینک:
https://huggingface.co/blog/smolagents

ارزش پول ملی، دستمزد، دعوای سرمایه‌دارها

چند روز گذشته نرخ دلار از ۸۲ هزار تومان هم عبور کرد. با این که نمی‌توان بر حماسه‌آفرینی دولت‌های ایران در سال‌های اخیر در باب حفظ ارزش پول ملی، چشم بست اما معادلات ارزش پول ملی و اقتصاد کشور، چیزی متفاوت‌تر و پیچیده‌تر از یک نسبت میان تومان و دلار است. در واقع نسبت میان دلار و تومان بی‌معنی است البته اگر به شرطی که شما تمامی سرمایه‌هایتان را به صورت چیزی غیر از تومان نگه دارید.مثلا اگر شما همه دارایی‌هایتان را به صورت چیزهای غیر از تومانی، نظیر کالا یا مسکن یا ارز یا طلا نگه دارید با افزایش قیمت دلار و کاهش ارزش تومان، کمابیش ارزش دارایی‌هایتان حفظ می‌شود. کابوس افزایش قیمت دلار پس در کجاست؟ مساله اینجاست که ما دستمزدهایمان تومانی است و نرخ افزایش دستمزدمان از نرخ افزایش قیمت دلار کمتر است. مثلا اگر شما دستمزدتان ۲۰ میلیون بوده و در ابتدای سال ۱۴۰۳ با دلار ۵۰ تومنی، دستمزدتان ۴۰۰ دلار می‌شده، حال معمولا وقتی دولت دستمزدها را به میزان ۲۰ درصد افزایش می‌دهد با دلار ۸۰ تومنی، دستمزدشما در سال جدید ۳۰۰ دلار خواهد بود. به همین ترتیب سال به سال از میزان ارزش دستمزدی که ما می‌گیریم کاسته می‌شود. برای مثال، حداقل دستمزد قانونی در سال ۸۹ برابر با ۲۸۵ دلار در ماه بوده اما اکنون این رقم به حدود ۹۰ دلار رسیده است (تازه این نکته را هم در نظر بگیرید که خود دلار در این سال‌ها دچار تورم بوده است و ارزش ۲۸۵ دلار در سال ۸۹ بیشتر از ۲۸۵ دلار امروز است). دولت‌ها طبق قانون (؟) بایستی میزان افزایش حقوق را در هر سال متناسب با تورم افزایش دهند اما علی رغم که همه روسای دولت در کورس‌های انتخاباتی این شعار را علم می‌کنند، هنگام اجرا، همه‌شان اما با عذر و بهانه‌های موجه یا ناموجه، میزان حقوق را کمتر از تورم افزایش می‌دهند. ما در ایران گویا چیزی حدود ۲۵ میلیون نفر حقوق‌بگیر و مستمری‌بگیر داریم. دولت وقتی میازن دستمزد را کمتر از تورم افزایش می‌دهد در واقع انگار دارد در سال جدید میزان دلار کمتری به این ۲۵ میلیون نفر می‌دهد، و میزان پول کمتر برای این ۲۵ میلیون نفر باعث می‌شود تا پول کمتری خرج کنند و افراد خارج از ۲۵ میلیون نفر هم پول کمتری نصیب‌شان شود. برای مثال شما اگر چلوکبابی هم داشته باشید، وقتی بقیه فقیر می‌شوند، کمتر برای کباب خوردن پول خرج می‌کنند و در نتیجه از درآمد شما هم کاسته می‌شود و در بدترین حالت کل جامعه گرفتار رکود می‌شود. حال چرا دولت‌ها دستمزد را به اندازه تورم افزایش نمی‌دهند؟ چون خیلی وقتها درآمدهای دلاری خودشان کاهش می‌یابد. در اینجا یک راه حل این است که دولت حتی در صورت نداشتن منابع ارزی، میزان دستمزدها را به اندازه تورم یا حتی بیشتر افزایش دهد و در بدترین حالت دست به چاپ پول بزند. اینجا اما بعضی اقتصاددان‌ها می‌گویند ممکن است که چاپ پول و افزایش نقدینگی برای افزایش دستمزد باعث ایجاد تورم شدیدتر در سال آینده شود و ابرتورم به وجود بیاید. (هر چند نظراتی وجود دارد که جنس تورم در ایران، تورم بر هزینه‌های تولید است و نه فشار تقاضا) این از یک ساید قضیه که پس مشکل افزایش قیمت دلار نه بر سر خودش که بر سر کاهش ارزش دستمزدهای ماست وگرنه اگر دستمزدهای ما هم به میزان افزایش قیمت دلار افزایش می‌یافت، قیمت دلار اهمیتی نداشت.

ساید دیگر قضیه اما مربوط به بورژواهاست. ما دو دسته بورژوا داریم: بورژوای تجاری و بورژوای صنعتی. بورژواهای تجاری افرادی هستند که شغلشان در واردات و بازرگانی است و صنعتی‌ها شغلشان در تولید و صادرات است. در پس اکثر اتفاقات و التهابات اقتصادی یک جامعه می‌توان دعوای پنهان بین بورژواهای صنعتی و تجاری را مشاهده کرد. در واقع این دو گروه منافع متضادی با هم دارند. فرض کنید مثلا یک بورژوا یخچال وارد می‌کند و دیگری یخچال تولید می‌کند. منفعت اولی در این است که قیمت دلار پایین باشد تا واردات برای او بصرفد و میزان واردات افزایش یابد و منفعت دومی در این است تا نسبت دستمزد به قیمت دلار پایین باشد تا هزینه نیروی انسانی کمتر شود و تولید برای او سود بیشتری داشته باشد و همچینن صادرات بیشتر شود. این مشابه همان چیزی است که امثال صادق الحسینی، علی مروی، امیر سیاح و ... بر آن تبلیغ می‌کنند که افزایش قیمت دلار سبب افزایش میزان صادرات کشور می‌شود. در پاسخ اما این که، اولا که افزایش صادرات، درآمدی الزاما به جیب کارگران نمی‌رود بلکه به جیب بورژوازی صنعتی می‌رود و آن ها هم عمدتا پول‌هایشان را به خارج از کشور انتقال می‌دهند و تاثیری بر چرخه اقتصاد در داخل کشور ندارند. دوم هم این که هر وقت به اصطلاح اقتصاددانی چنین حرف‌هایی زد، تحقیق کنید که منبع درآمدش کجاست. البته که بورژوازی تجاری هم محض رضای خدا کار نمی‌کنند و در آن کفه ترازو، گاها با دریافت ارز‌های ترجیحی به صورت بی‌ضابطه برای خود خلق ثروت می‌کنند.

بر ما هرآنچه لایقمان هست می‌رود

گاهی مسیر جاده به بن بست می‌رود
گاهی تمام حادثه از دست می‌رود

گاهی همان کسی که دم از عقل می‌زند
در راه هوشیاری خود مست می‌رود

گاهی غریبه ای که به سختی به دل نشست
وقتی که قلب خون شده بشکست می‌رود

اول اگرچه با سخن از عشق آمده
آخر خلاف آنچه که گفته است می‌رود

گاهی کسی نشسته که غوغا به پا کند
وقتی غبار معرکه بنشست می‌رود

اینجا یکی برای خودش حکم می‌دهد
آن دیگری همیشه به پیوست می‌رود

وای از غرور تازه به دوران رسیده‌ای
وقتی میان طایفه ای پست می‌رود

هرچند مضحک است و پر از خنده های تلخ
بر ما هرآنچه لایقمان هست می‌رود

این لحظه ها که قیمت قد کمان ماست
تیریست بی نشانه که از شست می‌رود

بیراهه ها به مقصد خود ساده می‌رسند
اما مسیر جاده به بن‌بست می‌رود

من یک رفیقی دارم که خیلی من رو تشویق می‌کنه هر چی پول به دست آوردی دلار کن هر وقت خواستی بفروش تومن کن (البته که بنده در کارهای اقتصادی ضعیف‌تر از این حرفام). به هر حال چند وقتی برام سوال پیش اومده که به فرض اگر آدم همچین سناریویی در پیش بگیره در بدترین حالت چند درصد ضرر می‌کنه؟ یعنی من اگر یک روز دلار بخرم و بعد در روزهای بعدش در روزی نیاز داشته باشم کل پولم رو تومن کنم چند درصد ضرر می‌کنم. امشب نمودار همین رو کشیدم. نمودار می‌گه به ازای هر روز، پایین‌ترین قیمت در روزهای بعد از اون روز چند درصد با قیمت اون روزی که دلار کردید فرق داشته.

این Song from a Secret Garden موسیقی عجیبیه. یک حس غم‌انگیز آرامی داره و آدم رو یاد گذشته می‌اندازه. از اون موسیقی‌هاست که آدم دوست داره موقعی که داره می‌میره در بک‌گراند پخش بشه و گوش بده.

یادم هست از بچگی وقتی یک سی دی کارتونی رو در dvdخوان قرار می‌دادیم، اولش یک تریلر از خرس برادر پخش می‌شد. من هیچ گاه اما سی‌دی خرس برادر را نخریدم و بعدا هم ندیدم. امروز صبح اما برای اولین بار تصادفی و خیلی سرعتی دیدمش. واقعا انیمیشن زیبایی بود و نسبت به شهرتش underrated محسوب میشه. و در مقایسه با خیلی از انیمیشن‌های پرنسسی دیزنی، از لحاظ معنایی سطح بالاتری داره. دلیل همین کمتر توجه‌شدن بهش شاید این باشه که درش هم گرافیک کار رنگ متفاوتی داره و هم پرنسس یا شاهزاده خوشگلی نداشت. البته پایانش جا داشت جوری باشه که انتخاب شخصیت ماجرا براش تبعات واضح‌تر منفی داشته باشه.

توییتر را بالا پایین می‌کردم و از پیام‌ها می‌پریدم. بار دیگر ابتذال سیاسی. یک عده معلوم الحال توییت زده بودند که آی وااسلاما چرا رفع فیلتر کردید در حالی که خودشان در توییتر و تلگرام و اینستا داد می‌زنند. عده‌ای نواصولگرا، رفع فیلتر واتسپ را مسخره کرده بودند حال آن که کسی نبود بگوید که واتساپ به همین داغانی هم در دولت خودتان فیلتر شده بود. عده‌ای اصلاح‌طلب هم از رفع فیلتر واتساپ و گوگل پلی حماسه‌سرایی کردند. آن‌هایی که بهشان پستی رسیده بود بیشتر و آن‌هایی که پستی هنوز به ایشان نرسیده کمتر. این وسط‌ها توییت‌های یکی از دوستان هم پیاله‌ام را هم دیدم که بنده خدا با چه امید و انگیزه‌ای می‌رفت زیر توییت‌های بقیه پیام می‌گذاشت و اعتراض می‌کرد که این رفع فیلترینگ نیست و اینها. خوش به حالش. خیلی امید دارد. شب هم که دبیر شورای عالی فضای مجازی آمد و در پاسخ به سوالات ساده مجری صداسیما درباره رفع فیلتر واتساپ، همش حرف از سازوکار زد. بعدش هم که یادآوری شد که بالاروندگان از دیوار سفارت انگلستان، سخنگوی همان شورا هستند.

حسودی‌ام می‌شود. به آدم‌ها دیگر. از اصولگرا و اصلاح‌طلب و اپوزسیون و حتی همان دوست باانگیزه‌ام حسودی‌ام می‌شود. بعد از این همه سال، تصور می‌کنم که سیاست پروژه است. پروژه ای که کارفرمایش صاحبان قدرت (عمدتا اقتصادی) اند. پیمان‌کارانش آدم‌های سیاسی، و مصالح و موادش هم مردم. این که حالا فلانی در چه جبهه‌ای باشد هم ۹۹ درصد وابسته به تیم‌کشی‌هاست. تیم‌کشی‌ها هم خیلی وقت‌ها وابسته به این است که پدرت کیست، پدرزنت کیست یا برای که کیف‌کشی کرده‌ای یا می‌توانی بکنی. در نهایت دیگر در بهترین حالت، تیمت وابسته به منافع شخصی‌ات است، (مثلا آن دوست بنیادگرای ما اگر بعد از این همه سال توبه کند و بخواهد پست‌مدرنیسم بازی دراورد، سودی نمی‌کند). مردم بی‌چاره هم که بعضا گول می‌خورند و یا مجبورند گول بخورند و بابت احساس تعلق به یک گروهی، احساس ارزش می‌کنند. خوش به حالشان. همین است زندگی.

چند وقتی است که نگرانم که هوش مصنوعی، جای من را بگیرد. امروز به ذهنم خطور کرد که چه قدر زیبا می‌شود اگر بتوانیم سیاسی‌ها را بی‌کار کنیم و هوش مصنوعی را جایگزینشان کنیم. مسئولان هوش مصنوعی باشند، اعضای احزاب هوش مصنوعی باشند و حتی سمپات‌ها هوش مصنوعی باشند و نهایتا آدم‌ها اگر شبیه آدم‌های wall-e یک سری موجود خپل در حالت گذران عمر باشند هم دیگر نور علی نور است. ولی نه. در آن صورت دیگر دنیای خالی از تعارض جذابیتی نداشت. گرچه که در این دنیای فعلی هم نقش من، یک سیاهی لشکر بازنده بیش نیست.

من برای خودم ناراحتم. برای این کشور ناراحتم. برای آن پیرمردی که سر خیابان از روی عزت نفس، کبریت فروشی می‌کند ناراحتم. برای آن کودکی که دستفروشی می‌کند (و دولت‌ها با کودک کار نامیدنش، معضل اقتصادی را به معضل اجتماعی شیفت می‌دهند) ناراحتم. برای سرطانی‌های چند سال بعد که آبستن هوای آلوده این روزها هستند ناراحتم. برای فرصت جوانی از دست رفته‌ خودم ناراحتم.

جای مردان سیاست بنشانید درخت
تا هوا تازه شود

#افکار_پریشان