دستاوردهای یادگیری عمیق(InTec)

من اینجا همه‌ی آن چیز که برای deep learning لازمه رو یک رودمپ کردم؛ از بهترین دوره‌های دنیا که اتفاقاً همه هم رایگان هستند.

یکی از اعضای کانال، اشاره داشتند که راجب
Image Processing
اما چیزی نگفتم و کاملاً هم حق دارند.

اما قبلش :
توی ۱۰ سالی که Image کار کردم هیچ موقع یک کتاب یا یک دوره مخصوص پردازش تصویر که شامل همه چیز باشه ندیدم و و احتمال ۹۹٪ هم نخواهم دید.

Image Processing
فقط چندتا تکنیک نرمال نیست که با یک دوره در بیاد، نیاز به خلاقیت داره برای همین هم من منبع خوبی توش پیدا نکردم.
( همین بحث برای پردازش متن و سیگنال هم هست )

اما توی این همه سال همیشه یک دوره رو به نیروهای جونیور خودم معرفی می‌کردم (اینم رایگان) که حداقل ببینند هر تکنیک چه تاثیری روی تصویر خواهد داشت.

Youtube Channel

حتماً دوره‌های این کانال رو ببینید.

در نهایت آیا می‌دونید ۹۰٪ پست‌ها بدون ذکر منبع توی توییتر و لینکدین بصورت لغت به لغت و به‌نام صاحب اکانت پخش می‌شه ؟

نکته‌ای ندارم فقط خواستم ببینم می‌دونید یا خیر؟
۹۰٪ وقتا توی لینکدین دارم تجربیات خودم رو زیر یک اکانت دیگه لایک می‌کنم.

دکتر حبیب‌زاده از دوستان خیلی خوب بنده هست که قبلا هم کانال‌ یوتیوب و لایو‌های دیگرشون رو معرفی کردم مخصوصا وقتی دوره‌های عملی دانشگاهای کانادا رو درس می‌دادند.

یک سری ویدئو دارند توی یوتیوب قرار می‌دهند درمورد LLM ها که مقدماتی هم هست (بخش سوم)

Youtube Link

دیدن آموزش‌های ایشون همیشه برام لذت بخش بوده؛ بسیار روان و ساده توضیح می‌دهند (مناسب برای شروع و درک عمیق مطالب) طوری که نمی‌شه مطلبی رو ایشون توضیح بدند و کسی متوجه نشه.


همیشه هم مطالب رو رایگان در اختیار دیگران می‌گذارند.
توصیه می‌کنم اگر به این موضوعات علاقه دارید حتما ویدئوهای یوتیوب ایشون رو ببینید.

مدل QwQ اومده ۳۲ میلیارد پارامتر داره؛ خیلی هم شباهت داره به deepseek r1 و قطعا خیلی‌هاتون تا امروز ازش استفاده کردید
اما
من معرفیش نکردم چون ۲ تا سوال اولی که ازش پرسیدم یکیش ۱۰ دقیقه طول کشید تا فکر کنه و دومی ۱۵-۲۰ دقیقه و این اصلا قابل قبول نیست (مفید نیست).

خیلی‌های دیگه هم به همین نتیجه رسیدند؛ و حتی شاید باورتون نشه یک Query خیلی ساده هم پیدا شده که اول سوالتون بذارید (برای کد زدن) خروجی مدل

Qwen2.5-coder 

به اندازه QwQ بهبود پیدا می‌کنه تو بسیاری از سناریوهای مربوط به کد زدن و پرامپت اینه :

Analyze the system and then write the code in python

این رو به اول پرامپت‌ها اضافه کنید و مجدد از Qwen2.5-coder استفاده کنید و از نتایج بسیار بهتر لذت ببرید.


پ.ن : الان تست کردم؛ مورد بالا رو به QwQ هم بدید خروجیش بهتر می‌شه و زمان تفکر رو هم پایین میاره برای مدل.
(حالا بگذریم ازین که تفکر نیست و تست سناریوهای مختلف هست)

ی آپدیت جدید داده deepseek r1
خروجیش به مراتب پیشرفت کرده

توضیحات پست توی گروه مربوط به کانال Rust

کلید RSA هم برای اولین بار شکسته شد.
نیاز فوری به الگوریتم Encryption جدید و قویتر

Blog Post

شما درخواست دادید :
این ۳ تا مدل رو باهم مقایسه کردم (غیر لوکال)

chatgpt 4o, mistral ai, deepseek r1

تمام مواردی که میگم روی Python هست (چون دوستان پرسیدن زبان‌های دیگه چطوری هست؛ مخصوصا Rust, C گفتم اعلام کنم؛ من برای Rust دائما از Qwen2.5-coder 33b استفاده می‌کنم)

به هیچکدوم از مدل‌ها هم تسک پیچیده ندادم؛ که برو ۰-۱۰۰ این پروژه رو بزن و بیار؛ اما تسک‌های کوچیک زیاد بوده؛ استانداردهای کدهام رو مکتوب می‌کنم همون code contribution agreement یک چندتا نمونه از بخش‌هاش رو پیاده‌سازی می‌کنم و باقی موارد رو میدم به این مدل‌ها ازشون پیاده‌سازی می‌خوام و اما نتایج :

mistral ai:
توی تمام موارد عملکرد نسبتا خوبی داره؛ اما بیش از حد تایپ می‌کنه.
بعضی وقتا بطور کامل راه‌حل درست رو می‌گه یا اینکه چطوری باید پیاده‌سازی کنید و ... ولی بعد خودش توی پیاده‌سازی فراموش می‌کنه و دقیقا کدی که ورودی بهش دادید رو بر‌می‌گردونه.
توی کدهای کوچیک (تک فایل و زیر ۲۰۰-۳۰۰ خط) مشکلی نداره و همه چیز درست هست.
سعی می‌کنه syntax کاربر رو هم تا جایی که می‌شه رعایت و دنبال کنه.
سرعت پاسخ خیلی خیلی بالایی داره.

chatgpt 4o:
هیچ جواب اضافه ای نمیده؛ بخصوص اگر اولش بهش گفته باشید و یک راست میره سر اصل مطلب و نکات مهم.
به شرط پرامپت خوب و کدهای کوچیک عملکرد خیلی خوبی داره.
سرعت پاسخش کمی از mistral کمتر هست.

اما ۳ تا مشکل اساسی من باهاش دارم:
۱- کلا کد بزرگ رو درست نمی‌فهمه؛ چندتا مازول رو کنار هم بذاری و ازش چیزی بخوای.
۲- اگر کد بزرگ رو بفهمه و بهت جواب هم بده؛ جوابش توی بیش از ۸۰٪ مواقع بدرد نمیخوره درست هست ولی syntax شما رو رعایت نکرده (مثلا بجای کلاس؛ همرو با تابع می‌نویسه و ...)
۳- خیلی زود به memory full میخوره و حتی اگر به اون هم نخوره خیلی زود code contribution agreement رو فراموش می‌کنه.

اما بطور کلی اگر چیزی رو درست جواب بده و بخواد راه‌حلش رو توضیح بده خیلی روان و صریح توضیح میده که اگر موضوع کد نبود بنظرم برنده بود.

deepseek r1:
حتما؛ حتما؛ حتما حتی شده در نهایت کدها رو بهش میدم و ازش می‌خوام ایراداتش رو بگیره یا اگر چیزی رو با استاندارد رعایت نکردم بهم بگه.
زمان پاسخش بخاطر مرحل تفکر؛ از باقی موارد بالاتر هست ولی بطور کلی توی کدهای بزرگ همزمان خروجی نهایی رو میدهند.
همیشه و در همه شرایط syntax رو رعایت کرده توی تست‌های من.
فایل‌های بزرگ و dependency های زیاد خوراکش هست (تعداد مسیج روزانه‌اتون رو خرچ سوالات ساده و کدهای کوچیک نکنید.)
قوانین contribution رو همیشه رعایت می‌کنه؛ مثلا از دیروز بهش گفتم کد بدون تست نباید تحویل بدی؛ همواره داره تست نویسی رو هم انجام میده (بیش از ۸۰ پیام از اون پیام تست نویسی گذشته)

اگر مثل مدل‌های Lite قبلی باشه یعنی چیزی در حدود ۱۲ تا ۲۰ میلیارد پارامتر خواهد بود و احتمالا بعد از اتمام تست‌ها بصورت open-source منتشر خواهد شد.

چقدر خوبه این

Deepseek R1

نسخه Deep think رو روی سایت فعال کنید و باهاش کد بزنید؛ بذارید تصمیم بگیره که بهترین طراحی و ... برای کد شما چیه
فقط فعلا تنها مشکل تعداد ۵۰ پیام در روزش هست ( با ۲-۳ تا اکانت می‌شه ی پروژه رو درآورد)

من اینطوری تستش کردم که نتایج chatgpt, mistral (نسخه‌های جدید) رو بهش میدم و میگم کدهاشون رو review کنه و بهبود بده.
واقعا هم نتایج بهتری داره نسبت به اون دو مدل؛ همچنان روی preview هست.

https://chat.deepseek.com/

ازین به بعد این پست‌ها رو با #ایده و #تمرین علامت میذارم.

برای تمرین راحت پیدا کنید

#ایده #تمرین

این دمو دیپ‌مایند رو دیدید ؟
DeepMind

شب قبل یکی از دوستام پیام داد، که یک پروژه آموزشی بهم بده ولی همه چیز داشته باشه وسط بازی فیفا بودم و این قضیه اذیتم می‌کرد که اسکریپت گزارشگرها دائماً درحال تکرار هست.


فکر کنم ایده رو گرفتید :
۱- بازیکنان، وضعیت توپ، داور و اتفاقات اصلی بازی رو log کنید (خود fifa اینکار رو می‌کنه ولی شما یک مدل vision براش بذار، مدل زیاد هست ولی برای تمرین بیشتر من جزئیات بیشتری غیر از توپ و بازیکنان رو می‌خوام)

۲- با یک ورژنی مثل Smol (باهم تبدیلش کردیم به ollama توی پست‌های قبلی) لاگ بازی رو تبدیل به متن کنید.

۳- از مدل دیپ‌مایند یا هر مدل دیگری برای تبدیل اسکریپت به صدا استفاده کنید.


آیا شدنی هست ؟ ۱۰۰٪
مصرف GPU بیشتر نمی‌شه ؟ چرا ولی این رو می‌شه توی بازی اضافه کرد، بخش تنظیمات.
در نهایت یک سری به تیم AI شرکت EaGame بزنید و ببینید چه کارهای خفنی که نمی‌کنند.

طرف زده ML Engineer توی رزومه‌، باهاش مصاحبه می‌کنم
می‌گه فقط پرامپت نویس هستم، Prompt Engineer میری جلوتر می‌بینی از Enginner بودنش هم سوادی نداره


مثه این می‌مونه که :
عریضه نویس بیاد بگه من وکیل پایه‌ یک دادگستری هستم.

کلا اسم Prompt Engineer اسم خوبی نیست یک چیزی بذارید که توش Engineer نباشه

Test time training

که از MIT هم اومده بسیار جذابه‌ها (نه برای پروداکشن البته؛ حداقل فعلا نه).

از کانال محمد طلایی عزیز
قبلاً هم این کانال رو به بچه‌هایی که علاقه‌مند به مباحث مالی هستند معرفی کردند.

محمد از دوستان خوب و بسیار با سوادم هست، که همیشه از خوندن مطالب و بحث کردن باهاش لذت می‌برم

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

خیلی خوب جواب میده
اونقدر هم دست به کد هست که :

باید بهش بگی داداش، فقط توضیح بده کد نزن ی دیقه بذار خودمم به راه‌حل فکر کنم

من تمام تست‌ها رو روی Rust انجام دادم.

نتایج
Qwen2.5 32b

تست می‌کنم و میگم.

ولی اگر خواستید کار قشنگی بکنید
نرید توی نوت‌بوک‌های آموزشی که توسط community نگهداری می‌شه اشتباه تایپ تغییر بدید.

خیلی پروژه‌های بزرگ هستند که:
۱- داکیومنت آپدیت شده ندارند (برای خیلی از فیچرهای جدید)
۲- داکیومنت فارسی ندارند
۳- داکیومنت مثال نداره
۴- تست نویسی مناسبی نداره
۵- داک‌استرینگ و تایپینگ ندارند.

همه‌ی اینها کارهای بسیار با ارزش و بزرگی هست که می‌تونید انجام بدید؛ حتی وقتی دارید یک کتابخونه رو یاد میگیرید، خیلی هم اسم بهتری داره
ولی
هیچوقت از هیچ کاری تو دنیای open source سعی نکنید سو استفاده کنید.

اون شخصی بود که لینکدین گذاشته بود که
Pull Request
زده روی پروژه models خود تنسرفلو بعد ۱۸۰۰ تا لایک و ... گرفته.

تا اینجاش به ما ربطی نداشت، ولی اونم پکیج فروشی رو شروع کرده. (که دیگه به ما ربط داره)

تازه اسم بچه‌های AI رو هم داره خراب می‌کنه

تمام کاری که کرده این بوده، A0 رو به A2 تغییر داده.

آموزش همکاری روی پروژه‌های open source هم گذاشته.
پشمام

اینجا کاخ سفید و اینم ایلان ماسک.

دونالد ترامپ رئیس جمهور جدید آمریکا (ایلان طرفدار ایشون)

ایلان این حرکت رو بعد از خرید توییتر زده بود.



الان ی مشت حسود پلاستیکی میان میگن عکس فتوشاپ هست‌

تکنیک مورد علاقه جدیدم :

https://docs.instructlab.ai

ی بنده خدا هم هست توی لینکدین
۲ سال و نیم هست (حداقل از وقتی من میشناسم) داره مصاحبه می‌کنه که موقعیت خارج از ایران بگیره

هنوز موفق نشده، بعد تجربیاتی که می‌ذاره زیر ۱۰۰۰ تا لایک نداره.

امشب دیدم زده می‌خواد بصورت خصوصی افراد رو راهنمایی کنه موقعیت بگیرن (با هزینه)

بعد ۳۰۰ تا اسکل هم کامنت کردن با این مضمون که :
تورو خدا منو بذار تو اولویت

لینکدین از اینستاگرام هم اسکل بیشتر داره 🤣😂

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

اگر لینکدین رو بذارم مرجع بیش از ۸۰٪ کسانی که در زمینه AI کار می‌کنند و سطح Senior (با توجه به لینکدین)

فقط مدرس هوش مصنوعی هستند.
یا بنیانگذار شرکتی که از API هوش مصنوعی شرکت‌های خارجی استفاده می‌کند.
و هیچ پروژه موفق دپلوی شده‌ای ندارند.


فروش رویا به نسل جدید توی شرایط سخت این روزها منبع درآمد این گروه شده.


اگر خواستید حرف‌های من رو validate کنید این مسیری هست که ما رفتیم :

1) LinkedIn crawler (playwright mostly)
2) Json parser for most of the information
3) LLM & LLM Scrappers
4) Search company, role and ... using google/duckduckgo api
5) Human check (for edge cases)

این پروژه‌ای بود که من به دوتا از بچه‌ها دادم (هدف یادگیری llm finetune و ... بود با یک پروژه چالشی)

الان خود کد و تحلیل‌هاشون رو می‌فروشند، شما هم می‌تونید تمرین کنید.


شاید تا چندوقت دیگه اینم سرویس شد (برای تمرین بیشتر و تعداد یوزر در اسکیل بزرگ)


پ.ن : فقط منتورشیپ بچه‌ها ٫ کد ریوو با من بود و بنده هیچ کدی رو نزدم روی این پروژه (همش کار خودشون بود)

این ویدئو ۷۰٪ سوالاتی که توی چندماه اخیر (بعد از راه‌اندازی @PyRust ) پرسیدید رو جواب میده و خیلی هم عالی :

Youtube Link

بطور کلی PyData اخیر سخنرانی خوب کم نداشت واقعا

سال 2020 درمورد نحوه استفاده از Rapids توی شرکتی که اون زمان کار میکردم گفتم.
بعدتر درمورد cuGraph هم صحبت کردم.


دیروز دیدم یک تیم ایرانی شدیدا درگیر پردازش یک حجم بزرگ از گراف هستند که خب networkX سالها طول میکشه

قبل خرید و تصمیمات … گرفتن یک مشاوره از من گرفتند؛ کد رو بردم روی cuGraph و پردازش تا 300x سریعتر شد؛ قطعا بیشتر هم میشد ولی نیاز به اپتیمایز کردن نبود.


خواستم یادآوری کنم که؛ حواستون به پستهای قدیمی کانال هم باشه؛ بعضیاش طلاس
زمان لازم داره تا ارزشش مشخص بشه.

اون پست رو یادتون هست ؟

حالا ماکروسافت امروز اومد کلی ابزار رو open-source کرد که مهم‌ترین مورد مربوط به این کانال

BitNet.cpp

هست که با efficiency بالا مدل‌ها رو می‌بره روی 1bit برای inference داستان اونجایی قشنگ میشه که خیلی‌ها دارن مدل‌های 70B رو باهاش می‌برن روی لوکال و CPU اجرا می‌کنند.

https://github.com/microsoft/BitNet

متأسفانه فرصت تست نداشتم و امشب هم فکر نکنم بتونم
ولی حتماً برای فردا روی مدل‌های سایز مختلف سعی می‌کنم تست کنم و نتایج رو منتقل کنم.

سخنرانی جالبی بود :
مهمترین عنصر پیاده سازی هست

Pydata Youtube

#موقت

اولین تبلیغ مربوط به سرویسی هست که گروهی از دوستان توسعه دادند.
سرویس تا امروز خصوصی بوده

سر میزان تخفیف به اعضای کانال چونه بزنم
تست‌ها رو هم انجام بدم

باهاتون به اشتراک میذارم (درصورت رضایت)؛ هرچند وقتی سرویس خصوصی بود بسیار باهاش کار کردم.

تبلیغ یک بوت کمپ پاییزی رو ۷-۸ نفر برای من فرستادید (اسم نمی‌برم چون بعضی از مدرس‌هاش رو باهاشون کار کردم)

فقط به این دوستان گفتم بروند، بررسی کنند اسم این افراد و شرکت‌هایی که زدند آیا اون شرکت محصول هوش مصنوعی درستی داره یا نه

اینکه دارند از یک سرویس دیگه api می‌گیرند (مثلاً گوگل، آمازون و ...) و بعد روی api خودشون به شما سرویس میدهند نه ...

خودشون به جواب رسیدند، چون بازم بعضی از شما عزیزان دارید برام ارسال می‌کنید توی کانال گذاشتم که خودتون بررسی کنید.

موفق باشید 🌹

یوتیوب خودمون که لایوهای؛ advance python اونجا قرار میگیره :


https://www.youtube.com/@PyHints

توی این هفته freecodecamp دوتا دوره عالی گذاشته؛ این دو مورد ربطی به پایتون نداره اما بدرد خیلیا میخوره بخصوص :
@pytens, @pyrust

اینکه دارم پست رو اینجا میذارم چون متوجه شدم خیلی از بچه ها این کانال فوق العاده رو نمی شناسند و باهاش آشنا نیستند؛ بهونه کردم برای معرفی کانال.

دوره ها کدوم موارد هستند ؟


1- Cuda Programming Course (in C)

2- Linux Device Driver Development (in C)


حقیقتش اینکه این هفته جلسه نداریم؛ برای این هست که از شروع لایوها اولین جمعه ای هست که تسک ندارم و چون ۲ هفته گذشته بسیار بسیار درگیر بودم؛ ترجیح دادم این جمعه رو استراحت کنم و برای این استراحت این ۲ ویدئو رو انتخاب کردم برای دیدن.

امیدوارم شما هم لذت ببرید؛ کانسپت مهم هست.

یک سری چارت داشتم که ۲-۳ ماه پیش با chatgpt روشون گزارش گرفتم؛ ۵-۶ مورد توسط متخصص تایید شد و باقی هم اشتباهاتش در اومد.
متاسفانه llama3.2 90B روی این تسک خیلی خوب نبود؛ وقتی بهش میگم جوابت رو توضیح بده شروع می‌کنه اشتباه کردن و یا حتی جواب اول رو تغییر دادن.

پس فعلا روی این مدل تسک‌ها کاپ رو برگردونیم بدیم به allenai/Molmo
متاسفم meta ولی هنوز روی تصاویر مربوط به چارت و گراف و آنالیز تخصصی hallucination بالایی داری شاید ورژن‌های بعدی.

در عوض مدل‌های 1B, 3B متنی توی تست‌ها بیش از حد انتظار بهتر بود (البته من 1B رو تست کردم). روی تسکی که توی ماه قبل برای تمیز کردن داده داشتم تست گرفتم و نتایجش از هر سه مورد Phi3, Gemma, Qwen2 بهتر بود. (یادم نبود این تسک رو روی Qwen2.5 هم تست کنم)

با این حساب لیست مدل‌های من :

Flux-Dev --> Image generation.
Molmo --> general vision tasks.
Llama3.2 1B and 3B --> Data cleaning (small model).
Qwen2.5 32B --> General use cases.
Qwen2.5-coder & yi-coder & deepseek-coder-v2 --> coding 

البته بعد از انتشار Qwen2.5-coder 32B قطعا با deepseek خدافظی می‌کنم ولی تا اون موقع باشه شاید لازم شد.

اگر متا بهتون دسترسی نداد :

check this link

مدل رو از اینجا دانلود کنید؛ شخصا فردا تست خواهم کرد.

Q4 version from unsloth

با خبر خوب اومدم؛ توی آخرین آپدیت کرنل Rocky Linux و ترکیبش با آخرین نسخه nvidia-driver که منتشر شده مشکل sleep حل شده طبق بحث‌های فروم راکی (البته ۹۹٪ این مشکل رو نداشتند؛ روی تنظیمات و سخت‌افزار‌های خاصی این مشکل دیده می‌شده)
اما من و چندتا از دوستان همچنان این مشکل رو داشتیم و یک مورد تعجب بر‌انگیز پیدا کردیم :
۱- اولین کاری که کردم؛ همه پارامترهایی که به etc/default/grub اضافه کردم رو پاک کردم و فقط ۲ مورد مربوط به غیر فعال کردن nouveau رو نگه داشتم:

nouveau.modeset=0 rd.driver.blacklist=nouveau

همین مورد مشکلاتمون رو حل کردم؛ سیستم به راحتی sleep می‌شد و همه چیز عالی بود.

اما وقتی مدت طولانی با سیستم‌هامون کار می‌کردیم؛ باز به مشکل میخورد و sleep نمی‌شد؛ هیچ لاگ بدردبخوری هم نمیوفتاد.

شک کردم شاید مشکل از برنامه‌هایی هست که استفاده می‌کنم (بیشتر مرورگر و GPU Acceleration) پس اومدم برنامه‌های اصلی رو تک تک باز کردم باهاشون یک مقدار کار کردم و sleep زدم و همه چیز درست بود.

اما بعد از چندساعت کار بازم sleep درست کار نکرد؛ واقعا هیچ دیدی ندارم که چرا ولی بعد اومدم سراغ Telegram Desktop و رفتم:

Setting > Advance > Performance

هر ۲ تا گزینه Hardware Acceleration, OpenGL فعال بود که اصلا نمی‌دونم برای چی ؟ من با این فقط ۴ تا پست متنی می‌نویسم برای کانال‌ها و هیچ چیز دیگری هم روش ندارم؛ خلاصه که بعد از غیرفعال کردن این ۲ مورد مشکلات حل شد.

روی سیستم دوستان هم تست کردیم؛ مشکل اون‌ها هم همین بود.

گفتم اینجا بذارم؛ شاید مشکل شما هم باشه. بازم تاکید می‌کنم قبل از انجام هر روشی اول لاگ‌هارو بخونید.

چیزی که درد واقعه رو بیشتر می‌کنه

#معدن_طبس

#خارج_از_بحث اما مهم و آموزنده

ما ایرانی‌ها به لطف اتفاقاً سال‌های اخیر، بخصوص اعتراضات و دستگیری‌ها و ...

با تکنیک‌های پیدا کردن محل معترض و تجمع و از این دست اطلاعات توسط نهادهای امنیتی بسیار آشنا هستیم.

اما غیر از اون مورد، همه‌ی دوستان نزدیک من می‌دونند پیام‌ها و تماس‌های مهم نباید از طریق تلفن بیاد ( آدم وقتی امنیت کار می‌کنه و چیزهایی می‌بینه به همه مشکوک می‌شه منم مستثنی نبودم )

اما وقتی میگیم SS7 خیلی‌ها متوجه نمی‌شوند، برای همین همیشه با پیدا کردن مکان دقیق، تا ۵۰ متر این مورد رو مثال می‌زدیم. (وقتی می‌گفتند توی اعتراضات گوشی با خودتون نبرید، یا سیمکارت نداشته باشید و ... دقیقاً برای همین بود)

حالا کانال Veritasium (که شخصاً خیلی سال هست دنبال می‌کنم، قبلاً توی @pytens هم صحبت شده راجبش) با جزئیات و تاریخچه درمورد این نوع حملات صحبت کرده و حتی دمو هم انجام میده

بنظرم لازم هست همگی این مورد رو ببینید.

Exposing the flaw in our phone system

این هنیه رو هم که خیلی‌ها می‌گفتند چرا گوشی‌اش رو ازش نگرفته بودند و ...‌
یک بخشیش بخاطر همین تکنیک و روش پیاده‌کردن مکان بود.


راهکارهایی که شخصاً پیشنهاد می‌دم، البته قطعاً فوق‌العاده نیست ولی بهتره :

۱- شماره موبایلی که برای ورود ۲ مرحله‌ای بانک و ... اعلام می‌کنید سعی کنید روی خط موبایلی باشه که هیچکس نداره شمارش رو ...

۲- هرکسی درخواست شماره و رزومه و ... از کف اینترنت داد براش نفرستید اگر مطمئن نیستید (مگر شماره‌ای که فقط برای همینکار هست)

۳- تماس‌ها، پیام‌های مهم رو روی اپلیکیشن‌های end2end encrypted رد و بدل کنید Signal گزینه خوبی هست.

۴- اگر مجبور شدید اطلاعات مهم رو بخش، بخش بفرستید مثلاً.
آدرس سرور: تلگرام
یوزر نیم: ایمیل
پسورد: سیگنال

۵- فایل و ... رو encrypted بفرستید.

۶- برای two factor authentication از ابزار‌های مخصوص اینکار استفاده کنید مثلاً:

Microsoft Authenticator, ...

خسروپناه، دبیر شورای عالی انقلاب فرهنگی:
باید یه هوش‌مصنوعی مخصوص بسازیم و باهاش مملکتو اداره کنیم


اگر این خبر تأیید شد، از طرف خمینی بهش بگید:

خیلی خررررری

این بار برای تست مدل یک سری تغییرات دادم :
همونطور که قبلتر هم اشاره کردم Qwen2 جزو مدل‌هایی هست که من همیشه ازش استفاده می‌کنم؛ مخصوصا روی سیستم خودم و کنار مدل‌های دیگه‌ای که دارم (multi-model)

اینبار این مدل رو با qwen2 مقایسه کردم؛ اول روی تسک‌های عادی از چندساعت قبل داشتم روی یک سورس کد Rust کار می‌کردم؛ البته بیشتر برای یادگیری داشتم میخوندم و این ۲ مدل رو با chatgpt مقایسه کردم؛ به همه مدل‌ها دسترسی به اینترنت دادم برای سرچ زدن و البته برای مدل‌های لوکل از duckduckgo استفاده میکردم.

نکته دوم context-length مدل رو روی همون 8K نگه داشتم.

توی این موارد که بیشتر سرچ و توضیح بخش از کد بود و با توجه به اینکه روی Rust هم آموزش دیده خیلی راحت جواب میداد؛ qwen2 جاهایی رو اشتباه میزد مخصوصا وقتی مثال نزدیک بهش توی داکیومنت یا سرچ پیدا نمیکرد. اما نسخه 2.5 موردی نبود که نشه جواب بده خیلی جالب بود که وقتی مثال خوبی هم پیدا نمیکرد بر اساس توضیحات می‌تونست خودش مثال هم بزنه (دسترسی به سرچ رو می‌بستم و ازش میخواستم مثال بزنه) مدل chatgpt هم همینکار رو می‌کرد اما مثال‌های سخت‌تری میزد
برای مثال روی مفهوم مربوط به lifetime ازش سوال پرسیدم اما مثالی که تحویل داد ترکیبی از lifetime, generic بود و وقتی گفتم با مفهوم دوم آشنا نیستم و مثالی بزنه که فقط lifetime توی حالت خاصی که پرسیدم رو توضیح بده؛ یک مثال ساده زد که دیگه اون قوانین lifetime رو نداشت.

البته بعد از ۲-۳ بار تکرار هم زمان پاسخ chatgpt کمتر می‌شد هم نتایج بهبود پیدا میکرد ولی بطور کلی من امتیاز این بخش رو به qwen2.5 میدم.

سوالات بعدی هم این موارد بود که qwen2.5 تمام موارد رو به خوبی جواب داد:
۱- سوالاتی درمورد اتفاقات اخیر انتخابات آمریکا
۲- موضوع مربوط به انفجار پیجرها و ...
۳- سخنرانی اسنودن و خلاصه صحبتش درمورد انتخابات و انتخاب رئیس جمهور

این ۳ مورد کاملا جدید بود و می‌شد نحوه کارش برای استخراج اطلاعات رو تست کرد؛ متاسفانه chatgpt کمی با احتیاط پاسخ میداد (یک سری سوالات جزئی دیگر هم پرسیدم که مجبورش کنم جواب دقیقتر و بی‌پرده بده ولی با اینکه با توجه به fact‌ها باید یک طرف رو انتخاب میکرد اینکار رو نکرد)
مشکلی که با qwen2.5 نبود و راحت تر می‌شد ازش جواب بر اساس دیتا گرفت (البته این مدل هم سانسور شده هست ولی به سوالات عمومی بر اساس دیتا راحت‌تر جواب میده)

مشکل اصلی که با qwen2.5 روی سوالات بالا داشتم کم بودن context-length بود؛ چون گزارش شده بود که مدل 32 میلیارد پارامتری عملکرد بهتری از chatgpt 4o-mini داره برای همین منم از 32b استفاده کردم بجای 7b و مجبور شدم روی 8K context بمونم.

سوالات حل ریاضی - تصویر و ... هم بهش ندادم؛ چون توی کاربردهایی نیست که استفاده می‌کنم ولی قطعا برنده این بخش chatgpt o1 خواهد بود بدون شک.

بعد رفتم سراغ qwen2.5-coder فعلا فقط مدل 7b منتشر شده؛ و منم مستقیم رفتم سر وقت باگ‌هایی که توی کدهای Rust داشتم میگرفتم؛ خیلی سوالاتم سخت و پیچیده نبود شاید (چون تازه‌کار هستم توی Rust و نمی‌تونم ارزیابی کنم سطح کدها رو) و تمام موارد رو با روش ۵ مرحله‌ای که چندشب پیش گفتم ارزیابی کردم.
تقریبا تمام موارد رو بدون نیاز به گوگل کردن به جواب رسیدم؛ بهترین مورد در مورد هر ۲ مدل qwen2.5, qwen2.5-coder قدرتشون توی دنبال کردن دستورالعمل‌ها بود.

شدیدا منتظر انتشار مدل qwen2.5-coder 32b هستم برای استفاده روزمره.
دارم به این فکر می‌کنم شاید باید به زودی سخت‌افزار رو برای استفاده از مدل‌های 70b آپگرید کنم 🧐

امشب یا فردا بسته به اینترنت :

یک گزارش دقیق از Qwen2.5 خواهیم داشت.

البته مدل Qwen2.5 coder تو راه هست

این بار از تکنیک :
https://t.me/pytens/1550

استفاده خواهم کرد برای ارزیابی خروجی.
(شخصاً دارم این تکنیک رو اتوماتیک می‌کنم، تا همه‌ی پرامپت‌های local خودم با این روش کار کنند.)

همچنان با اختلاف بهترین Roadmap برای هوش مصنوعی همین هست

یک سری موارد موردی رو فقط درحال حاضر می‌تونم بهش اضافه کنم

مثل، کانال Andrej Karpathy توی یوتیوب و ...

لطفاً درخواست #roadmap جدید نفرستید.
این مورد بهترین هست.

#موقت

میزان share پست‌های کانال هنوز روی همون ۷۰-۱۲۰ هست مثل قبل؛

ولی :

۱- میزان private share بالای ۹۰٪ شده قبلاً زیر ۳۰٪ بود

۲- میزان public share از حدود ۷۰٪ به ۱۰٪ رسیده

در نهایت، خیلی کپی و پیست می‌بینم که دقیقاً متن پست‌ها توی کانال و لینکدین و ... گذاشته میشه بدون منبع (این دسته اصلا مهم نیست)

ولی واقعاً چرا دیگه public share نمی‌کنید؟ این همه جمع کردن منابع برای استفاده شخصی چرا آخه ؟
بذارید باقی هم یاد بگیرند خب 😁😂


ازون بدتر هم reaction هست.
تعداد reaction این پست رو ببینید :
https://t.me/pytens/1537

اصن به آدم انگیزه میده کار نکنه، بیاد بشینه پست بزنه فقط

بعد باقی پست‌های حتی فنی و تخصصی رو هم ببنید.

یک سری از افراد اومدند و پرامپت‌هایی رو منتشر کردند که عملکردی مشابه chatGpt o1 رو پیاده‌سازی می‌کنه و شاید باعث سورپرایز شما هم بشه اما واقعا این روش باعث شده نتایج بسیار بهتری داده بشه توسط مدل‌ها؛

llama3.1, gemini flash, qwen2, chatGpt-4omini

مدل‌هایی بوده که تست شده و توی تمام موارد عملکرد بسیار بهتری نشون داده نسبت به پرامپت‌های معمول بطور خلاصه اینطوری هست که شما ۵-۶ پرامپت رو آماده می‌کنی و جواب هر مرحله رو بعنوان history برای مرحله بعدی ارسال می‌کنی.

من روش ۵ مرحله‌ای رو با عملکرد بهتر دیدم پس همون رو میگم:

۱- آنالیز مسئله؛ توی این مرحله از مدل می‌خواید که سوال کاربر رو بطور کامل تحلیل کنه (البته بصورت خلاصه) و نکات مهمش رو بهتون بده.

۲- برنامه‌ریزی استراتژی؛ با توجه به خروجی مرحله قبل از مدل می‌خواید که چندتا استراتژی مختلف برای حل این مسئله ارائه بده (۳-۵ مورد کار رو در میاره)

۳- انتخاب استراتژی؛ توی این مرحله از مدل می‌خواید یکی از استراتژی‌های مرحله قبل رو انتخاب کنه (موردی که منطقی‌تر هست)

۴- اقدامات لازم؛ از مدل می‌خواید که با توجه له استراتژی و آنالیز مسئله قدم به قدم آنچه برای حل مسئله نیاز هست رو در بیاره و بنویسه.

۵- در نهایت پرامپت اصلی کاربر + اقدامات لازم برای حل مسئله رو بعنوان ورودی به مدل میدید و بهش می‌گید که برای حل مسئله این اقدامات رو دنبال کنه تا جواب نهایی رو بگیره.

مجموع این ۵ مورد کنار هم عملکرد مدل‌های معمول موجود رو بسیار بسیار بهبود میده.
هزینه کمتری هم نسبت به chatGpt-o1 داره

خیلی از بچه‌ها گفتند که چطوری از llm استفاده می‌کنی چون نسخه‌های local به chatgpt, sonnet , ... نمیرسه

من از تکنیک multi-model استفاده می‌کنم :

شما ۳-۴ مدل رو میذاری کنار هم agent نیست (هرچند می‌تونه باشه) سوال رو می‌پرسی و همه مدل‌ها جواب می‌ده، مدل‌هایی که استفاده می‌کنم:
qwen2, yi-coder, deepseekcoderv2, gemma2, llama3.1 long context

جواب همه مدل‌ها رو میگیرم، اول اینکه نظرات و تکنیک‌های مختلف رو برای پیاده‌سازی دارم و hallucination به راحتی قابل یافتن هست.

بعد خروجی بهتر رو like می‌کنم، این لایک کردن اون خروجی رو بعنوان جواب درست انتخاب می‌کنه و توی دیتابیس بعنوان chatHistory نگه میداره.

اگر سوالی که می‌پرسم نیاز به داکیومنت جدید داشته باشه؛ از duckduckgo و یا brave استفاده می‌کنم.
مدل‌هایی برای نوشتن query search وجود دارند ولی من از prompt استفاده می‌کنم روی llama3.1 و نتایج رو بعنوان ورودی RAG میدم به مدل و بعد ازش response میگیرم.


اینجوری بسیاری از مواقع خروجی درست رو میگیرم و احتمال اشتباه hallucinate بسیار بسیار برام پایین اومده


اضافه کنم:
بعضی از فیچر‌هایی که استفاده می‌کنم رو شخصاً پیاده‌سازی کردم برای خودم که کارم رو راحت تر کنه.