PyTorch Howsam

احتمالا درمورد NotebookLM گوگل شنیدید. می‌تونی یکسری محتوا (مثلا PDF، وبسایت، یوتوب، گوگل داک و غیره) درباره یک موضوع بهش بدی و اون برای شما خلاصه میکنه!

امروز یک کورس 1 ساعته درباره NotebookLM دیدم که خیلی ساده و سریع کار با این ابزار رو آموزش میده.
لینک

@pytorch_howsam

یک نفر در توییتر، سایتی به‌نام primeintellect برای اجاره GPU با نرخ به‌صرفه معرفی کرده بود. مشابه خیلی از سرویس‌های دیگه هزینه‌هاش ساعتی هست. من ازش استفاده نکردم و تازه باهاش آشنا شدم، اما نرخ‌هاش خوبه. مثلا، H100 رو ساعتی 1.49 دلار میده. من زیر 2 دلار ندیده بودم. حالا H100 که خیلی قوی و گرونه، ولی ممکنه کارتون با GPU-های پایین‌تر هم راه بیفته. مثلا، P100 با 16 گیگ رم، 0.11 دلار؛ یعنی 100 ساعتش میشه 11 دلار.
لینک

بگو چی شده؟! برای اولین بار، تعداد کاربرای این کانال از کاربرای کانال هوسم (@howsam_org) بیشتر شده! 🥳
ممنون ❤️

@pytorch_howsam

آقای Sebastian Raschka توی کتاب LLMs from scratch اومده معماری شبکه‌های GPT-2 Llama-2 Llama-3 رو با هم مقایسه کرده. در تصویر بالا می‌تونید این مقایسه رو به صورت شکلی ببینید.

مدل‌های Llama-2 و Llama-3 که خیلی مشابه هم هستن و تفاوت اصلی‌شون این هست که مدل Llama-3 از Grouped Query Attention استفاده میکنه.

مدل‌های GPT-2 و Llama-2 تفاوت‌هایی جزئی در بخش‌های دراپ‌اوت، نرمالیزیشن، پوزیشن امبدینگ و اکتیویشن فانکشن ماژول MLP دارن.

جزئیات بیشتر رو می‌تونید در این نوتبوک ببینید: لینک

آپدیت: یک نفر برامون 5 تا ستاره زده. اولین ستاره این کانال هست! :) ممنون دوست مهربون...

@pytorch_howsam

سلام
اگه خاطرتون باشه، امسال یک مینی‌دوره آموزش پایتورچ به‌صورت رایگان رو استارت زده بودیم. این دوره رو با 13 ساعت آموزش بستیم. خدا رو شکر دوره خوبی شد و فیدبک‌های مثبت و قشنگی هم دریافت کردیم.

توی این دوره هدفم این نبوده که همه چیز درباره پایتورچ رو آموزش بدم. هدفم این بوده که مفاهیم پایه‌ای شبکه عصبی و پایتورچ رو آموزش بدم. در واقع، اسم واقعی دوره "یادگیری عمیق استارتر" باید باشه. چون هم تئوری و هم کدنویسی داره. اگه از یادگیری ماشین، شبکه عصبی و پایتورچ چیزی نمی‌دونید و دوست دارید یاد بگیرید، به این دوره نگاه بندازید. نگید که خب رایگانه حتما بدرد نمیخوره! باور کنید خیلی برای ضبطش وقت و انرژی گذاشتیم! اصلا شکل و قیافه ویدئوها رو ببینید متوجه میشید! 😁

اتفاقا، درحال برنامه‌ریزی برای برگزاری یک دوره "یادگیری ماشین استارتر" هم هستیم...

دسترسی به دوره پایتورچ:
https://howsam.org/downloads/pytorch-course/

@pytorch_howsam

کتاب Hands-on LLMs از آقای Jay Alammar

اخیرا این کتاب معرفی شده و مطابق انتظار با استقبال خوبی مواجه شده. آقای Jay Alammar رو هم احتمالا می‌شناسید دیگه! همون کسی که بلاگ پست‌های آموزشی با شکل‌ها و انیمیشن‌های متنوع داره. این کتاب هم پر از شکل‌های جالب هست که فهم مطالب رو برای مخاطب ساده میکنه. فهرست مطالب و یک نمونه شکل ساده از فصل اول کتاب رو براتون گذاشتم.

امسال چند تا کتاب خوب درباره LLM از افراد معتبر معرفی کردم:
* کتاب Afshine & Shervine Amidi
* کتاب Louis-François Bouchard
* کتاب Sebastian Raschka

@pytorch_howsam

امروز، به خاطر یک ماجرایی درگیر Knowledge Distillation یا KD شدم. سرچ کردم و به یک Tutorial خیلی خوب در سایت پایتورچ برخوردم. چند نوع KD رو اجرا کرده، مثلا از نوع دسته‌بندی، رگرسیون، درگیر کردن لایه‌های میانی و ...

من در خیلی از کارها مثل مقاله و کار از این KD استفاده کردم و توی دوره‌های مختلف مثل دیپ لرنینگ و کامپیوتر ویژن هم آموزش دادم. کلا، تکنیک ساده، جذاب و کارآمدی هست. حتی، الان توی آموزش شبکه‌های بزرگ هم استفاده میشه. تا الان این نوتبوک آموزشی رو توی پایتورچ ندیده بودم. فکر کنم جدید باشه...

لینک

یه ویدئو درمورد KD ضبط کنیم تو یوتوب بذاریم نه؟! 🤔

آپدیت: دمتون گرم که استقبال کردید. چشم، ضبط یک آموزش برای KD در یوتوب رو گذاشتم توی برنامه...

@pytorch_howsam

مدل های o1🍓 و کنکور ریاضی!

دیشب ۱۲ سپتامبر شرکت OpenAI سری جدید مدل های خودش رو با نام o1 معرفی کرد، این مدل ها با یه ویژگی خاص طراحی شده ان، اینکه قبل از پاسخ دادن فکر کنن.

اما چطوری؟ راز این مدل ها استدلال زنجیره ای آن ها یا CoT-Reasoning هست.
اما Chain of Tought یا CoT(استدلال زنجیره ای) دقیقا چیه؟

مدل‌های فعلی مثل سری GPT به صورت end-to-end کار می‌کنن، یعنی ورودی رو به خروجی تبدیل می‌کنن بدون اینکه خیلی بهش فکر کنن. این به معنی اینه که به سرعت جواب می‌دن بدون اینکه فرآیند استدلالی پشت جواب رو نشون بدن.

این روش چند مشکل داره:
۱. خیلی از مسائل نیاز به چند مرحله محاسبه یا استدلال دارن که مدل‌های عادی ممکنه نتونن همه این مراحل رو در یک گام انجام بدن.

۲. چون مدل مستقیم به خروجی می‌رسه بدون اینکه استدلال کنه، در مسائل پیچیده احتمال رسیدن به جواب درست کمتر می‌شه و دقت مدل پایین میاد.

۳. ما نمی‌دونیم مدل چطور به جواب رسیده و شفافیتی در منطق استفاده شده برای تولید جواب وجود نداره.

اما در استدلال زنجیره‌ای، مدل به جای اینکه جواب نهایی رو فوری تولید کنه، مراحل مختلفی رو که شامل فرآیند فکر کردن هستن به صورت زنجیره‌ای تولید می‌کنه. یعنی مسئله رو به بخش‌های کوچکتر تقسیم می‌کنه و هر بخش رو جداگانه پردازش می‌کنه و این مراحل رو گام به گام پیش می‌بره. این شبیه به کاریه که انسان برای حل مسائل پیچیده انجام می‌ده، یعنی تبدیل مسئله به بخش‌های کوچکتر و حل مرحله به مرحله.

این روش مشکلات بالا رو حل می‌کنه چون با پردازش مسئله به صورت گام به گام، هر مرحله به طور مجزا مدیریت می‌شه و احتمال خطا و از دست دادن اطلاعات مهم کم می‌شه. همچنین، استدلال استفاده شده توسط مدل به صورت شفاف قابل مشاهده است و ما می‌فهمیم که چرا مدل به این جواب رسیده.

پس در استدلال زنجیره‌ای، ورودی اولیه به مدل داده می‌شه و مدل به جای تولید جواب فوری، ورودی رو به اجزای مختلف تقسیم می‌کنه. این اجزا به مدل کمک می‌کنن که استدلالش رو به طور شفاف‌تر و به صورت مرحله به مرحله بیان کنه و به نتایج دقیق‌تر و بهتری برسه.
تیم OpenAI گفته که هرچی مدل تایم بیشتری رو به فکر کردن اختصاص بده، نتایج بهتری به دست میا‌د.

این مدل ها که در دو نسخه preview و mini برای حل مسائل سخت و پیچیده علمی و کد نویسی منتشر شدن، عملکرد خوبی نشون دادن.
مدل mini سریعتره و تو کد نویسی عملکرد خوبی داره.

مدل preview مدل بزرگتر و قوی تر هست که پیشرفت چشمگیری نسبت به GPT-4o داشته و توی بنچمارک هایی که خود تیم OpenAI انجام داده، پیشرفت های خیلی بزرگی تو زمینه های علمی به خصوص ریاضیات صورت گرفته، به عنوان مثال:

مدل GPT-4o تونسته به 13 درصد سوالات المپیاد جهانی ریاضیات پاسخ بده اما o1-preview تونسته به 56 درصد سوالات پاسخ بده که خیلی خفنه!
جالبه بدونید مدل اصلی سری یعنی خود o1 به 83 درصد سوالات پاسخ داده!

همچنین این مدل ها تونستن به سطح دانش اموزان PhD در علوم فیزیک، شیمی و زیست شناسی برسن!

در سوالات برنامه نویسی رقابتی جزو 89 درصد برتر واقع شده !

یکی از دوستان زحمت کشیدن سوالات کنکور ریاضی امسال رو به مدل preview دادن و مدل موفق شده بعد از 9 دقیقه به تمام سوالات پاسخ صحیح بده!

دسترسی این مدل ها فعلا فقط برای بخش محدودی از کاربران ChatGPT Plus به صورت خیلی محدود باز شده، تعداد پیام های مجاز نسخه preview 30 پیام در هفته ست و مدل mini ، 50 پیام در هفته که عدد خیلی کمی هست.

همچنین از طریق API هم این مدل ها به صورت محدود(20 ریکوست در ثانیه) فقط برای کاربران سطح 5 (tier 5) قابل دسترسی هست یعنی کاربرانی که حداقل هزار دلار استفاده از API داشته اند.

قیمت استفاده از این مدل ها در API هم زیاد هست و به ازای 1 میلیون توکن ورودی و خروجی مدل preview به ترتیب باید 15 و 60 دلار پرداخت کنین و برای مدل mini به ترتیب 3 و 12 دلار باید پرداخت کنین که 80 درصد نسبت به مدل preview ارزون تر هست.

شرکت OpenAI اعلام کرده که قراره مدل مینی به صورت رایگان در دسترس همه کاربرا قرار بگیره که خبر خوبیه.

خبر دارید دیگه؟!

ابزاری بنام Cursor برای کدنویسی به کمک هوش مصنوعی معرفی شده که خیلی خیلی مورد توجه قرار گرفته. در واقع، رقیب Microsoft Copoliot هست. البته، به نظر می‌رسه کوپایلت رو ضربه فنی کرده!

بعد از نصب این ابزار، یک محیطی مشابه با VSCode براتون باز میشه که کلی امکانات داره. تصویر بالا رو ببینید...

مثلا، شبیه کولب یا کوپایلت بهتون کد پیشنهاد میده و شما با TAB توی کد خودتون اپلای می‌کنید.

همچنین، می‌تونید باهاش چت کنید (باکس آبی) و بهش بگید چی می‌خواید. اون هم کدی میده که می‌تونید روی کد خودتون اپلای کنید. نکته جالبش این هست که کد شما در فایل پایتونی رو می‌بینه و براساس چت و درخواست شما کدهاتون رو تغییر میده!

توی X (توییتر سابق) ویدئوهایی دیدم که بچه‌های کوچیک (8 9 ساله) با همین ابزار یک اپ (مثلا چت بات ساده) ساختن.

سه تا پلن داره که پلن اولش رایگانه. پلن بعدی که احتمالا برای خیلی از ماها کافی باشه، 20 دلار قیمتش هست. توی تصویر می‌تونید ببینید که فارسی هم ساپورت میکنه. نسخه ویندوز هم داره و به راحتی نصب میشه.

برای نصب به سایت cursor.com برید. حتما باهاش کار کنید...

@pytorch_howsam

آقای Sebastian Raschka یک ورک‌شاپ سه ساعته برای LLM برگزار کرده و ویدئوی اون رو در یوتوب گذاشته. این آموزش شامل تئوری و کدنویسی LLM-هاست. می‌خوام مشاهده این ویدئو رو توی برنامه بذارم.

قبلا، گفته بودم که آقای Sebastian Raschka یک کتاب LLM دارن (پیام ریپلای شده). من بخش کوچیکی از کتاب رو خوندم و به نظرم کتاب خوبیه. توی این ورک‌شاپ هم شکل‌های این کتاب دیده میشه. تقریبا چکیده‌ای از کتاب رو در این ورک‌شاپ می‌بینیم.

لینک ویدئو در یوتوب

@pytorch_howsam

تصویر بالا رو توی توییتر دیدم. طبیعتا ارزش یادگیری نداره، اما می‌تونه یک آزمون کوچیک در یادگیری ماشین باشه! اینکه چقدر به موارد ذکر شده در این لیست مسلط هستی؟ آشنایی نه، تسلط...

به نظرم بلد بودن اینها به این معنی نیست که فرد به یادگیری ماشین مسلط هست. اما بلد نبودن بخش زیادی از این موارد می‌تونه نشون دهنده این باشه که فرد به یادگیری ماشین مسلط نیست. شخصا بخوام با کسی مصاحبه کنم، در بخش تئوری چنین سوالاتی ازش می‌پرسم. البته، این نظر من معلم هست، شاید افراد دیگه نظر متفاوتی داشته باشن...

@pytorch_howsam

میخوام یک کورس آنلاین متن-محور برای پردازش تصویر معرفی کنم.

این کورس، مفاهیم اولیه و پایه‌ای پردازش و آنالیز تصویر رو به شکلی بسیار بسیار منسجم ارائه کرده. از جمله ویژگی‌های مثبت این کورس:
* مهم‌ترین مفاهیمی که باید در پردازش تصویر بدونید رو پوشش داده.
* کمی تئوری گفته و کدنویسی تمامی مفاهیم و روش‌ها رو هم گذاشته.
* تصاویر زیادی داره که فهم مطالب رو ساده میکنه.
* تمرین و سوال همراه با جواب داره.

کورس با این کیفیت کم پیدا میشه.

https://bioimagebook.github.io/index.html

@pytorch_howsam