PyTorch Howsam

چند وقت پیش، یک مقاله Survey درباره Small Language Models (SLM) خوندم. در یکی از بخش‌ها، معماری ترنسفورمر براساس 6 فاکتور آنالیز شده بود. هدف مولف‌ها این بود که نشون بدن چه تنظیماتی در ترنسفورمر بیشتر استفاده میشن. می‌خوام 4 فاکتور از اون 6 فاکتور رو توضیح بدم. یکم تخصصی هست و باید به معماری ترنسفورمر مسلط باشید...

1. نوع Attention: مطابق با داده‌های ارائه‌شده در مقاله، از سال 2022 تا 2024، استفاده از Multi-Head Attention (MHA) به‌تدریج کاهش پیدا کرده و مکانیزم Group-Query Attention (GQA) جایگزین اون شده.

2. نوع Feed-Forward Neural Network (FFN): استفاده از Standard FFN کاهش یافته و Gated FFN به دلیل عملکرد بهتر و انعطاف‌پذیری بیشتر جایگزین اون شده.

3. تابع فعال‌سازی در FFN: در سال 2022، ReLU بیشترین استفاده رو داشت. در سال 2023، GELU و GELUtanh به تدریج جایگزین ReLU شدن. در سال 2024، SiLU به عنوان تابع غالب مورد استفاده قرار گرفته.

4. نوع لایه نرمالیزیشن: در سال 2022، LayerNorm انتخاب غالب بود. اما، در سال‌های 2023 و 2024، RMSNorm به‌تدریج جایگزین LayerNorm شد.

@pytorch_howsam

کورس دانشگاهی Diffusion Models [پاییز 2024]

کورس سطح بالایی هست. باید دانشتون در یادگیری عمیق و GenAI خوب باشه تا بتونید مطالب این کورس رو دنبال کنید. اسلایدها و ویدئوها در دسترس هست. جدا از کورس، منابع و مقاله‌هایی که لیست کردن منابع مفیدی هستن.

https://mhsung.github.io/kaist-cs492d-fall-2024/

@pytorch_howsam

سایت Cohere به مدیریت Luis Serrano و همکاری Jay Alammar و Meor Amer کورسی بنام LLM University ساخته. افرادی رو که اسم بردم، در زمینه تولید محتواهای آموزشی جذاب در هوش مصنوعی سابقه درخشانی دارن. حالا، با همکاری هم، این کورس جالب رو با هدف آشنایی افراد با GenAI LLM NLP راه انداختن.

یک نگاهی بندازیم به ماژول‌های این کورس:
1. Large Language Models
2. Text Representation
3. Text Generation
4. Deployment
5. Semantic Search
6. Prompt Engineering
7. Retrieval-Augmented Generation (RAG)
8. Tool Use
9. Cohere on AWS

لینک کورس

@pytorch_howsam

The ChatGPT Desktop app for Windows is now available for all users.

Get faster access to ChatGPT with the Alt + Space shortcut, and use Advanced Voice Mode to chat with your computer and get hands-free answers while you work.

https://openai.com/chatgpt/desktop/

کانال یوتوب Umar Jamil یکی از بهترین کانال‌های آموزش مباحث بروز و پیچیده یادگیری عمیق هست. به نظرم تعداد سابسکرایبرها و ویوهاش اصلا در حد محتواش نیست. فقط نگاه کن ویدئوهای آخر کانالش چه آموزش‌هایی هست:
- پیاده‌سازی Vision Language Model با پایتورچ از صفر
- تفسیرپذیری در ماشین لرنینگ
- شبکه KAN
- و ...

امروز یک ویدئوی 7 ساعته از آموزش و پیاده‌سازی Flash Attention منتشر کرده!

فلش اتنشن می‌دونید چیه؟
یک الگوریتم بهینه‌سازی شده برای محاسبه اتنشن در شبکه‌های ترنسفورمری هست که منجر به افزایش سرعت و کاهش مصرف حافظه میشه. به تصویر پایین نگاه کنید؛ سمت راست تصویر، یک نمودار مقایسه زمان محاسبات اتنشن با فلش اتنشن وجود داره. از فلش اتنشن در مدل‌های ترنسفورمری کوچک و بزرگ استفاده میشه.

کانال یوتوب Umar Jamil

@pytorch_howsam

اگه میخواید درباره Multimodal LLM بیشتر بدونید، بلاگ زیر از آقای Sebastian Raschka رو بهتون پیشنهاد می‌کنم. هم رهیافت پایه‌ای رو گفته و هم مقاله‌های بروز ازجمله Llama 3.2 رو تشریح کرده. خودم شروع کردم به مطالعه این وبلاگ طولانی...

لینک وبلاگ Multimodal LLM

راستی، محض یادآوری، آقای Sebastian Raschka یک کتاب درباره LLM هم داره که قبلا معرفی کرده بودم. من مشغول مطالعه این کتاب هستم و تا اواسط فصل 4 این کتاب رو مطالعه کردم. کتاب منسجم و روانی هست. پست معرفی کتاب رو ریپلای کردم.

@pytorch_howsam

ویدئوی بالا رو ببین؛ می‌تونی چنین پروژه‌ای رو انجام بدی؟

این قابلیت رو دو سال پیش اپل روی تمام دیوایس‌هاش آورد. در یک بلاگ پست، درباره رهیافتش توضیح دادن. من آخر این پست لینک این بلاگ پست رو گذاشتم. اما، اگه وقت داشتی قبل از دیدنش، به راه حلش فکر کن. فقط به همون بخش هوش مصنوعی پروژه فکر کن.

اسم این وبلاگ Fast Class-Agnostic Salient Object Segmentation هست. عنوانش خیلی نکته داره! مثلا، منظورش از Class-Agnostic این هست که بدون نیاز به شناسایی کلاس شی، هر شی برجسته رو شناسایی می‌کنه. Salient Object هم اشاره میکنه به اشیای برجسته در تصویر که توجه بیشتری جلب میکنن.

لینک بلاگ پست:
https://machinelearning.apple.com/research/salient-object-segmentation

@pytorch_howsam

در کارم زیاد پیش میاد که کارهای ماشین حسابی داشته باشم. کارهایی که کد نوشتنش کمی زمانبر هست و بعدا به کدهاش نیازی ندارم. مثلا، بخوام نمودار یک تابعی رو رسم کنم، عملیات ماتریسی انجام بدم و ...

برای این کارها من از سایت desmos.com استفاده می‌کنم. ابزارهای مختلفی برای ریاضیات داره؛ مثل محاسبات، نمودارها، ماتریس‌ها، هندسه و ...

مثلا، در تصویر بالا دو تا نمودار کشیدم. می‌تونید خروجی کار رو به صورت تصویر با کیفیت خوب ذخیره کنید.

در همین راستا، بد نیست یکی از ابزارهایی که قبلا معرفی کرده بودیم رو یادآوری کنم. ابزار تبدیل عکس به فرمول Mathpix:
https://t.me/pytorch_howsam/294

@pytorch_howsam

فرهنگستان زبان و ادب فارسی
واژه فارسی «تَصدانه» را معادل واژه فرنگی پیکسل تصویب کرد.
برای ترکیب پیکچر المنت، "تصویردانه" را و از ترکیب این دو، واژه "تَصدانه" را ساخت که درواقع مخفف است.

بالاخره، متا وزن نسخه‌های 1.5B 1B 600M 300M 125M شبکه MobileLLM رو در هاگینگ فیس منتشر کرد.

مدل MobileLLM، یکی از بهترین شبکه‌های مدل‌سازی زبان در رده مگس‌وزن‌ها (SLM) محسوب میشه. شبکه‌ها انقدر سبک هستن که با یک سیستم نه چندان قوی هم میشه باهاشون کار کرد.

قبلا، شبکه MobileLLM رو معرفی کردم. همچنین، در وبلاگ هوسم مقاله این شبکه رو تشریح کردم.

مقاله | کد | وزن‌ها | وبلاگ هوسم

@pytorch_howsam

احتمالا درمورد NotebookLM گوگل شنیدید. می‌تونی یکسری محتوا (مثلا PDF، وبسایت، یوتوب، گوگل داک و غیره) درباره یک موضوع بهش بدی و اون برای شما خلاصه میکنه!

امروز یک کورس 1 ساعته درباره NotebookLM دیدم که خیلی ساده و سریع کار با این ابزار رو آموزش میده.
لینک

@pytorch_howsam

یک نفر در توییتر، سایتی به‌نام primeintellect برای اجاره GPU با نرخ به‌صرفه معرفی کرده بود. مشابه خیلی از سرویس‌های دیگه هزینه‌هاش ساعتی هست. من ازش استفاده نکردم و تازه باهاش آشنا شدم، اما نرخ‌هاش خوبه. مثلا، H100 رو ساعتی 1.49 دلار میده. من زیر 2 دلار ندیده بودم. حالا H100 که خیلی قوی و گرونه، ولی ممکنه کارتون با GPU-های پایین‌تر هم راه بیفته. مثلا، P100 با 16 گیگ رم، 0.11 دلار؛ یعنی 100 ساعتش میشه 11 دلار.
لینک

بگو چی شده؟! برای اولین بار، تعداد کاربرای این کانال از کاربرای کانال هوسم (@howsam_org) بیشتر شده! 🥳
ممنون ❤️

@pytorch_howsam

آقای Sebastian Raschka توی کتاب LLMs from scratch اومده معماری شبکه‌های GPT-2 Llama-2 Llama-3 رو با هم مقایسه کرده. در تصویر بالا می‌تونید این مقایسه رو به صورت شکلی ببینید.

مدل‌های Llama-2 و Llama-3 که خیلی مشابه هم هستن و تفاوت اصلی‌شون این هست که مدل Llama-3 از Grouped Query Attention استفاده میکنه.

مدل‌های GPT-2 و Llama-2 تفاوت‌هایی جزئی در بخش‌های دراپ‌اوت، نرمالیزیشن، پوزیشن امبدینگ و اکتیویشن فانکشن ماژول MLP دارن.

جزئیات بیشتر رو می‌تونید در این نوتبوک ببینید: لینک

آپدیت: یک نفر برامون 5 تا ستاره زده. اولین ستاره این کانال هست! :) ممنون دوست مهربون...

@pytorch_howsam

سلام
اگه خاطرتون باشه، امسال یک مینی‌دوره آموزش پایتورچ به‌صورت رایگان رو استارت زده بودیم. این دوره رو با 13 ساعت آموزش بستیم. خدا رو شکر دوره خوبی شد و فیدبک‌های مثبت و قشنگی هم دریافت کردیم.

توی این دوره هدفم این نبوده که همه چیز درباره پایتورچ رو آموزش بدم. هدفم این بوده که مفاهیم پایه‌ای شبکه عصبی و پایتورچ رو آموزش بدم. در واقع، اسم واقعی دوره "یادگیری عمیق استارتر" باید باشه. چون هم تئوری و هم کدنویسی داره. اگه از یادگیری ماشین، شبکه عصبی و پایتورچ چیزی نمی‌دونید و دوست دارید یاد بگیرید، به این دوره نگاه بندازید. نگید که خب رایگانه حتما بدرد نمیخوره! باور کنید خیلی برای ضبطش وقت و انرژی گذاشتیم! اصلا شکل و قیافه ویدئوها رو ببینید متوجه میشید! 😁

اتفاقا، درحال برنامه‌ریزی برای برگزاری یک دوره "یادگیری ماشین استارتر" هم هستیم...

دسترسی به دوره پایتورچ:
https://howsam.org/downloads/pytorch-course/

@pytorch_howsam

کتاب Hands-on LLMs از آقای Jay Alammar

اخیرا این کتاب معرفی شده و مطابق انتظار با استقبال خوبی مواجه شده. آقای Jay Alammar رو هم احتمالا می‌شناسید دیگه! همون کسی که بلاگ پست‌های آموزشی با شکل‌ها و انیمیشن‌های متنوع داره. این کتاب هم پر از شکل‌های جالب هست که فهم مطالب رو برای مخاطب ساده میکنه. فهرست مطالب و یک نمونه شکل ساده از فصل اول کتاب رو براتون گذاشتم.

امسال چند تا کتاب خوب درباره LLM از افراد معتبر معرفی کردم:
* کتاب Afshine & Shervine Amidi
* کتاب Louis-François Bouchard
* کتاب Sebastian Raschka

@pytorch_howsam