Silicon Brain | جامعه هوش مصنوعی

‏مدل Llama3.3 هم منتشر شد

70B: Experience leading performance and quality at a fraction of the cost with our latest release.

متا | هاگینگ فیس | گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید

اوپن‌ای‌آی تو روز اول از رویداد "12 Days of OpenAI" نسخه کامل مدل o1 رو معرفی کرد. که جایگزین نسخه پیش‌نمایش (Preview ) قبلی تو ChatGPT شده.

یه اشتراک جدید به اسم ChatGPT Pro معرفی کرده. ماهی 200 دلار قیمت داره و بیشتر برای کاربرهایی طراحی شده که نیاز به قدرت پردازشی بالا یا موارد استفاده پیچیده دارن.

ویژگی‌های مدل o1
مدل o1 نسبت به نسخه پیش‌نمایش، خطاها رو 34 درصد کمتر کرده، مخصوصاً توی مسائل پیچیده دنیای واقعی. می‌تونه تصاویر رو پردازش کنه، مثل تحلیل نمودارها، دیاگرام‌ها، یا عکس‌های توضیحات‌دار

کاربرهای Pro می‌تونن بدون محدودیت از مدل‌های o1، GPT-4o، o1-mini، و ابزارهای پیشرفته صوتی استفاده کنن. این نسخه پیشرفته‌تر، یه کانتکست ویندوی 128k داره و توی مسائل سخت‌تر، پایداری بیشتری ارائه میده. توی بنچمارک‌های فنی، 80 درصد دقت تو ریاضیات (AIME)، رتبه 75 درصدی تو کدنویسی (Codeforces)، و 74 درصد دقت توی علم (GPQA Diamond) رو به دست آورده.

وقتی تو حالت o1 Pro کار می‌کنید، یه نوار پیشرفت نمایش داده میشه و اگر پردازش زمان‌بر باشه، نوتیفیکیشن دریافت می‌کنید.

@silicon_brain | از هوش مصنوعی عقب نمانید

یادگیری ماشین در یک نگاه

 رگرسیون خطی

رابطه بین متغیر وابسته و مستقل رو با یک معادله خطی مدل‌سازی می‌کنه.

 رگرسیون لجستیک

مناسب برای مسائل دسته‌بندی (binary classification)
احتمال اینکه یک نمونه به یک کلاس خاص تعلق داشته باشه رو تخمین می‌زنه.

درخت تصمیم

داده‌ها رو براساس مقادیر ویژگی‌های ورودی به زیرمجموعه‌ها تقسیم می‌کنه.
بصری‌سازی و تفسیرش راحته

Random Forest

از چندین درخت تصمیم استفاده می‌کنه.
با میانگین‌گیری از چند درخت، Overfitting رو کاهش میده

‏ SVM

بهترین ابرصفحه برای جدا کردن کلاس‌های مختلف رو پیدا می‌کنه.
در فضاهای با ابعاد بالا بسیار مؤثره.

 نزدیک‌ترین همسایه‌ (k-NN)

همسایه‌های نزدیک رو میذاره توی یک خوشه. ممکنه محاسبات زیادی نیاز داشته باشه.

 K-Means

داده‌ها رو براساس شباهت ویژگی‌ها به k خوشه تقسیم می‌کنه.

Naive Bayes

برای دسته‌بندی متن و فیلتر کردن اسپم خیلی کاربردیه.

 شبکه‌های عصبی

الگوها رو توی داده‌ها شناسایی می‌کنن.
پایه یادگیری عمیق و پردازش زبان طبیعی هست.

Gradient Boosting

چند مدل ضعیف رو ترکیب می‌کنه تا یک مدل پیش‌بینی قوی بسازه.

@silicon_brain|از هوش مصنوعی عقب نمانید‏

یه ایده‌ی خلاقانه به نام GraphRAG برای تقویت توانایی‌ LLMها

یکی از چالش‌های کلیدی در مدل‌های زبانی بزرگ (LLM) استفاده از آن‌ها برای حل مسائل فراتر از داده‌های آموزش است. به‌منظور برآورده شدن این هدف، تیم تحقیقاتی مایکروسافت GraphRAG را معرفی کرده که به‌عنوان یک تکنیک پیشرفته
برای بهبود عملکرد Retrieval-Augmented Generation (RAG) استفاده می‌شود.

ویژگی‌های کلیدی GraphRAG:

ایجاد گراف دانش توسط LLM: این روش به‌صورت خودکار گرافی از موجودیت‌ها و روابط موجود در داده‌های خصوصی تولید می‌کند.

خوشه‌بندی معنایی: با ایجاد ساختارهای معنایی سلسله‌مراتبی، داده‌ها به خوشه‌هایی معنادار تقسیم‌بندی می‌شوند که امکان پیش‌خلاصه‌سازی اطلاعات را فراهم می‌کند.

افزایش دقت بازیابی: با استفاده از گراف تولید شده، GraphRAG محتوای مرتبط‌تری را برای ورود به پنجره زمینه LLM فراهم می‌آورد و پاسخ‌های دقیق‌تری تولید می‌کند.

پشتیبانی از پرسش‌های پیچیده: این تکنیک توانایی پردازش سوالاتی که نیاز به تجمیع
اطلاعات پراکنده یا تحلیل تم‌های کلان دارند را افزایش می‌دهد.

📊 عملکرد: در یک آزمایش با داده‌های خبری پیچیده، GraphRAG توانسته مفاهیم
کلیدی مانند فعالیت‌های سیاسی و نظامی مرتبط با "Novorossiya" را با دقت بالا شناسایی کند. این نتایج، بهبود چشمگیری را نسبت به روش‌های RAG پایه (که عملکرد آن‌ها صرفا با استفاده از فاصله وکتور سوال و جواب است) نشان داد که معمولاً در اتصال اطلاعات پراکنده ناکام بودند.

🔗 مزایای GraphRAG:

منبع‌نگاری دقیق: هر پاسخ به داده‌های اصلی مرتبط است و امکان تأیید صحت اطلاعات را فراهم می‌کند.

تحلیل کل‌نگر داده‌ها: خوشه‌بندی معنایی امکان شناسایی تم‌های اصلی و پاسخ‌دهی به سوالات کلی‌تر را بهبود می‌بخشد.

تطبیق با داده‌های خصوصی: این روش برای داده‌هایی که مدل‌های LLM به آن‌ها آموزش ندیده‌اند، مانند اسناد تجاری یا داده‌های اختصاصی سازمانی، ایده‌آل است.

مطالعه‌ی مقاله کامل

بخوانید: RAG چیست؟

بخوانید: LLM چیست؟


@Ai_Events

کلید رمزنگاری RSA برای اولین بار شکسته شد!

یه تیم تحقیقاتی چینی تونستن با کامپیوترای کوانتومی شرکت D-Wave روشای رمزنگاری‌ مثل RSA و AES رو که برای محافظت از اطلاعات حساس استفاده می‌کنیم رو بشکنن.
خبر خیلی مهمیه که باید همه توجه کنیم بهش

اینا با استفاده از تکنولوژی کوانتومی تونستن یه عدد 50 بیتی RSA رو رمزگشایی کنن یعنی این رمزنگاری ها دیگه اونقدرا امن نیستن. قبلاً می‌گفتن چند دهه طول می‌کشه تا این کامپیوترای کوانتومی قوی بشن، ولی حالا معلوم شده زودتر از اونی که فکر می‌کردیم ممکنه سیستمامونو به خطر بندازن.
نکته مهم اینه که هکرها حتی الان اگه نتونن اطلاعاتو رمزگشایی کنن، ممکنه الان اطلاعاتو بدزدن و بذارن برای آینده که کامپیوترای کوانتومی بتونن راحت رمزگشایی‌شون کنن.

به طور کلی دیگه زمان زیادی برای تعلل نیست و باید سریع‌تر روش های رمزگذاری جدیدی ابداع بشه تا اطلاعاتمون از دست نره!
حالا واسه اینکه بدونیم چقدر این دو روش رمزنگاری اهمیت داره کاربرداشو بدونیم:

کاربردهای RSA:
تو پیام‌رسان‌ها یا ارسال ایمیل‌های حساس. تأیید هویت کاربران یا سرویس‌ها.
مثلاً امضای دیجیتال که ثابت می‌کنه یک پیام یا سند از طرف فرستنده اصلی ارسال شده.


کاربردهای AES:
رمزنگاری فایل‌ها، تو پروتکل‌هایی مثل VPN، Wi-Fi WPA2/WPA3، و TLS که برای رمزنگاری داده‌های در حال انتقال استفاده میشه. محافظت از اطلاعات حساس دیتابیس ها، رمزنگاری پیام‌ها تو اپلیکیشن‌هایی مثل WhatsApp، پرداخت تراکنش‌های بانکی
بلاگ

@silicon_brain |از هوش مصنوعی عقب نمانید

تصویر بالا، درخت تکامل مدل‌های زبانی بزرگ (LLM) رو از سال ۲۰۱۸ تا ۲۰۲۴ نشون میده.

نمودار سه شاخه اصلی داره:
- شاخه قرمز شامل مدل‌های Encoder-only مثل BERT هست.
- شاخه سبز شامل مدل‌های Encoder-Decoder مثل T5 هست.
- شاخه آبی شامل مدل‌های Decoder-only مثل GPT هست.

توی هر شاخه، برگ‌ها مسیر پیشرفت مدل‌ها رو نشون میدن. مثلا، در شاخه آبی، شروع‌کننده تقریبا GPT-2 بوده و جدیدترین‌ هم Llama 3.2 هست.

@silicon_brain |از هوش مصنوعی عقب نمانید

به نظرم ریلیز جدید Qwen اتفاق بزرگیه. این مدل تونست مقام اول LLM های اوپن سورس که قبل از این متعلق Llama بودو بدست بیاره و حتی با سری o1 رقابت کنه
از این نظر اسم Qwen رو قراره زیاد بشنویم و استفاده کنیم.
گیتهابشم ببین

تو پست قبلی به Recursive Reasoning Loops اشاره شد. میخوام یکم بیشتر در موردش بگم.
احتمالا میدونین که تو برنامه نویسی مفهومی مثل Recursive Loop داریم، وقتی که برنامه رو بدون گذاشتن شرط توقف به امون خدا ولی کنی. مثال خیلی ساده اش محاسبه فاکتوریل هستش مثل این:

def factorial(n):
    return n * factorial(n - 1)  # بدون شرط توقف
factorial(5)

این تابع هیچ‌وقت متوقف نمیشه و در نهایت، به خطای RecursionError: maximum recursion depth exceeded میرسه. برای هندل کردنش باید شرط اضافه شه بهش:

def factorial(n):
    if n == 0:  # شرط توقف
        return 1
    return n * factorial(n - 1)

اما حلقه استدلالی (Recursive Reasoning Loop) که در بحث مدل‌های زبانی و هوش مصنوعی مطرحه کمی متفاوته و بیشتر به فرآیند استدلال و تحلیل مربوطه نه صرفاً اجرای کد یا حل معادلات.

مثال:
"آیا 23 عدد اول است؟"
مدل:
"برای بررسی اول بودن، باید بررسی کنیم که آیا عدد 23 بر هیچ عددی به جز 1 و خودش بخش‌پذیر نیست."
شروع به تحلیل میکنه:
"آیا 23 بر 2 بخش‌پذیر است؟ خیر."
"آیا 23 بر 3 بخش‌پذیر است؟ خیر."
اگه مدل فراموش کنه که چه مقادیری رو بررسی کرده یا دوباره بررسی‌های قبلی رو بدون پیشرفت واقعی انجام بده ممکنه اینجوری شه:
"آیا 23 بر 2 بخش‌پذیر است؟ خیر."
"آیا 23 بر 3 بخش‌پذیر است؟ خیر."

یه مثال ساده از زندگی واقعی:
فرض کن میخوای تصمیم بگیری مهمونی میخوای بری یا نه؟
میگی: "اگر دوستم برود، من هم می‌روم."
بعد فکر میکنی:
"آیا دوستم می‌رود؟" احتمالاً اونم همین فکرو میکنه
اگر من بروم، او هم می‌رود!"
این فرآیند میتونه به‌طور بی‌پایان ادامه پیدا کنه، چون هر دو طرف تصمیم خودشونو به تصمیم طرف مقابل وابسته کردن.
@silicon_brain |از هوش مصنوعی عقب نمانید

علی‌بابا یه مدل متن‌باز جدید به اسم QwQ-32B-Preview معرفی کرده که می‌تونه مرحله‌به‌مرحله فکر کنه و تو کارای ریاضی و برنامه‌نویسی خیلی قویه.

این مدل رو تیم Qwen ساخته و با مدل‌های سری o1 از OpenAI رقابت می‌کنه. یه پنجره متنی 32 هزار کاراکتری داره که از مدل o1-mini جلوتره و تو معیارهای مختلف شونه‌به‌شونه o1-preview حرکت می‌کنه. تمرکز اصلیش اینه که مسائل پیچیده ریاضی و برنامه‌نویسی رو با یه روش استدلال عمیق حل کنه.

نوآوری اصلیش اینه که موقع حل مسائل، جواب‌هاش رو بازبینی می‌کنه و اگه لازم باشه، اصلاحشون می‌کنه. همین قابلیت باعث شده تو معیارهای ریاضی و برنامه‌نویسی از خیلی مدل‌های دیگه بهتر باشه. البته هنوز باید تو زمینه‌هایی مثل درک زبان پیچیده و منطق عمومی بهتر بشه.

مشکلش چیه؟
گاهی تو حلقه‌های استدلالی گیر می‌کنه (recursive reasoning loops)، بعضی وقتا زبان‌ها رو قاطی می‌کنه (language mixing)، و تو منطق عمومی (common sense reasoning)هم همیشه خوب نیست. اینا باعث میشه تو بعضی کارا زیاد دقیق نباشه، ولی تو مسائل فنی پیشرفته عالیه.

هاگینگ فیس
@silicon_brain |از هوش مصنوعی عقب نمانید

در حالی که کامیونیتی AI تلاش می‌کنه پردازش و ساخت مدل ها رو با رویکرد decentralized پیش ببره، تو ایران برعکسه و طرح‌هایی برای متمرکز کردن منابع سخت افزاری AI میدن. به نظر من برای جامعه ایران! رویکرد متمرکز مناسب نیست ولی بهتره مزایا و معایب هر کدومو بگیم:

مزایا متمرکز کردن منابع سخت افزاری AI :
- کنترل مرکزی
- مقیاس‌پذیری بهتر
- تمرکز دانش فنی و تخصصی

معایب:
- ریسک‌های متمرکز بودن
- هزینه‌های ابتدایی بالا
- محدودیت‌های جغرافیایی
- امنیت و حریم خصوصی
- انعطاف‌پذیری کمتر

اینم مطلبو هم بخون
@silicon_brain | از هوش مصنوعی عقب نمانید

میشه با استفاده از داده‌های باکیفیت از Scaling Laws عبور کرد؟

میخوام کامل در مورد رابطه دیتا و عمکرد مدل طبق آخرین تحقیقات صحبت کنیم. اگه با Scaling Laws آشنا نیستی این پستو بخون.
قوانین مقیاس‌پذیری (Scaling Laws) هوش مصنوعی می‌گن عملکرد مدل‌ها با اندازه دیتاست یه رابطه توان‌دار داره.

Performance ∝ dataset size ^ -a 

این فرمول نشون می‌ده خطای مدل وقتی که دیتای آموزشی بیشتری اضافه می‌کنی چقدر کاهش پیدا می‌کنه. عدد a (ضریب مقیاس) معمولاً حدود ۰.۵ هست.

تحقیقات توی عمل نشون میده که:
اگه یه دیتاست با ۱۰,۰۰۰ نمونه و ۲۰٪ خطا داشته باشی:
- برای رسیدن به ۱۰٪ خطا (نصف)، به ۴۰,۰۰۰ نمونه نیاز داری (۴ برابر).
- برای رسیدن به ۵٪ خطا (یک‌چهارم)، به ۱۶۰,۰۰۰ نمونه نیاز داری (۱۶ برابر).
- برای رسیدن به ۲٪ خطا (یک‌دهم)، به ۱,۰۰۰,۰۰۰ نمونه نیاز داری (۱۰۰ برابر).
این رشد نمایی تو حجم دیتاست برای یه بهبود خطی کوچیک نشون می‌ده چرا ساخت اپلیکیشن‌های AI در حد تولید انبوه این‌قدر چالش‌برانگیزه و چرا فقط شرکت های بزرگ هستن که میتونن به همچین حجم از دیتا و به دنبالش به مدل های خفن دسترسی داشته باشن.

یه حقیقت دیگه: تحقیقات نشون داده تیم‌های AI تقریباً ۸۰٪ از وقتشون رو صرف آماده‌سازی داده‌ها می‌کنن و فقط ۲۰٪ از وقتشون رو برای توسعه مدل و اجرا می‌ذارن. این عدم تعادل وقتی بیشتر می‌شه که حجم دیتا به میلیون‌ها فایل و فرمت‌های مختلف برسه.

یه نگاه جدید:
تحقیقات از مقاله "Beyond Neural Scaling Laws" می‌گه که آماده‌سازی استراتژیک یه دیتاست کوچیک، متنوع و متعادل از یه دیتای خام بزرگ می‌تونه بهبود نمایی ایجاد کنه:

Error ~ e ^ (-b * dataset size)

که b به استراتژی انتخاب داده‌ها بستگی داره.
یعنی چی؟ یه دیتاست ۱۰,۰۰۰ تایی که با دقت انتخاب شده باشه می‌تونه بهتر از یه دیتاست تصادفی ۱۰۰,۰۰۰تایی عمل کنه.

کلید ماجرا اینه که بفهمیم کدوم نمونه‌ها بیشترین اطلاعات رو ارائه می‌دن.
چطور با داده‌های باکیفیت قوانین مقیاس‌پذیری رو تغییر بدیم؟
وقتی داده‌هایی که برای آموزش و تنظیم مدل‌های هوش مصنوعی استفاده می‌شن دقیقاً پالایش بشن (مثل حذف داده‌های تکراری، کاهش نویز، و فیلتر کردن مرتبط با حوزه)، مدل‌ها می‌تونن سیگنال‌های یادگیری قوی‌تری از هر نمونه بگیرن.

این نسبت بهتر سیگنال به نویز باعث می‌شه منحنی یادگیری سریع‌تر رشد کنه و عملکرد مدل در نهایت بهتر بشه، در واقع کل منحنی مقیاس‌پذیری رو به بالا می‌بره.

تحقیقات نشون داده با دیتاست‌های باکیفیت، می‌شه با فقط ۲۰-۳۰٪ از حجم دیتای خام، همون نتایج رو گرفت. این "اثر ضریب کیفیت" باعث کاهش تداخل بین نمونه‌های داده هم می‌شه و مدل‌ها رو در ساختن بازنمایی‌های کلی‌تر قوی‌تر می‌کنه.

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل Gemini-Exp-1121، عملکرد برتر در coding, reasoning, vision tasks

این نسخه از Gemini تو خیلی از تسک ها به ChatGPT4o رسیده (تو Hard Prompts و Math بهترم هست) و به صورت کلی رنک اول AI Arena رو بدست اورده

این مدل تو پلتفرم AI Arena در رتبه بندی کلی اوله اما باید توجه داشت که تو بنچمارک های دیگه مثل Livebench از GPT-4o و Claude عقب مونده.

اگه میخوای تستش کنی از طریق Google AI Studio یا Gemini API میتونی دسترسی داشته باشی

@silicon_brain | از هوش مصنوعی عقب نمانید

شرکت Nvidia مدل جدید LLaMa-Mesh رو معرفی کرده که با استفاده از LLaMa میتونه مش‌های سه‌بعدی (3D Meshes) رو در قالب پرامپت بفهمه و تولید کنه

روش کارم این شکلیه که: مختصات رأس‌ها و تعاریف وجوه مش‌های سه‌بعدی رو به شکل یه متن معمولی (مثلاً فرمت فایل OBJ) درمیاره. مدل با استفاده از متن و داده های سه بعدی با آموزش ترکیبی، مدل یاد می‌گیره که هم متن تولید کنه و هم آبجکت های سه‌بعدی.
لینک

@silicon_brain | از هوش مصنوعی عقب نمانید ‌‏

بعضی وقتا برای خودم یه مسئله تعریف میکنم و بدون هیچ AI و ابزار خاصی کدشو میزنم. قبلنا یکی از بهترین سرگرمی ها و تراپی های برنامه نویسا، هرز کد زدن بود :)

حواسمون باشه با ظهور AI لذت حس فوق العاده برنامه نویسی from scratch رو از دست ندیم. اگه نمیخوای خودت مسئله تعریف کنی هم از Codeforces استفاده کن (کلااااسیک باز باش 😍)

‏Scaling Laws: سه قطعه اصلی از پازل عملکرد مدل

قانون مقیاس‌بندی (Scaling Laws) مشخص میکنه چطور عملکرد یک مدل به پارامترهای اندازه مدل، حجم داده و قدرت محاسباتی بستگی داره. این موضوع به طور کلی بصورت تجربی قابل فهم هستش اما تو شکل بالا این موضوع ثابت شده

اندازه مدل (Model Size):
تعداد پارامترهای مدل با عملکرد آن (مانند کاهش خطا یا افزایش دقت) ارتباط داره.

حجم داده (Dataset Size):
افزایش حجم داده منجر به بهبود عملکرد مدل میشه. اگه مدل بیش از حد بزرگ باشه و داده کافی در اختیار نداشته باشد، دچار overfitting میشه.

قدرت محاسباتی (Compute Power):
رابطه بین عملکرد مدل و قدرت محاسباتی اغلب به صورت لگاریتمی یا توانی است.

قبلا OpenAI تو تحقیقات خودش (مثل مقاله‌های GPT) اشاره کرده بود که خطای مدل به صورت توانی با اندازه مدل و داده کاهش پیدا میکنه. برای مدل‌های بزرگ (مانند GPT-x)، نرخ کاهش خطا ممکنه کاهش پیدا کنه مگه اینکه داده و قدرت محاسباتی هم به طور مشابه افزایش داشته باشه.
اینو داشته باشید فعلا. تو پست های بعدی در مورد شرایط فعلی ‏Scaling Laws صحبت میکنیم.
مقاله

@silicon_brain | از هوش مصنوعی عقب نمانید
‏

سم آلتمن: AGI تا سال 2025 عرضه میشه!

این مصاحبه جدید سم آلتمن خیلی سر و صدا کرده اگه حوصله دیدن ویدئو 45 دقیقه ای رو نداری برات خلاصه کردم:

مدیرعامل OpenAI اخیراً اعلام کرده که دستیابی AGI به زودی امکان پذیر خواهد بود. میدونین که جدیدا OpenAI با مشکلات مالی مواجه بود و تو پست قبلی در موردش صحبت کردیم. ولی نهایتا موفق شده با جذب سرمایه‌ ۶٫۶ میلیارد دلاری از شرکت‌هایی مثل مایکروسافت و انویدیا از این بحران عبور کنه.

میگه تأثیر AGI روی جامعه تو کوتاه‌مدت، به‌اندازه‌ای که بسیاری افراد تصور می‌کنن، چشمگیر نیست. و میگه که تا همین چند سال پیش خیلیا حتی باور نداشتن کامپیوتر بتونه با موفقیت آزمون تورینگ رو پاس کنه؛ اما با گذشت چند سال، این دستاورد تغییرات چشمگیری تو جامعه ایجاد نکرد.

در ادامه میگه فناوری موجود برای دستیابی به ASI (Artificial superintelligence) نیاز به سرمایه گذاری تو سطح جهانی هست(قبلاً تخمین زده بود تحقق هوش مصنوعی قوی به ساخت ۳۶ کارخانه‌ی تراشه‌سازی و چندین دیتاسنتر بزرگ نیاز داره و این کار حدود ۷ تریلیون دلار هزینه داره).
یوتوب

@silicon_brain | از هوش مصنوعی عقب نمانید

هزینه ها و سوددهی بزرگترین کمپانی هوش مصنوعی

گویا OpenAI طبق برنامه قرار تازه سال 2029 سودده بشه. یعنی سرمایه‌گذارای VC باید خیلی صبور باشن.
احتمالا OpenAI در سال‌های آینده زمانی وارد دوره‌ی سود خودش میشه که ایجنت‌ها راه بیفتن و OpenAI بتونه در قالب SaaS ازشون پول بگیره.

این $5 میلیارد ضرری که الان OpenAI داره رو نباید زیاد جدی گرفت. تو فضای سرمایه‌گذاری خطرپذیر، این ترازهای منفی عادیه.

قضیه جالب می‌شه که بدونید هزینه‌ش تا پایان ۲۰۲۶ حدود ۱۴ میلیارد دلار و تا پایان ۲۰۲۹ حدود ۴۴ میلیارد دلار برآورد شده!
هزینه‌ حقوقش خیلی جالبه یکسال ۷۰۰ میلیون دلار حقوق داده!
نکته جالب دیگه‌ش اینه که هزینه‌ی آموزش‌ش از هزینه‌ی run یعنی inference ش یک میلیارد دلار بیشتره! این نشون میده چقدر آموزش پرهزینه‌ است که وقتی اینقدر کاربر داره و اینقدر ازش استفاده میشه(هزینه‌ inference) هنوز به پای هزینه‌ی آموزش نمی‌رسه!

@silicon_brain | از هوش مصنوعی عقب نمانید

در ادامه مطالب پست قبلی بگم که...

این شرکت یه پروژه ای ران کرده به اسم Intellect-1 که در واقع یک مدل هوش مصنوعی با 10 میلیارد پارامتر هستش که به‌صورت غیرمتمرکز توسعه پیدا میکنه.

این مدل بر اساس معماری Llama-3 طراحی شده و هدفش دسترسی همگانی به آموزش مدل‌های بزرگ از طریق شبکه‌ای غیرمتمرکز از منابع محاسباتی هستش.

این پروژه به همه اجازه میده با استفاده از منابع محاسباتی که دارن تو آموزش این مدل مشارکت داشته باشن و در ازای این مشارکت یه مبلغی هم بگیرن (شیطون داری به چی فک میکنی؟ نری با GPU آنبرد بگی میخوام مشارکت کنم😂 )

مدل Intellect-1 با استفاده از تکنیک‌های بهینه‌سازی پیشرفته، مانند فشرده‌سازی داده‌ها و الگوریتم‌های سفارشی برای انتقال سریع داده‌ها، سعی میکنه تو کاهش مصرف پهنای باند و افزایش کارایی سیستم اثرگذار باشه.

تو عکس پست قبلی مشخصه که مدل Intellect-1 داره از طریق کاربرای مختلف سراسر جهان آموزش میبینه. تکنولوژی و حجم کارو در نظر بگیرین خیلی پشم ریزونه

https://app.primeintellect.ai/intelligence

خلاصه که با @silicon_brain از هوش مصنوعی عقب نمیمونی!

قطعا به این فکر کردین که آیا میشه مدل های هوش مصنوعی داشته باشیم که در انحصار شرکت خاصی نباشه؟

بله، شرکت Prime Intellect AI بر اساس تمرکززدایی و استفاده از منابع محاسباتی مشترک برای آموزش مدل‌های هوش مصنوعی در مقیاس بزرگ بنا شده.

یعنی شما اگه GPU داری میتونی از طریق این پلتفرم کار پردازشی انجام بدی و پول دربیاری

با این حرکت فضای رقابتی جالبی درست شده و در جهت اینه که توان پردازشی رو از انحصار شرکت های بزرگ و همچنین کلاود هایی که تعرفه های بالایی دارن بگیره و به سمت یوزر های عادی بازار رقابتی و آزاد حرکت بکنه

قطعا متوجه شدین که این حرکت هم به سمت بازار آزاد اقتصادی هست (حال میکنی درک اقتصادیو😁 )و هم فضای داده ی آزاد و بدون انحصار(این یکی کارمه نمیخواد حال کنی)

تو پست بعدی در مورد یکی از پروژه های خفن این پلتفرم میگم


@silicon_brain | از هوش مصنوعی عقب نمانید

🔴 پردازش زبان‌های طبیعی و مدل‌های زبانی بزرگ در پایتون

پردازش متن و زبان طبیعی به یک ابزار ضروری برای درک و تحلیل داده‌ در سال‌های اخیر بدل شده است. با پیدایش مدل‌های زبانی بزرگ (LLMs)، پردازش متن به بستری برای ارائه راهکارها و ایده‌های جدید برای حل مسائل مختلف در زندگی روزمره و کسب‌وکار تبدیل شده و آشنایی با آن برای پژوهشگران، تحلیلگران و کارشناسان فناوری اطلاعات و توسعه کسب‌وکار از اهمیت ویژه‌ای برخوردار شده است.

👈 این دوره آموزشی آنلاین با همین هدف طراحی شده و از پنج بخش تشکیل می‌شود:

۱. پیش‌پردازش متن و کار با RegEx در پایتون
۲. پردازش زبان‌های طبیعی NLP با پایتون
۳. یادگیری ماشین برای پردازش زبان در پایتون
۴. کار با مدل های زبانی بزرگ LLMs در پایتون
۵. پروژه پایانی

📽️ ویدئوی معرفی دوره 📽️

🕰 زمان‌بندی
▫️یکشنبه‌ها ۱۸:۰۰ تا ۲۱:۱۵ به وقت تهران
▫️۱۰ هفته ۳۰ ساعت از ۴ آذر ۱۴۰۳

👈 اطلاعات بیشتر و ثبت نام:

d-learn.ir/nlmpy


📍 کد تخفیف ۳۰% برای پرداخت یکجا: nLMLd
📍 کد تخفیف ۲۰% برای پرداخت قسطی: nLMLdi

👈 اعتبار کدهای تخفیف تا: ۲۱ آبان ۱۴۰۳

تماس:
@dlearnsup

@dlearn_ir

‏Leverage Caching برای محاسبات سریعتر در پایتون

همه میتونن برنامه ای بنویسن که کار کنه، اما کسی که برنامه ی بهینه مینویسه، برنامه نویسه (خودم تراوش کردم 😁)

پایتون قابلیتی به اسم lru_cache داره که برای کش کردن نتیجه توابع با استفاده از الگوریتم Least Recently Used استفاده میشه

چیکار میکنه؟بصورت خودکار نتایج آخرین فراخوانی‌های تابع رو تو حافظه نگه میداره و در صورتی که همون تابع با پارامترهای مشابه دوباره فراخوانی بشه، به جای اجرای مجدد تابع، نتیجه ذخیره شده رو برمیگردونه.
میگن یه خط کد کد بهتر از هزار بار توضیح دادنه :) ⬇️

from functools import lru_cache

@lru_cache(maxsize=5)  # تعداد نتایج ذخیره شده در حافظه محدود به ۵
def factorial(n):
    if n == 0:
        return 1
    return n * factorial(n - 1)

# فراخوانی تابع با پارامترهای مختلف
print(factorial(5))  # 120
print(factorial(6))  # 720
print(factorial(5))  # با وجود اینکه دوباره فراخوانی شده نتیجه از حافظه بازگشت داده میشه

اینجا از دکوراتور lru_cache از تابع factorial استفاده شده. با تنظیم maxsize=5، میگیم که فقط ۵ نتیجه آخر تو حافظه کش بشه. اگه تعداد فراخوانی‌های ذخیره‌شده بیشتر از این عدد باشه نتایج قدیمی‌تر از حافظه پاک شده و جایگزین میشن.

این روش علاوه بر اینکه باعث افزایش سرعت میشه، تو محاسبات سنگین، مصرف منابع رو هم کاهش میده. lru_cache برای مواردی که محاسبات تکراری داریم، مخصوصاً توابع بازگشتی، خیلی مفیده.

@silicon_brain | از هوش مصنوعی عقب نمانید

تفکر در مورد حل مسائل به روش بازگشتی نیازمند فهمیدن این است که چگونه می‌توان مسئله را به زیرمسائل کوچک‌تر تقسیم کرد و این روند را تا رسیدن به ساده‌ترین حالت ادامه داد. در اینجا چند مرحله و نکته برای فکر کردن به مسائل بازگشتی آورده شده:

1. تعریف پایه (Base Case):
ابتدا باید بفهمید ساده‌ترین حالتی که برای مسئله وجود دارد چیست. این حالت پایه به بازگشت پایان می‌دهد. اگر حالت پایه را به‌درستی تعریف نکنید، ممکن است کد شما به بی‌نهایت تکرار برود. مثلاً، برای مسئله فاکتوریل، حالت پایه n = 0 است، زیرا 0! = 1 است و نیازی به محاسبات بیشتر نیست.

2. تقسیم مسئله (Divide the Problem):
به مسئله به‌عنوان یک ترکیب از زیرمسائل نگاه کنید. ببینید که آیا می‌توانید مسئله بزرگ‌تر را به یک یا چند زیرمسئله کوچک‌تر تبدیل کنید. به عنوان مثال، در فاکتوریل n! = n - (n-1)! نشان می‌دهد که فاکتوریل n به فاکتوریل یک عدد کوچک‌تر، یعنی n-1 ، وابسته است.

3. قانون بازگشتی (Recursive Case):
پس از تعریف پایه، مرحله‌ی بازگشت را مشخص کنید. این بخش همان قسمتی است که مسئله‌ی بزرگ‌تر را به یک نسخه‌ی کوچک‌تر از خودش می‌شکند و سپس از همان تابع برای حل آن استفاده می‌کند. هر بار که تابع فراخوانی می‌شود، یکی از زیرمسائل حل می‌شود.

4. تصویر ذهنی از پشته‌ی فراخوانی (Call Stack):
هنگام کار با بازگشت، به یاد داشته باشید که هر بار که یک تابع بازگشتی فراخوانی می‌شود، وضعیت فعلی تابع در پشته ذخیره می‌شود و سپس پس از اتمام بازگشت‌ها از پشته خارج می‌شود. این کمک می‌کند که وضعیت هر مرحله حفظ شود. به‌عنوان مثال، در مسئله هانوی، هر حرکت بین میله‌ها در پشته ذخیره می‌شود تا در پایان به راه‌حل کلی برسیم.

5. حل با مثال‌های کوچک:
برای درک بهتر، ابتدا مسئله را با نمونه‌های کوچک حل کنید. مثلاً در یک تابع بازگشتی فیبوناچی، ابتدا F(2) ، سپس F(3) و به همین ترتیب تا رسیدن به جواب بزرگ‌تر حل کنید تا الگوی حل بازگشتی مشخص شود.

6. قابلیت یادگیری (Memoization) برای بهینه‌سازی:
گاهی بازگشت به تکرار زیاد منجر می‌شود، مانند محاسبه‌ی فیبوناچی که نیاز به محاسبه چندباره اعداد دارد. در این موارد می‌توانید از تکنیک یادگیری (Memoization) استفاده کنید تا نتایج قبلی را ذخیره کرده و از دوباره‌کاری جلوگیری کنید.

7. محدودیت‌های بازگشت (Limitations of Recursion):
همیشه توجه داشته باشید که بازگشت در مسائل با عمق زیاد، می‌تواند منجر به پر شدن پشته شود و خطای Stack Overflow ایجاد کند. بنابراین در مسائل پیچیده باید دقت کنید که آیا بازگشت مناسب‌ترین روش است یا می‌توان از تکرار استفاده کرد.

در نهایت، با تمرین و تحلیل بیشتر روی مسائل مختلف، درک بهتری از کاربرد بازگشت پیدا می‌کنید و می‌توانید الگوهای بازگشتی را راحت‌تر شناسایی کنید.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

این مجموعه برای کسانی که توان تامین هزینه ندارن بورسیه رایگان و آنلاین گذاشته که شامل دوره های آموزشی NET، JAVA.و DevOps هست و در ادامه فرصت استخدام هم میده
لینک

ادغام گوگل جمنای با موتور سرچ گوگل به صورت Real-Time! کاهش نرخ هذیان گویی مدل

گوگل ویژگی Grounding with Google Search را در مدل‌های Gemini 1.5 به کار گرفته که از داده‌ زنده‌ی جستجوی گوگل برای پاسخ‌های دقیق‌تر استفاده میکنه

این موضوع پیشرفت های مهمی داره چون نرخ‌های هذیان گویی hallucination رو با تأمین اطلاعات تأیید‌شده و Real-Time کاهش میده

(به hallucination توهم هم میگن ولی یکی بود بذله گویی ترجمش میکرد😂)


چطوری جلو هذیان گویی رو میگیره ؟ با سیستم dynamic retrieval هر درخواستو از نظر مناسب بودن برای اتصال به موتور جستجو ارزیابی میکنه و یه امتیاز بین ۰ تا ۱ بهش میده.

مثلا درخواست‌هایی که حساس به زمان هستن امتیاز بالاتری میگیرن (مثلاً ۰.۹۷)، ولی درخواست‌هایی که خلاقیت سمت LLM میطلبن نمره پایین‌تری دارن (مثلاً ۰.۱۳).

نکته جالبی که داره اینه که این امتیاز رو میتونی به عنوان threshold کاستوم و تعیینش کنی که چقدر حساسیت به خرج بده (پیش فرض 0.3 هست)
آپشن Grounding داخل پنل Gemini با قیمت ۳۵ دلار برای هر ۱۰۰۰ پرسش فعال شده در دسترسه

@silicon_brain | از هوش مصنوعی عقب نمانید

آیا واقعا میشه LLM هارو روی گوشی بالا اورد؟

امیدوارم نگی که من همین الانشم با گوشی از ChatGPT استفاده میکنم که دلم میشکنه 😕

در واقع اینجا منظور ما استفاده از
On-Device Use Cases
هست که محاسبات و پردازش داده‌ها به‌صورت مستقیم رو خود دستگاه انجام میشه. و نیازی به استفاده از سرویس ابری نیست.

آیا مدل Llama-7B رو میشه روی گوشی استفاده کرد؟ گوشی های امروزی میانگین 8 گیگ رم (DRAM) دارن، این یعنی یک مدل با 7 میلیارد وزن رو میشه تو 7 گیگ رم ذخیره کرد. الان شاید بگی چقدر عالی 1 گیگ رم هم اضافه داریم 😂

ولی نه از اونجایی سیستم عامل و خیلی از اپلیکیشن های دیگه باید رو رم اجرا بشن پس این چالش انگیزه‌ای هست که مدل‌های LLM کوچکتر (پارامترهای کمتر) ساخته بشه و میزان پارامتر ها خیلی کمتر بشه طبق استاندارد ها یک اَپ موبایل نباید بیشتر از 10% DRAM رو اشغال کنه

چند روز پیش تو این پست مدل سبک جدید Llama3.2 رو معرفی کردیم. که با دو وزن 1 و 3 میلیارد پارامتری ارائه شده.

اگه بخواییم مدل Llama3.2 با 1 میلیارد پارامتر رو رو گوشی سرو کنیم منطقی تر هست اما باز 1 میلیارد عدد قابل توجهی هست و برای همین تو این مقاله با عنوان:

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

لینک مقاله | هاگینگ فیس
اومدن تعداد پارامترها رو کمتر هم کردن و یک مدل اصطلاحا Small Language Model درست کردن که مفهومی به اسم Sub-billion Parameter Language Models داره یعنی این مدل به بزرگی مدل‌های LLM بیلیونری مانند Llama و GPT-4 و غیره نیست و 125 و 350 میلیون پارامتر داره

در ادامه باید بدونید از چالش های ساختن یک مدل LLM خیلی سبک وزن، به رم محدود نمیشه و میزان مصرف باتری، سرعت Generate مدل و معماری استفاده در مدل هم تاثیر زیادی دارن که میتونه موضوع تحقیقات شما باشه (به زودی در مورد اینا هم مینویسم)

@silicon_brain | از هوش مصنوعی عقب نمانید

دیپلوی مدل speech-to-speech در هاگینگ فیس برای استفاده در پروداکشن

هاگینگ فیس اومده تو این بلاگ مرحله به مرحله مدل و سرویس های مورد استفاده برای دیپلوی یک سرویس speech-to-speech رو شرح داده.

سرویس speech-to-speech هاگینگ فیس، پایپلاینی از این تسک هاست:
Voice Activity Detection (VAD)
Speech to Text (STT)
Language Model (LM)
Text to Speech (TTS)

که به صورت Real-Time با کاربر تعامل میکنه. مراحل دیپلوی کردنشم اینجوریه:
- Clone the Hugging Face inference toolkit
- Add S2S codebase as submodules
- Modify Dockerfile for dependency management
- Build and push custom Docker image
- Configure Inference Endpoint with L4 GPU
-Set up websocket handlers for audio streaming
-Implement audio recording and playback client

@silicon_brain | از هوش مصنوعی عقب نمانید

لانچ Stable Diffusion 3.5 توسط Stability AI


مجموعه #Stability_AI نسخه Stable #Diffusion 3.5 رو منتشر کرده، یه پیشرفت قابل توجهی تو زمینه تولید تصویر مدل های open-source داشته

یک نسخه سریع تر به اسم stable-diffusion-3.5-large-turbo هم منتشر کردن که به حفظ کیفیت سرعت بیشتر در در خروجی Inference داره

به صورت کلی بهبودهای کلیدی این نسخه رندر متن بهتر، کیفیت تصویر بهبود یافته با جزئیات واضح تر، ویژگی های انسانی واقعی تر، و مکانیسم های ایمنی پیشرفته برای جلوگیری از تولید محتوای مضر هست.

من چک کردم تو Replicate هم سرو شده و قیمتش برای تولید هر تصویر به این شکله:
stable-diffusion-3.5-large: $0.065 per image
stable-diffusion-3.5-large-turbo: $0.04 per image
بلاگ

@silcion_brain | از هوش مصنوعی عقب نمانید

آمار میگه بیشترین حس خوشبختی رو شغلی که ازش لذت میبری میتونه برات برآورده کنه!

به نظرم Geek بودن تو ماشین لرنینگ خیلی لذت بخشه چون همزمان درگیر برنامه نویسی، مهندسی نرم افزار، الگوریتم ها، ریاضی، تحقیقات، مسائل مشاغل و صنایع مختلف و ... هستی و هیچوقت یکنواخت نمیشه! (مگه اینکه روزی برسه که کاری برای انجام دادن تو زمینه ماشین لرنینگ نباشه!)

@silionc_brain | از هوش مصنوعی عقب نمانید

قابلیت پشم ریزون Claude 3.5، تعامل مستقیم با کامپیوتر!

مجموعه خفن #Anthropic اومدن دو مدل جدید
#Claude 3.5 Sonnet
#Claude 3.5 Haiku
معرفی کرده. که عمکلرد و بهبود این مدل ها تو زمینه های مختلفو تو تصویر میبینین.

اما فیچر به اصطلاح Game Changer ای که تو مدل Claude 3.5 Sonnet ارائه دادن اینه که با استفاده از پرامپتی که کاربر وارد میکنه این مدل میتونه با اسکرین شات صفحه رو داشته باشه و با حرکت دادن ماوس یا کلیک کردن و تایپ متن، کارهای روزمره شما رو انجام بده

این ویدیو رو ببین تا متوجه شی:
یوتوب
اگه وقت کردی اینم ببین:
یوتوب

اگه میخوای روی سیسیتم خودت بیاری بالا با استفاده از این ریپو گیتهاب میتونی به صورت لوکال سرو کنی

البته فعلا این فیچر نهایی نیست و تو مرحله نسخه بتا و بصورت عمومی ارائه شده.

لینک بلاگ

@silicon_brain | از هوش مصنوعی عقب نمانید

پایتورچ 2.5 اومد!

این نسخه از #PyTorch بهینه سازی های مهمی داشته:

- پشتیبانی از مکانیزم‌های سریع‌تر برای مدل‌های زبانی بزرگ
- بهینه‌سازی عملکرد پردازنده‌ها
- اضافه شدن قابلیت FP16 برای پردازنده‌های اینتل
- استفاده از #CuDNN برای #GPU های جدید

لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

بهبود عملکرد LLM با تولید افکار داخل LLM!

احتمالا یادتونه که تو این پست در مورد نحوه کار OpenAI o1 که با زنجیره ای از افکار عمل میکنه، صحبت شد و گفتیم احتمالا خیلی از تحقیقات حوزه ی #LLM به سمت #chain_of_thought بره

حالا این مقاله با عنوان:
Thinking LLMs: General Instruction Following with Thought Generation

اومده با یک رویکرد جالب به دو نتیجه خوب یعنی حذف نظارت انسانی و بهتر شدن عملکرد LLM رسیده. چجوری؟
همونطور که تو شکل مشخصه با استفاده از روشی که اسمشو گذاشتن (TPO) Thought Preference Optimization، مدل قبل از پاسخ دادن، یک سری افکار داخلی بدون داده های انسانی تولید میکنه و این افکار بر اساس کیفیت پاسخ که با یه مدل جداگانه قضاوت میشن و با استفاده از #RL سعی میکنه پاسخ ها را بهتر و بهینه تر بکنه.

نتیجه کار هم بر اساس بنچمارک #AlpacaEval بهبود خوبی داشته (52.5٪ در مقابل 48.4٪).

روش کار خیلی ساده و باحاله. نگو که قبلا به فکر تو رسیده بود :)
مقاله|مدیوم

@silicon_brain | از هوش مصنوعی عقب نمانید

الگوریتم Kruskal برای یافتن درخت پوشای کمینه (Minimum Spanning Tree - MST)

الگوریتم Kruskal یکی از معروف‌ترین روش‌ها برای یافتن درخت پوشای کمینه در یک گراف وزن‌دار است. درخت پوشای کمینه یک زیرمجموعه از یال‌های گراف است که تمام رأس‌ها را به هم متصل کرده و مجموع وزن یال‌ها را به کمترین مقدار می‌رساند. این الگوریتم از نوع حریصانه (Greedy) است، یعنی در هر مرحله بهترین انتخاب ممکن را انجام می‌دهد تا به نتیجه بهینه برسد.



🌟 گام‌های الگوریتم Kruskal:

1. مرتب‌سازی یال‌ها: ابتدا تمام یال‌های گراف را به ترتیب وزن از کم به زیاد مرتب می‌کنیم.

2. ایجاد مجموعه‌های ناپیوسته: برای هر رأس یک مجموعه مجزا تشکیل می‌دهیم (در ابتدا هر رأس به تنهایی یک مجموعه است).

3. اضافه کردن یال‌ها به MST:
- یال‌ها را یکی یکی از کمترین وزن به بزرگترین بررسی می‌کنیم.
- اگر اضافه کردن یک یال باعث ایجاد حلقه نشود، آن را به درخت پوشا اضافه می‌کنیم.
- اگر یال باعث ایجاد حلقه شود، آن را نادیده می‌گیریم.

4. اتمام الگوریتم: این روند تا زمانی ادامه دارد که تمام رأس‌ها به هم متصل شده و یک درخت پوشای کمینه ساخته شود.



⏱️ پیچیدگی زمانی الگوریتم:

الگوریتم Kruskal شامل دو بخش اصلی است:

1. مرتب‌سازی یال‌ها: با استفاده از الگوریتم‌های مرتب‌سازی سریع مانند Merge Sort یا Quick Sort، پیچیدگی زمانی این مرحله O(Elog E) است که E تعداد یال‌های گراف است.

2. جستجوی مجموعه‌ها و ترکیب آن‌ها: برای مدیریت مجموعه‌ها از ساختار داده‌ای Union-Find استفاده می‌شود که با بهینه‌سازی‌هایی مانند فشرده‌سازی مسیر (Path Compression) و اتحاد بر اساس رتبه (Union by Rank)، پیچیدگی زمانی این عملیات‌ها به O(α(V)) کاهش می‌یابد.

به طور کلی، پیچیدگی زمانی الگوریتم برابر است با:


O(E log E + E α(V))


که در آن E تعداد یال‌ها و V تعداد رأس‌های گراف است. از آنجایی که E log E سریع‌تر از E α(V) رشد می‌کند، پیچیدگی زمانی کلی O(E log E) است.



📊 ویژگی‌ها و کاربردها:

- نوع الگوریتم: حریصانه (Greedy)
- کاربردها:
- ساخت درخت پوشای کمینه در شبکه‌های ارتباطی.
- کاهش هزینه‌های طراحی شبکه.
- حل مسائل بهینه‌سازی گراف‌ها.

- محدودیت‌ها:
- مناسب برای گراف‌های پراکنده (Sparse). برای گراف‌های متراکم (Dense)، الگوریتم‌های دیگر مانند Prim ممکن است عملکرد بهتری داشته باشند.



✨ با پیروی از این مراحل و فهمیدن پیچیدگی‌ها، الگوریتم Kruskal به یکی از بهترین انتخاب‌ها برای ساخت درخت پوشای کمینه تبدیل می‌شود.

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

هرکسی ازتون پرسید مشتق و انتگرال کجا بدرد میخوره این ویدیو رو نشونش بدید

هنر مهندسی یعنی یه جسم ۳۵۰۰ تنی رو با سرعت ۶ هزار کیلومتر به سمت زمین برگردونی و اینجوری بگیری بغلت. زنده باد علم...

@silicon_brain | از هوش مصنوعی عقب نمانید

حالا که این روزا بحث برندگان جایزه #نوبل داغه بدونیم که ‏طبق تحقیقات، تقریبا تمام برندگان جایزه‌ی نوبل، پدرانِ ثروتمندی داشتن!

به طوری که ۹ نفر از ۱۰ نفر، برنده‌ی جایزه‌ی نوبل، تو سه دهک پولدار جامعه متولد شدن.

@silicon_brain | از هوش مصنوعی عقب نمانید

Software Engineer != Developer
Software Engineer == Problem Solver

Can you explain "Machine Learning Software Engineer" ?

@silicon_brain

عجیبه اینکه خیلیا دوس دارن تو آینده باشن! کاش در موردش توضیح بدین
من همیشه احساس میکردم که آینده تکنولوژی کم هیجان تر از گذشته ست :(

جفری هینتون، برنده جایزه نوبل فیزیک!

#جفری_هینتون نوبل فیزیک 2024 رو برای عنوان اکتشافات و ابداعات بنیادی که یادگیری ماشین را با شبکه‌های عصبی مصنوعی امکان‌پذیر می‌کند (ماشین بولتزمن) رو به همراه همکارش جان هاپفیلد برد!

ماشین #بولتزمن (Boltzmann Machine) یک نوع شبکه عصبی تصادفی (stochastic) هست که هدفش پیدا کردن الگوهای پنهان در داده‌ و یادگیری ویژگی‌های اصلی یک مجموعه داده ست.

تصویر بالا رو ببینید که چطوری هینتون با اضافه کردن لایه پنهان و تغییر اتصالات نودها در شبکه هاپفیلد، پایه شبکه های عمیق امروزی رو درست کرد.

هینتون سال ۲۰۱۸ به همراه چند محقق دیگر؛ برای کار روی یادگیری عمیق؛ برندهٔ جایزه #تورینگ هم شد.

بزن لایکو براش :)

@silicon_brain | از هوش مصنوعی عقب نمانید

تراشه‌های رایانه‌ای نقش مهمی در پیش‌رفت هوش مصنوعی داشته‌اند، حالا نوبت هوش مصنوعی‌ هستش که دینشو ادا کنه

چهارسال پیش، آزالیا میرحسینی در گوگل موفق شد به‌کمک #یادگیری_تقویتی عمیق، روشی برای طراحی چیدمان تراشه‌های کامپیوتری (chip floorplanning) ابداع کند.

در این روش، ابتدا، یک Grid خالی درنظر گرفته میشه و در هر تکرار، یکی از مولفه‌ها (مدارها)،‌ قرار میگیره. پاداش نهایی از روی کیفیت چیدمان تراشه‌ی نهایی مشخص می‌شود.
یک شبکه‌ی عصبی گرافی مبتنی بر یال (Edge-based GNN) ارتباط بین مولفه‌ها رو یادگرفته و اونو به بخش‌های دیگر تعمیم میده.

تمام تراشه‌های شتاب‌دهی هوش مصنوعی گوگل (TPU) و همین‌طور Google Axion با این روش طراحی شدن.

امروز بعد از چهار سال، این مدل، #AlphaChip نام گرفت و به‌زودی چک‌پوینت (وزن‌های) اون برای استفاده‌ی سایرین دردسترس قرار خواهد گرفت.

بلاگ | گیتهاب
@silicon_brain | از هوش مصنوعی عقب نمانید

حالا که تو پست قبلی در مورد #LPU صحبت شد، بهتره یکم بیشتر در مورد این تکنولوژی بدونیم


اولش بگم که اگه مدل‌هایی مثل :Llama2, Mixtral, Gemma کار شما و شرکت شمارو راه میندازه حتما یک سری به سایت گروک بزنید از LPU طراحی شده توسط این شرکت لذت ببرید.

در واقع LPU واحد پردازشی این شرکت هست که برای inference طراحی شده و از TPU, GPU برای این کاربرد خاص بسیار بسیار سریعتر و بهینه‌تر هست بعنوان مثال برای مدل Llama2 70B در زمان inference چیزی معادل 325T/s سرعتش هست؛ این عدد برای Nvidia A100 طبق گذارشات موجود بصورت میانگین 5T/s هست؛
(T/s: token per seconds)
طراحی و ایده نسخه اول از #TPU های گوگل هم توسط مدیر همین شرکت بود.

یکم فنی بررسی کنیم:
در واقع LPU واحدهای پردازشی عصبی بهینه‌سازی شده داره که برای اجرای مدل‌های یادگیری عمیق (مانند #Transformer‌ ها که پایه معماری مدل‌های زبانی مانند BERT و GPT هستند) طراحی شده. این واحدها به تسریع عملیات ماتریسی و توزیع تنسور کمک میکنن.
همینطور برای تسریع و بهینه‌سازی قسمت مکانیزم توجه (Attention Mechanism) هم طراحی شده
برای تسک NLP به ویژه در مدل‌های بزرگ زبانی (مانند GPT-3 و GPT-4)، استفاده از حافظه‌ی سریع و بهینه حیاتی مهمه. LPU‌ها از حافظه‌های پیشرفته و کش‌های چندلایه استفاده می‌کنند تا بتونن داده‌های مورد نیاز را سریع‌تر از واحدهای پردازشی سنتی بازیابی کنن.

همینطور LPUها شامل شتاب‌دهنده‌هایی (Custom Language Accelerators) هستن که برای اجرای عملیات‌های خاص زبان طبیعی مثل Tokenizationو Embedding بهینه شدن.

@silicon_brain | از هوش مصنوعی عقب نمانید

سریع ترین LLM دنیا به اسم groq!

این مدل 18 برابر از #GPT سریع تر هست و همونطور که توی ویدیو مشخصه، در لحظه برای شما جواب رو تولید میکنه.

گروک یه سرویس هست که مدل های زبانی موجود مثل #llama یا #gemma رو با سرعت بیشتر ران کرده. تو دمو سایت از #whisper برای تبدیل صوت به متن و از llama برای پاسخ دادن به متن استفاده میکنه. در واقع گروک یک مدل مستقل نیست پلتفرمی هست که مدل های مختلفی مثل #lama و #mistral رو روی سخت افزار خاص خودش ران میکنه که اسمش GroqRack هست و با تکنولوژی #LPU ران میشه. تعداد توکن هایی که پردازش میکنه به ۵ هزار میرسه. همچنین سخت افزارش هم برای فروش معرفی شده

لینک دمو
@silicon_brain | از هوش مصنوعی عقب نمانید

احتمالا تا حالا اسم #RAG رو شنیدید یا باهاش کار کردین و میدونین که از تکنولوژی های جدید و خیلی کاربردی هوش مصنوعی هست. تو این پست اینستاگرام به صورت کامل در مورد RAG بخونید:

https://www.instagram.com/p/DAqhSnbC2cU/?igsh=MXV5OWltMDBlNGQ5OA==

ری اکشن استار ⭐️ اضافه شد به کانال
خلاصه اگه این کانال تا الان براتون مفید بوده و قابلیتشو دارین، استار بزنید 😁

10 پرسش مهم در مصاحبه‌های LLM

۱. تعریف مدل‌های زبانی بزرگ #LLM
۲. سنجش کارایی
۳. یادگیری با نمونه‌های اندک (few-shot learning)
۴. رفع خروجی‌های نامناسب یا نادرست
۵. تفاوت رمزگذار (#encoder) و رمزگشا (#decoder)
۶. مقایسه با مدل‌های آماری سنتی
۷. مفهوم پنجره متنی (context window)
۸. تعریف ابَرپارامتر (hyperparameter)
۹. توضیح سازوکار توجه (attention mechanism)
۱۰. چالش‌های استفاده از مدل‌های زبانی بزرگ

حتما پاسخ های داخل داکیومنتو بخونید

@silicon_brain | از هوش مصنوعی عقب نمانید