انجمن علوم داده

🔍 بهینه‌سازی حافظه در Fine-Tune کردن ترنسفورمرها با روش Token Selection

● در مقاله‌ای از Meta AI، روشی جدید به نام TOKENTUNE برای بهینه‌سازی حافظه در آموزش مدل‌های ترنسفورمر معرفی شده است. این روش با انتخاب زیرمجموعه‌ای از توکن‌های ورودی و ذخیره‌سازی حداقلی فعال‌سازی‌ها، نیاز به حافظه را در فرآیند آموزش به طرز چشمگیری کاهش می‌دهد.

● ویژگی‌های کلیدی:
○ کاهش مصرف حافظه GPU تا ۷۹٪
○ با وجود کاهش حافظه، دقت در وظایف مختلف مانند طبقه‌بندی متن و پاسخ‌دهی به سؤالات، مشابه روش‌های مرسوم است.
○ این روش می‌تواند با دیگر روش‌های بهینه‌سازی حافظه مانند LoRA و QLoRA ترکیب شود.

#مقاله #مدل‌های_زبانی #بهینه‌سازی_حافظه

کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 تحولی در image captioning با روش Altogether

● تیمی از محققان Meta FAIR در مقاله‌ای جدید، رویکردی نوین به نام Altogether را برای بهبود image captioning معرفی کرده‌اند.

● منظور از Image Captioning، تولید متنی است که محتوای یک تصویر را توصیف می‌کند. این متن باید اطلاعات بصری موجود در تصویر را به طور دقیق و جامع منتقل کند. بهبود عملکرد مدل‌های هوش مصنوعی در وظایف مختلف مانند جستجوی تصویری، طبقه‌بندی، تولید تصویر و... تحت تاثیر این فرآیند است.

● روش Altogether از متن‌های جایگزین (Alt-text) موجود که همراه تصاویر در وب یافت می‌شوند، استفاده می‌کند و آن‌ها را با محتوای واقعی تصویر تطبیق می‌دهد. این روش به جای ایجاد یک کپشن کاملاً جدید، متن‌های موجود را بهبود می‌دهد تا دقیق‌تر و حاوی اطلاعات بیشتری باشند.

● روش Altogether توانسته است در آزمایش‌های خود عملکرد بهتری نسبت به مدل‌های پیشرفته فعلی مانند GPT-4V و LLaVA نشان دهد.

#مقاله #زیرنویس_گذاری

کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

📚 کتاب ارزشمند Build a Large Language Model (From Scratch)

📖 انتشارات: Manning Publications Co | سال: ۲۰۲۴

● این کتاب به شما یاد می‌دهد چگونه یک مدل زبانی بزرگ از پایه بسازید و آن را بهینه کنید.

● مباحث کلیدی:
○ طراحی و کدنویسی تمام اجزای یک LLM
○ آماده‌سازی دیتاست برای آموزش مدل
○ آموزش و بهینه‌سازی مدل برای طبقه‌بندی متن و داده‌های شخصی
○ استفاده از بازخورد انسانی برای بهبود عملکرد مدل
○ درک عمیق از نحوه کار مدل‌های زبان بزرگ مانند ChatGPT و Bard
○ یادگیری فرآیند ساخت مدل‌های کوچک که قابل اجرا روی لپ‌تاپ‌های معمولی هستند
○ مناسب برای توسعه مدل‌های شخصی و دستیارهای هوشمند

● این کتاب شما را از سطح مبتدی تا پیشرفته در مسیر ساخت مدل‌های زبانی بزرگ همراهی می‌کند.

#کتاب #مدل_زبانی_بزرگ #LLM

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

💬 هوش مصنوعی علیه کلاهبرداران تلفنی!

● در دنیای تکنولوژی، هوش مصنوعی هر روز ابعاد جدیدی از کاربردهای خود را به ما نشان می‌دهد. یکی از جالب‌ترین پروژه‌های اخیر، توسعه‌ی سیستمی به نام AI Granny است که به‌طور خاص برای مقابله با کلاهبرداران تلفنی طراحی شده است.

● این سیستم نقش یک سالمند پرحرف و خوش‌مشرب را بازی می‌کند که می‌تواند ساعت‌ها با کلاهبرداران تلفنی صحبت کند و آن‌ها را درگیر نگه دارد.

● هدف چیست؟ تلف کردن وقت کلاهبرداران و جلوگیری از تماس آن‌ها با افراد واقعی.

● این پروژه که توسط یک تیم هوش مصنوعی به رهبری یک توسعه‌دهنده خلاق راه‌اندازی شده، نشان می‌دهد که چگونه می‌توان از تکنولوژی برای مقابله با تهدیدات اجتماعی استفاده کرد. سیستم AI Granny به صورت طبیعی صحبت می‌کند، داستان‌های جالبی می‌گوید و حتی می‌تواند احساسات را شبیه‌سازی کند تا مکالمه را طولانی‌تر کند.

● سیستم AI Granny می‌تواند مکالمات مختلف را مدیریت کند و به سوالات کلاهبرداران پاسخ‌های نامربوط اما قانع‌کننده بدهد. همچنین این سیستم به‌طور مداوم یاد می‌گیرد و می‌تواند خود را برای بهبود مکالمات بعدی به‌روزرسانی کند.

🔗 مطالعه بیشتر

#وبلاگ

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

⏺علیرضا ذاکری، دارنده مدال طلای المپیاد کامپیوتر، که در گوگل کار می‌کرد، به دلیل همکاری گوگل با اسرائیل، از کارش استعفا داد.

او در انتهای متن خود این جمله را نقل کرده‌است:
چه سودی برای انسان دارد که تمام دنیا را بدست آورد ولی روح خود را از دست بدهد؟

🎙در کانال صدای نخبگان با ما همراه باشید…
| @ElitesVoice |

🔬 تحولی در مدل‌های چندرسانه‌ای: همکاری متا و استنفورد با Mixture-of-Transformers (MoT)

● مدل‌های بزرگ زبانی (LLMs) از پردازش متن به تحلیل چندرسانه‌ای شامل متن، تصویر و گفتار توسعه یافته‌اند. اما چالش اصلی این مدل‌ها، نیاز به منابع محاسباتی عظیم است.

● راه‌حل چیست؟
معماری Mixture-of-Transformers (MoT) که یک معماری پراکنده و مقیاس‌پذیر است که هزینه‌های محاسباتی را کاهش داده و عملکردی هم‌سطح با مدل‌های متراکم ارائه می‌دهد.

● ویژگی‌های کلیدی MoT:
○ جداسازی پارامترهای خاص هر مدالیت برای پردازش بهتر
○ دستیابی به کیفیت متنی و تصویری مشابه با صرف ۴۷.۲% زمان محاسباتی کمتر
○ عملکرد عالی در تولید متن، تصویر و گفتار با ۵۵.۸% از FLOPs مورد نیاز مدل‌های سنتی

● در نتیجه MoT عملکردی هم‌سطح یا بهتر از مدل‌های متراکم نشان داده است. این معماری پتانسیل تحول در مدل‌های چندرسانه‌ای را دارد.

#مقاله #MoT

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

⏺۵۰ زیرمجموعه شبکه نخبگان ایران، در حوزه‌های علوم پزشکی، فنی و مهندسی، علوم انسانی، فرهنگ و هنر، استارتاپ و ... را در لینک زیر ببینید:

| https://t.me/IranElitesNet/5 |

🔔 خبر مهم برای کاربران PyTorch

● تیم توسعه‌دهنده PyTorch اعلام کرده است که از نسخه ۲.۵ به بعد، انتشار بسته‌های این کتابخانه در کانال رسمی Anaconda (با استفاده از -c pytorch) متوقف خواهد شد.

● این تصمیم به دلیل هزینه‌های بالای نگهداری و تفاوت قابل توجه در تعداد دانلودها بین PyPI و Anaconda اتخاذ شده است.

● توصیه‌ها برای کاربران:
○ برای نصب PyTorch، از بسته‌های رسمی موجود در PyPI یا سایت رسمی PyTorch استفاده کنید.
○ کاربرانی که همچنان تمایل به استفاده از Conda دارند، می‌توانند از بسته‌های موجود در conda-forge استفاده کنند.

● این تغییر به منظور بهبود تجربه کاربری و تمرکز بیشتر بر بهینه‌سازی بسته‌های PyTorch صورت گرفته است.

🔗 اطلاعات بیشتر

#خبر #PyTorch #Conda

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 بررسی مدل‌های زبانی کوچک در عصر مدل‌های زبانی بزرگ

● در این مقاله جامع که اخیراً منتشر شده است، به بررسی مدل‌های زبانی کوچک (SLM) پرداخته می‌شود. این مدل‌ها به دلیل اندازه کوچک‌تر، کارایی بالا و قابلیت تطبیق در محیط‌هایی با منابع محدود، مورد توجه قرار گرفته‌اند.

۱. کاربردها و مزایا
مدل‌های SLM در حوزه‌های خاص مانند سلامت و قانون، برای پردازش داده‌های حساس و کاهش زمان پاسخگویی استفاده می‌شوند.

۲. چالش‌ها و بهبودها
این مدل‌ها نیازمند تکنیک‌هایی نظیر Knowledge Distillation، کاهش پارامترها و بهینه‌سازی هستند تا بتوانند کارایی مشابه مدل‌های بزرگ را در شرایط خاص ارائه دهند.

۳. آینده مدل‌های کوچک
با توجه به کاهش هزینه‌ها و افزایش نیاز به پردازش‌ها، پیش‌بینی می‌شود که این مدل‌ها نقشی کلیدی در توسعه هوش مصنوعی ایفا کنند.

#مقاله #مدل_زبانی_کوچک #SLM

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

​​🔍 مقایسه مدل‌های Llama:

● ​​در سال ۲۰۲۴، Meta با انتشار مدل‌های Llama با نسخه‌های ۳، ۳.۱ و ۳.۲ تحولات چشمگیری را نشان داده است.​​ ​​هر یک از این نسخه‌ها با بهبودها و قابلیت‌های منحصر به فرد خود، نحوه تعامل ما با هوش مصنوعی را ارتقا داده‌اند.​​

○ مدل ​​Llama3: این نسخه با افزایش پارامترها و بهبود درک زبان، عملکرد بهتری در وظایف مختلف مانند ترجمه و تولید متن ارائه می‌دهد.​​
○ مدل ​​Llama3.1: با تمرکز بر بهینه‌سازی و کاهش مصرف منابع، این نسخه برای کاربردهای متنوع و محیط‌های محدودتر مناسب‌تر است.​​
○ مدل ​​Llama3.2: با افزودن قابلیت‌های چندزبانه و بهبود درک زمینه، این نسخه تجربه کاربری بهتری را فراهم می‌کند.​​

🔗 مطالعه بیشتر

​​#Llama3

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🤖 شخصی‌سازی مدل‌های زبانی بزرگ: رویکردی نوین در هوش مصنوعی

● در مقاله‌ای جامع، مفهوم شخصی‌سازی مدل‌های زبانی بزرگ (LLMs) به طور مفصل بررسی شده است. این مقاله به معرفی یک طبقه‌بندی جدید برای استفاده از LLMهای شخصی‌سازی‌شده می‌پردازد و چالش‌ها و فرصت‌های این حوزه را تحلیل می‌کند.

● دو رویکرد شخصی‌سازی: شامل تولید متن شخصی‌سازی‌شده و استفاده از LLMها در وظایف پایین‌دستی مثل سیستم‌های توصیه‌گر.

● سطوح مختلف شخصی‌سازی:
○ کاربر: شخصی‌سازی برای هر فرد بر اساس داده‌های خاص او.
○ شخصیت (Persona): تطبیق مدل برای گروه‌هایی از کاربران که ویژگی‌های مشابهی دارند.
○ ترجیحات عمومی: تنظیم مدل برای هماهنگی با ترجیحات کلی کاربران، مثل رعایت هنجارهای اجتماعی.

● چالش‌ها: شامل مشکل داده‌های کم‌کاربر (Cold-start)، حریم خصوصی و تعصبات مدل‌ها.

🎯 هدف اصلی این مقاله، یکپارچه‌سازی و ایجاد بستری برای پژوهش‌های آتی در حوزه LLMهای شخصی‌سازی‌شده است.

#مقاله #LLM #شخصی_سازی

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 هوش‌مصنوعی همه کاره برای دانشجویان و پژوهشگران

● با SciSpace قادر به انجام چه کارهایی خواهید بود؟
○ هوش‌مصنوعی برای گفتگو با فایل‌های PDF
○ دسترسی به ۲۸۵ میلیون مقاله
○ توانایی نگارش و گسترش نوشته‌های شما
○ بررسی و مرور آسان‌تر متون و منابع علمی
○ ارائه Citation
○ تحلیل محتوا با هوش‌مصنوعی
○ و...

🔗 لینک دسترسی

#کاربردی #SciSpace

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

📚جزوه دوره 6.390: مقدمه‌ای بر یادگیری ماشین از MIT

📝این دوره موضوعات کلیدی زیر را پوشش می‌دهد:
⏺مفاهیم:
⏺شبکه‌های عصبی
⏺شبکه‌های عصبی Convolutional
⏺ترنسفورمرها
⏺انواع یادگیری:
⏺یادگیری نظارتی
⏺یادگیری بدون نظارت
⏺یادگیری تقویتی
⏺سایر موضوعات:
⏺آموزش مدل، بهینه‌سازی و ارزیابی
⏺الگوریتم‌هایی مانند گرادیان کاهشی و...

#منبع #یادگیری_ماشین

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🧬 شناسایی محتوای تولید شده توسط هوش‌مصنوعی با واترمارکینگ: سلاح جدید در مبارزه با اطلاعات نادرست و تهدیدات بیولوژیکی

○ ​​این مقاله به بررسی روش‌های واترمارکینگ در متون و پروتئین‌های تولیدشده توسط هوش مصنوعی می‌پردازد. این تکنیک‌ها با هدف مقابله با انتشار اطلاعات نادرست و تهدیدات بیوتروریسم توسعه یافته‌اند و برای شناسایی مالکیت و اصالت محتوا به کار می‌روند.

○ ​​در حوزه متون تولیدشده توسط هوش مصنوعی، روش‌هایی مانند «SynthText-ID» معرفی شده‌اند که با تغییر در فرآیند انتخاب کلمات، امکان شناسایی متون تولیدشده توسط مدل‌های زبانی بزرگ را فراهم می‌کنند. این روش‌ها بدون نیاز به تغییر در فرآیند آموزش مدل‌ها، در مرحله تولید متن اعمال می‌شوند.

○ ​​در زمینه طراحی پروتئین‌های مصنوعی، تیمی از دانشگاه مریلند روش‌هایی را پیشنهاد داده‌اند که با اعمال تغییرات در ساختار پروتئین‌های مصنوعی، امکان شناسایی آن‌ها را فراهم می‌کند.

○ واترمارکینگ و توسعه روش‌های مؤثر در این زمینه می‌تواند به بهبود امنیت و اعتماد در محتوای دیجیتال کمک کند.

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🧬مَسترکلاس پروتئومیکس:
👨‍💻«کاوش داده‌های طیف‌سنجی جرمی با بهره‌گیری از زبان برنامه‌نویسی R»

💠با تدریس:
👤دکتر محی‌الدین جعفری
⏺مدیر گروه Systems Pharmacology دانشگاه هلسینکی فنلاند
⏺دکترای پروتئومیکس کاربردی از دانشگاه علوم پزشکی شهید بهشتی
⏺عضو هیئت علمی اسبق انستیتو پاستور ایران

📝سرفصل‌ها:
⏺How does mass spectrometry work?
⏺Accessing data
⏺What is raw data in R
⏺Visualisation of raw MS data
⏺Raw data processing and manipulation
⏺Identification data
⏺Comparing Spectra
⏺Quantitative data
⏺Analysis pipeline

🎓 ۱۰ ساعت آموزش حرفه‌ای در قالب ۶ جلسه به‌صورت مجازی در بستر اسکای‌روم

📆شروع دوره: از هفته اول آذر

👥مخاطبین: دانشجویان، فارغ‌التحصیلان و پژوهشگران حوزه علوم زیستی، بیوانفورماتیک، داروسازی و...

🥇همراه با اعطای سرتیفیکیت از شبکه نخبگان ایران

❓سوالات متداول مرتبط با دوره❓

🔥ثبت‌نام و کسب اطلاعات بیشتر👇:
🆔 @Biotech_PR

در کانال انجمن علمی بیوتکنولوژی شبکه نخبگان ایران با ما‌ همراه باشید🌱
| @BioTech_Association |

🎓کارگاه فوت و فن مقاله‌نویسی

👤با تدریس: دکتر شاهین آخوندزاده
⏺معاون تحقیقات و فناوری وزارت بهداشت
⏺استاد دانشگاه علوم پزشکی تهران
⏺دکترای تخصصی از دانشگاه گلاسگو انگلستان
⏺پژوهشگر ۱٪ پر استناد برتر دنیا
دارای h-index = ٧٧

📝محتوای دوره:
⏺یافتن ایده‌های پژوهشی
⏺نکات مهم در افزایش شانس چاپ مقاله
⏺انتخاب مجله و نحوه سابمیت مقاله
⏺نحوه نگارش اجزای Title page
⏺نکات مهم در نوشتن اجزای مختلف مقاله
⏺بحث Authership و ترتیب نام نویسندگان
⏺چگونه یک مقاله را اصلاح کنیم؟
⏺چگونه یک مقاله را داوری کنیم؟

🌐بیش از ۸ ساعت محتوای ضبط‌شده

📝همراه با ارائه گواهی شرکت در کارگاه

🔴لینک ثبت‌نام

ارتباط با ادمین:
@ORA_admin1

🎓در کانال آکادمی پژوهش شبکه نخبگان ایران با ما همراه باشید...
| @Researchers_Center |

♨️ تمیز کردن صدا فقط با یک کلیک!

▪️با استفاده از آخرین پیشرفت‌ها در پردازش صدا و هوش مصنوعی، به‌طور خودکار نویز پس‌زمینه را حذف می‌کند و گفتار شما را تقویت می‌کند. صدای خود را در چند ثانیه تمیز کنید نه چند ساعت.

🔗 https://audo.ai/


در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

✍️صفر تا صد نگارش انگلیسی؛
از مکاتبات روزمره تا متون پژوهشی

🔥آغازی برای درست نوشتن!

👤دکتر مصطفی شهیدی‌تبار
⏺زبان‌شناس و عضو هیئت علمی دانشگاه
⏺استاد میهمان دانشگاه آکسفورد
⏺پژوهشگر برتر و مدرس تراز اول زبان انگلیسی

📚مباحث دوره:
⏺متون پژوهشی
⏺پاراگـراف نویـسی
⏺گــرامـر‌های کاربــردی
⏺مــقالـــه نویسی (essay)
⏺مقدمات و پیش نیاز‌های نگارش
⏺پــــوشش کـــامل General writing
⏺آمادگی برای آزمون‌های TOEFL و IELTS

👥مخاطبین: دانشجویان، پژوهشگران و تمامی زبان آموزان در تمامی سطوح

📝ارائه سرتیفیکیت از شبکه نخبگان ایران

⌨️در ۷ جلسه به صورت مجازی در بستر اسکای‌روم (فیلم جلسات و منابع مطالعاتی لازم در اختیار شرکت کنندگان قرار داده خواهد شد)

🎁تخفیف ویژه ۵۰ درصدی برای دانشجویان

‼️ظرفیت محدود ثبت‌نام

🔗 لینک ثبت نام

ارتباط با ادمین👇:
🆔 @ElitesLanguage_admin

در کانون زبان شبکه نخبگان ایران با ما همراه باشید🌱
| @LanguageInstitution |

⭕️ مخزن جامع یادگیری علوم داده
✅ برای حلِ مشکلات دنیایِ واقعی

🔗 لینک توضیحات

🌐 لینک ریپو


در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |