School of AI

تسلا روبووَن و روبوتاکسی را معرفی کرد...
فرمون بی فرمون!
به آینده خوش آمدید.

https://www.caranddriver.com/news/a62567491/tesla-robotaxi-reveal/

نوبل شیمی هم به سازندگان AlphaFold رسید…

نوبل کم‌ترین جایزه‌ای‌ست که می‌شه به هینتون داد…

به‌زودی یک کورس خوب در مورد Agentic Application ها توسط دانشگاه برکلی برگزار خواهد شد.

ثبت‌نام کنید :)

https://llmagents-learning.org/f24

تراشه‌های رایانه‌ای نقش مهمی در پیش‌رفت هوش مصنوعی داشته‌اند، حال نوبت به هوش مصنوعی‌ست که دین خود را ادا کند.

چهارسال پیش، آزالیا میرحسینی در گوگل موفق شد به‌کمک یادگیری تقویتی عمیق، روشی برای طراحی چیدمان تراشه‌های کامپیوتری (chip floorplanning) ابداع کند.

در این روش، ابتدا، یک Grid خالی درنظر گرفته شده و در هر تکرار، یکی از مولفه‌ها (مدارها)،‌ روی آن قرار می‌گیرد. پاداش نهایی از روی کیفیت چیدمان تراشه‌ی نهایی مشخص می‌شود. یک شبکه‌ی عصبی گرافی مبتنی بر یال (Edge-based GNN) ارتباط بین مولفه‌ها را یادگرفته و آن را به بخش‌های دیگر تعمیم می‌دهد.

لازم به ذکرست، تمام تراشه‌های شتاب‌دهی هوش مصنوعی گوگل (TPU) و همین‌طور Google Axion توسط این روش طراحی شده‌اند.

امروز بعد از چهار سال، این مدل، AlphaChip نام گرفت و به‌زودی چک‌پوینت (وزن‌های) آن برای استفاده‌ی سایرین دردسترس قرار خواهد گرفت.


بلاگ‌پست:
https://deepmind.google/discover/blog/how-alphachip-transformed-computer-chip-design/
گیت‌هاب:
https://github.com/google-research/circuit_training/

کد پیاده‌سازی‌شده‌ی تعدادی از مدل‌های self-supervised learning پرکاربرد که توسط بهروز جان آذرخلیلی منتشر شده‌ست.

https://github.com/behroozazarkhalili/SSL

نجات کودک گم‌شده در مزرعه‌ی ذرت، به‌کمک پهباد و دوربین حرارتی.

اگر تا الان سعی کرده باشید که یکی از VLM ها مثل PaliGemma یا Florence-2 یا Qwen2-VL رو روی داده‌های خودتون فاین‌تیون کنید، می‌دونید که به این سادگی‌ها هم نیست!

پکیج maestro اومده که این مشکل رو حل کنه و فاین‌تیون‌کردن مدل‌های چندوجهی رو ساده‌تر کنه.


گیت‌هاب:
https://github.com/roboflow/multimodal-maestro

نوت‌بوک:
https://colab.research.google.com/github/roboflow/multimodal-maestro/blob/develop/cookbooks/maestro_florence2_object_detection.ipynb

یک بلاگ‌پُست بسیار خوب در مورد طراحی مقیاس‌پذیر معماری سامانه‌های AI

https://huyenchip.com/2024/07/25/genai-platform.html

مجله‌ی مشهور TIME نام ایلان ماسک، موسس شرکت‌های Tesla و SpaceX و Neuralink و هم‌بنیان‌گذار OpenAI را از لیست ۱۰۰ چهره‌ی تاثیرگذار در دنیای AI حذف کرد 😂

با‌این‌حال اسکارلت جانسون، هنرپیشه‌ی فیلم‌های هالیوودی و صداپیشه‌ی فیلم Her هم‌چنان در این لیست قرار دارد. 🤔

بسیاری این تصمیم رو ناشی از سوگیری‌های سیاسی این مجله و مرتبط با حمایت‌های اخیر ماسک از Trump عنوان کرده‌اند.

اگر علاقه‌مند به مدل‌های VLM هستید، به‌احتمال زیاد طی روزهای اخیر در مورد دو مدل جدید و قدرت‌مند Qwen2-VL و LLaVa-OneVision که مبتنی بر مدل زبانی Qwen2 اند شنیده‌اید.

مدل Qwen2-VL در دو نسخه‌ی ۲ و ۷ میلیاردی (و به‌زودی ۷۲ میلیاردی) توسط گروه Alibaba و تحت لیسانس Apache 2.0 به‌صورت اوپن-سورس منتشر شده و عمل‌کرد قابل‌توجهی در تسک‌هایی مثل OCR و Object Tagging و Keyword Generation و Image Classification و Object Detection از خود نشان داده‌ست.

مدل LLaVa-OneVision (نسل جدیدِ LLaVa-NeXT) در سه سایز ۵۰۰ میلیونی، ۷ میلیاردی و ۷۲ میلیاردی و تحت لیسانس CC BY NC 4.0 (قابل استفاده برای اهداف غیرِتجاری) منتشر شده و به‌خصوص در تسک‌های ویدئویی عمل‌کرد چشم‌گیری داشته‌ست. این مدل به‌کمک تکنیک anyres-9 قادرست تصاویر با هر رزولوشنی را با جزییات کافی پردازش کند.

قدرت فهم ویدئو در این دو مدل روی بنچ‌مارک Video-MME در این جدول بررسی شده‌ست.

AlphaProteo generates novel proteins for biology and health research

https://deepmind.google/discover/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/

گوگل نامِ TensorFlow Lite را به LiteRT تغییر داد.

درابتدا، TFLite نسخه‌ای سبک از مدل‌های تنسورفلو برای اجرا روی دستگاه‌های موبایل بود.

اما در ادامه تبدیل به یک runtime عمومی برای اجرای مدل‌های یادگیری ماشین نوشته‌شده توسط TensorFlow و Keras و Pytorch و JAX برروی دستگاه‌های Edge از جمله موبایل‌های اندرویدی و iOS و همین‌طور Embedded Devices شد.

نام جدید، بیان‌گر ویژن جدید این محصول‌ست.

https://developers.googleblog.com/en/tensorflow-lite-is-now-litert/?linkId=10850223

واترمارکینگ در مدل‌های GenAI

واترمارکینگ در GenAI به نشانه‌گذاری‌هایی درون محتوای تولیدشده (متن، تصویر، ویدئو، موسیقی و …) گفته می‌شود که از نگاه ما پنهان ولی در نگاه ماشین آشکار باشند.

مثلا گوگل در محصولات GenAI خود از ابزاری به‌نام SynthID استفاده کرده و محتوای تولید‌شده را واترمارک می‌کند.

بنابراین به‌عنوان‌نمونه شما در مواجهه با یک تصویر در بخش جست‌وجوی گوگل، می‌توانید با مراجعه به قسمت about this image واترمارک آن را بررسی کنید. یا با مراجعه به سایت‌هایی مثل ZeroGPT انسانی بودن یک متن را بررسی کنید.

روش عمل‌کرد واترمارک در LLM ها به‌این‌صورت‌ست که:
می‌دانیم، مدل زبانی، در هر لحظه، توکن بعدی را به‌صورت یک توزیع احتمال روی واژه‌نامه، پیش‌بینی می‌کند. ابزارهای واترمارکینگ، این توزیع احتمال را جوری‌که به دقت، صحت و خلاقیت متن آسیبی نرسد، تغییر می‌دهند. به‌این‌صورت، حتی در یک متن سه‌جمله‌ای نیز تعداد قابل توجهی واترمارک وجود دارد که از نگاه ما پنهان‌ست ولی ابزارهایی مانند SynthID یا ZeroGPT آن‌را آشکار می‌کنند.

https://deepmind.google/technologies/synthid/

مایکروسافت ابزاری به‌نام AutoGen Studio را منتشر کرده که به پژوهش‌گران حوزه‌ی Multi Agent Systems اجازه می‌دهد بدون کدنویسی (فقط با drag-n-drop) یک سامانه‌ی چندعامله مبتنی بر GenAI را به‌عنوان پروتوتایپ و به‌سادگی چند کلیک پیاده‌سازی کنند.

pip install autogenstudio
autogenstudio ui -- port 8081

بلاگ‌پست معرفی:
https://www.microsoft.com/en-us/research/blog/introducing-autogen-studio-a-low-code-interface-for-building-multi-agent-workflows/

گیت‌هاب:
https://github.com/microsoft/autogen/tree/main/samples/apps/autogen-studio

مقاله:
https://arxiv.org/pdf/2408.15247

پارادایم TAG یا Table-augmented Generation توسط پژوهش‌گران دانشگاه برکلی و استنفورد معرفی شده و برای تبدیل کوئری متنی به کد SQL روی دیتابیس استفاده می‌شود.

گیت‌هاب:
https://github.com/TAG-Research/TAG-Bench

مقاله:
https://arxiv.org/pdf/2408.14717v1

«دستیاری درس برنامه سازی پیشرفته»

https://forms.gle/RJZT18X6PfeN6kNAA

اگه در حال طراحی یک AI Agent برای … هستید،
دست نگه دارید!
طراحی Agent تون رو به Agent جدید بچه‌های دانشگاه UBC و آزمایشگاه‌های Vector و CIFAR بسپارید.

https://arxiv.org/pdf/2408.08435

یک مقاله‌ی خوب و کامل برای بازنگری روش‌های GraphRAG

https://arxiv.org/pdf/2408.08921