یادگیری ماشین

مدل o1 که ۴۰ روز پیش از حالت پیش‌نمایش خارج و نسخه‌ی کامل آن ارائه شد، یک ویژگی مهم دارد: مقیاس کردن در زمان استنتاج (inference-time scaling). منظور از این ویژگی چیست؟
همان‌طور که می‌دانیم روند پیشرفت مدل‌های زبانی به سمت مقیاس کردن در فاز آموزش بوده است: استفاده از داده‌های بیشتر و آموزش مدل‌های بزرگ‌تر برای به‌دست آوردن نتایج بهتر. مدل o1 مسیر دیگری را پیموده است: برای بهبود نتایج، به مدل اجازه داده می‌شود که در هنگام تولید خروجی (فاز استنتاج)، فرصت تولید خروجی بیشتر یا حتی تولید خروجی‌های مختلف و انتخاب از بین آنها داشته باشد.
به‌دلیل این ویژگی، مدل o1 برای مسائلی که بین تولید پاسخ و بررسی صحت پاسخ، فاصله وجود دارد (generation-verification gap) مناسب است. منظور، مسائلی است که تولید پاسخ، مشکل‌تر از بررسی صحت پاسخ است. به‌عنوان مثال، برای اثبات یک قضیه، تولید اثبات، مشکل‌تر از بررسی صحت یک اثبات است. ویژگی مقیاس کردن در زمان استنتاج این امکان را برای o1 فراهم می‌کند که با تولید اثبات‌های مختلف و بررسی صحت آنها به سمت اثبات درست حرکت کند.

هوش مصنوعی در جایزه‌ی نوبل شیمی ۲۰۲۴ هم حضور داشت. نیمی از این جایزه به Demis Hassabis و John M. Jumper از دیپ‌مایند بدلیل مدیریت پروژه‌ی آلفافولد اختصاص یافت. این سیستم برای پیش‌بینی ساختار سه‌بُعدی پروتئین‌ها با استفاده از یادگیری ماشین توسعه یافت. نیم دیگر این جایزه به David Baker بدلیل نقش وی در استفاده از تکنیک‌های محاسباتی برای طراحی پروتئین‌های جدید اختصاص داده شد.

https://www.nobelprize.org/prizes/chemistry/2024/press-release/

جایزه‌ی نوبل فیزیک سال ۲۰۲۴ به جفری هینتون و جان هاپفیلد برای اکتشافات و اختراعات بنیادی آنها که امکان یادگیری ماشین را با استفاده از شبکه‌های عصبی مصنوعی ممکن کرد اختصاص یافت. آقای هینتون در سال ۲۰۱۸ هم به همراه دو دانشمند دیگر جایزه‌ی تورینگ (معادل جایزه‌ی نوبل علوم کامپیوتر) را به‌دست آورده بود. ماشین بولتزمن و شبکه‌ی هاپفیلد که از مفاهیم فیزیک برای یادگیری ماشین استفاده می‌کنند، از دلایل اختصاص نوبل فیزیک به این دو دانشمند هستند.

https://www.nobelprize.org/prizes/physics/2024/press-release

دیروز شرکت OpenAI جدیدترین مدل خود را که پیش‌نمایشی از مدل o1 است معرفی کرد. این مدل که قبلا با نام‌های *Q و توت‌فرنگی در رسانه‌ها مطرح شده بود، قدرت استنتاج و استدلال پیشرفته‌تری از مدل‌های قبلی ارائه می‌دهد. البته این فرآیند استدلال باعث کندتر بودن تولید پاسخ شده است. برای بررسی این مدل، یک سوال ساده‌ی استدلالی را از دو مدل ChatGPT o1-preview و ChatGPT 4o پرسیدیم. همانطور که مشاهده می‌کنید مدل جدید برخلاف مدل قبلی توانسته است به این سوال به درستی پاسخ دهد. البته این یک تست ساده برای یک بررسی اولیه است، درحالی‌که ادعا شده است که این مدل برای حل مسائل پیچیده‌ی ریاضی، کدینگ و علوم توانمندی قابل توجهی دارد. بعنوان نمونه، مدل 4o برای مسائل المپیاد ریاضی دقت ۱۳٪ را به‌دست آورده است، درحالی‌که نسل جدید به دقت ۸۳٪ رسیده است.

چهار توصیه برای ماندگاری شغلی در عصر هوش مصنوعی.

Every day, more and more people are becoming concerned about the impact artificial intelligence (AI) will have on their jobs. Here is a four-step suggested strategy for thriving in the age of AI:

1. Embrace. The first step is to acknowledge that AI will continue to have a significant impact on intellectual jobs. Embrace the changes AI brings and learn new skills to stay relevant. Bend with the wind.

2. Collaborate. Work alongside AI, leveraging its strengths to complement your own. Two heads are better than one.

3. Differentiate. If you want to be chosen over AI, you should highlight what sets you apart. For example, while AI can process data faster, your ability to understand nuanced human emotions and create innovative solutions is a unique advantage. Show your true colors.

4. Evolve. Your advantage over AI may not last long. As AI advances, so must you. You need to continually find new ways to excel. Stay ahead of the curve.

https://www.linkedin.com/feed/update/urn:li:share:7229207521587060736/

امروز یکی از دوستان جوان‌تر که به تازگی وارد دنیای گرافیک شده است از دغدغه‌هایش راجع به جایگاه شغلی‌اش در حضور هوش مصنوعی صحبت می‌کرد. از چت‌جی‌پی‌تی پرسیدیم که چه توصیه‌هایی در این رابطه دارد. به نظرم آمد توصیه‌هایش ارزش به‌اشتراک‌گذاری را دارد:

پاسخ چت‌جی‌پی‌تی:

نگرانی شما قابل درک است، اما راه‌های مختلفی وجود دارد که می‌توانید با آن‌ها خود را به عنوان یک گرافیست آماتور برجسته کنید و از رقابت با هوش مصنوعی بهره‌برداری کنید:

یادگیری و به‌روز بودن: همواره در حال یادگیری تکنیک‌ها و ابزارهای جدید باشید. به‌ویژه یادگیری ابزارهای هوش مصنوعی که در طراحی گرافیک مورد استفاده قرار می‌گیرند می‌تواند شما را توانمندتر کند.

تمرکز بر خلاقیت و نوآوری: هوش مصنوعی می‌تواند کارهای تکراری را انجام دهد، اما خلاقیت و نوآوری انسانی منحصر به فرد است. پروژه‌های شخصی خلاق و ابتکاری ایجاد کنید و آنها را در پورتفولیوی خود نمایش دهید.

توسعه مهارت‌های نرم: مهارت‌های ارتباطی، مدیریت پروژه و توانایی درک نیازهای مشتریان از جمله مواردی هستند که می‌توانند شما را از یک هوش مصنوعی متمایز کنند.

شبکه‌سازی: با افراد در صنعت خود ارتباط برقرار کنید. شرکت در همایش‌ها، ورکشاپ‌ها و انجمن‌های آنلاین می‌تواند به شما کمک کند تا به جامعه گرافیست‌ها نزدیک‌تر شوید و از فرصت‌های جدید باخبر شوید.

ارائه خدمات شخصی‌سازی شده: یکی از مزایای کار با یک انسان نسبت به هوش مصنوعی، امکان دریافت خدمات شخصی‌سازی شده است. تلاش کنید تا نیازهای خاص مشتریان خود را درک کنید و طرح‌هایی با توجه به خواسته‌های دقیق آنها ارائه دهید.

ساخت برند شخصی: با حضور فعال در شبکه‌های اجتماعی و ساخت یک برند شخصی قدرتمند، می‌توانید خود را به عنوان یک گرافیست حرفه‌ای معرفی کنید و مخاطبان بیشتری جذب کنید.

آشنایی با هوش مصنوعی: به جای نگرانی از هوش مصنوعی، سعی کنید از آن به نفع خود استفاده کنید. آشنایی با ابزارهای هوش مصنوعی که می‌توانند در فرآیند طراحی به شما کمک کنند، می‌تواند باعث افزایش بهره‌وری شما شود.

پروژه‌های تیمی و مشارکتی: همکاری با دیگر گرافیست‌ها و حرفه‌ای‌ها می‌تواند به شما کمک کند تا تجربه‌های جدید کسب کنید و از تکنیک‌ها و دیدگاه‌های مختلف بهره‌مند شوید.

مستند‌سازی فرآیندها: مراحل طراحی و فرآیند خلاقانه خود را مستند کنید و آنها را با مشتریان به اشتراک بگذارید تا نشان دهید که پشت هر طرح، یک فرآیند دقیق و هدفمند وجود دارد.

با تمرکز بر این راهکارها و تلاش مداوم، می‌توانید نگرانی‌های خود را کاهش دهید و به عنوان یک گرافیست موفق در بازار حضور داشته باشید.

خانم مریم صادقی در یوتیوب بطور منظم اخبار هوش مصنوعی را با بیانی شیوا منتشر می‌کنند:
https://www.youtube.com/watch?v=lebmQPKfdJQ

نسخه ۴۰۵ میلیارد پارامتری مدل Llama 3.1 که دیروز منتشر شد، قوی‌ترین مدل منبع باز موجود است. در این نمودار، عملکرد مدل‌های مختلف منبع باز (سبز رنگ) و منبع بسته (قرمز رنگ) را در بنچ‌مارک MMLU مشاهده می‌کنید. این نمودار نشان می‌دهد که فاصله‌ی بین عملکرد مدل‌های منبع باز و منبع بسته روز به روز کمتر می‌شود. همچنین به نظر می‌رسد (حداقل در این بنچ‌مارک) مدل‌های موجود به اشباع نزدیک می‌شوند.

نوشته‌ی زیر از آیدین نصیری شرق به موضوع "از دست دادن شغل در حضور هوش مصنوعی" می‌پردازد. توصیه‌های مطرح شده را در ادامه خلاصه می‌کنم، ولی خواندن نوشته‌ی اصلی را هم از دست ندهید.

https://www.linkedin.com/pulse/q-ai-taking-my-job-what-should-i-do-aideen-nasirishargh-vcowc/?trackingId=55xKAQj3TEeVkkfh74A%2BCg%3D%3D

۱. در کار خود جزء ۵ درصد یا یک درصد بالا باشید. معمولا اخراج‌ها روی افراد با مهارت‌های پایین‌تر اتفاق می‌افتند.
۲. خودتان را معادل شغلتان تعریف نکنید که درصورت از دست دادن آن، دچار بحران هویت شوید. درعوض، باور کنید که حتی با از دست دادن شغلتان می‌توانید ازطریق مجموعه‌ی مهارت‌هایتان باقی بمانید.
۳. بجای جنگیدن با موج هوش مصنوعی سعی کنید سوار این موج شوید.
۴. بجای داشتن شغل (job) یک حرفه (career) داشته باشید. تفاوت اینها در این است که حرفه مثل یک نردبان است که می‌توانید از آن بالا بروید. بنابراین، ترکیب مهارت‌هایتان با هوش مصنوعی می‌توان بعنوان یک فرصت رشد در حرفه‌تان دیده شود.
۵. بجای جنگ‌جو که از شمشیر استفاده می‌کند آهنگری باشید که برای بقیه شمشیر می‌سازید. ساخت محصولات مبتنی بر APIهای هوش مصنوعی در این دسته قرار می‌گیرند.
۶. راه میان‌بری وجود ندارد. اگر این عصر را بعنوان یک مرحله از تکامل بدانیم، شایسته‌ترین‌ها باقی می‌مانند. برای شایسته بودن قرصی وجود ندارد که یک شبه ما را شایسته کند. باید در یادگیری و تطبیق صبور باشیم.
۷. ذهنیت موج‌سوار داشته باشید (تا حدی شبیه توصیه‌ی سوم). بجای وحشت از موج، از سوار شدن بر موج، سرعت جابجایی با موج و دیدن منظره‌های جدید لذت ببرید.

مدل‌های زبانی بزرگ را می‌توان به‌صورت عامل‌های حل مسئله (problem-solving agents) دید. به‌عنوان مثال، برای حل مسئله‌ی خلاصه‌سازی متن، چت‌جی‌پی‌تی می‌تواند به‌عنوان یک عامل خلاصه‌ساز به ما کمک کند. برای حل برخی مسائل پیچیده‌تر نیازمند چند عامل هستیم. به‌عنوان نمونه، در همان مسئله‌ی خلاصه‌سازی می‌توان خروجی عامل خلاصه‌ساز را به یک عامل ارزیاب داد که بررسی کند که اطلاعات کلیدی متن اصلی در متن خلاصه شده وجود داشته باشد و اطلاعات زائد در آن نباشد. عامل ارزیاب نتیجه‌ی بررسی خود را به عامل اول داده و آن عامل سعی می‌کند براساس این نظرات، خلاصه‌ی بهتری تولید کند. این تعامل می‌تواند چند بار ادامه پیدا کند.
کتابخانه‌ی autogen مایکروسافت، کار طراحی این سیستم‌های چندعاملی را ساده کرده است. کورس کوتاه زیر توسط توسعه‌دهندگان این کتابخانه ارائه شده و به این موضوع می‌پردازد. به‌عنوان یک نمونه‌ی جالب، در بخشی از کورس، یک بازی شطرنج بین دو عامل هوشمند انجام می‌شود که در حین بازی با هم تعامل زبانی هم دارند.
https://learn.deeplearning.ai/courses/ai-agentic-design-patterns-with-autogen/lesson/1/introduction

مقایسه‌ی تجربه‌ی صحبت کردن با pi.ai و ChatGPT-4o.

در این پست، تجربه‌ی کار با دو سرویسی که دقت بسیار بالایی برای تشخیص صحبت دارند (پای و چت‌جی‌پی‌تی) ارائه می‌شود. البته این موارد به نسخه‌ی فعلی چت‌جی‌پی‌تی مربوط است و در آینده، با توجه به دموی اخیرا ارائه شده، امکانات بیشتری از جمله تشخیص احساس یا امکان قطع کردن صحبت در آن تعبیه خواهد شد.

- دسترسی: برخلاف چت‌جی‌پی‌تی که به آی‌پی‌های ایران سرویس نمی‌دهد، پای برای کاربران ایرانی هم در دسترس است.
- زبان فارسی: پای فعلا از زبان فارسی پشتیبانی نمی‌کند، ولی چت‌جی‌پی‌تی با زبان فارسی هم کار می‌کند. البته لحن آن هنوز برای زبان فارسی دچار ایراداتی است، ولی فهم مناسبی از زبان فارسی دارد.
- راحتی ارتباط: وقتی نوبت شما برای صحبت با پای می‌شود، محدودیت زمانی دارید و اگر صحبت شما طولانی شود خودش قطع می‌کند، ولی من این محدودیت را برای چت‌جی‌پی‌تی مشاهده نکرده‌ام. همچنین، اگر صحبت شما تمام شود، در سرویس پای باید یک دکمه را بزنید، ولی چت‌جی‌پی‌تی خودش اتمام صحبت شما را تشخیص می‌دهد. بنابراین، راحتی ارتباط با چت‌جی‌پی‌تی بیشتر است.
- طول صحبت: تجربه‌ی من نشان می‌دهد که توضیحات پای گاهی بیش از حد است ولی چت‌جی‌پی‌تی مختصرتر صحبت می‌کند. به‌عبارت دیگر، در کار با چت‌جی‌پی‌تی کمتر احساس می‌‌کنیم که می‌خواهیم حرفش را قطع کنیم.

https://www.youtube.com/watch?v=Mf4J5mnHROc

https://youtu.be/4ybt1AzMNlQ

مدل GPT4o که پیشرفته‌ترین مدل توسعه یافته توسط OpenAI است و دیروز منتشر شده است، در تشخیص و تحلیل محتوای متنی فارسی در تصاویر، عملکرد خیره‌کننده‌ای از خود نشان می‌دهد.
در این مثال، تصویر آخرین پست کانال به این مدل داده شده است. توجه کنید که نه تنها محتوای متنی را به درستی استخراج کرده، تعداد لایک‌ها و دیس‌لایک‌ها و حتی نوع شبکه‌ی اجتماعی را هم به درستی تشخیص داده است.

سلام دوستان. با توجه به مشغله‌های پیش آمده، انتشار مجموعه‌ی پردازش زبان طبیعی با ترنسفورمر فعلا متوقف می‌شود. امیدوارم در آینده امکان ادامه دادن این مجموعه فراهم شود.

این مقاله که امروز در رسانه‌هایی نظیر گاردین، تلگراف، تایمز و سان به آن پرداخته شد، حاصل تلاش گروهی از محققان حوزه‌ی سرطان است که من نیز افتخار همکاری با آنها را داشتم. در این پژوهش، با به‌کارگیری تکنیک‌های یادگیری ماشین، حدود ۳۰۰۰ پروتئین در نمونه‌های خون افراد مبتلا به ۱۸ نوع سرطان مختلف مورد بررسی قرار گرفت. در نهایت ۱۰ پروتئین برای تشخیص سرطان از حالت طبیعی و ۱۵۰ پروتئین برای تعیین نوع سرطان به تفکیک جنسیت انتخاب شدند. این یافته‌ها می‌تواند در غربالگری و تشخیص زودهنگام سرطان مؤثر باشد.

https://youtu.be/e9oml8N2RU8

در ویدئوی پنجم به سراغ مسئله‌ی معروف و مهم طبقه‌بندی متن می‌رویم. ابتدا مقدمه‌ای راجع به این مسئله ارائه می‌شود. سپس اشاره‌ای به کتابخانه‌ی datasets که برای کار با داده‌ها توسط هاگینگ‌فیس توسعه داده شده است می‌کنیم. نهایتا از این کتابخانه برای خواندن داده از هاب هاگینگ‌فیس که منبعی از انواع داده‌ها و مدل‌هاست استفاده می‌کنیم. در ویدئوهای بعدی، این بحث را ادامه خواهیم داد. 

https://youtu.be/9JR2B2hp5mU

در ویدئوی قبل با پایپ‌لاین‌ها آشنا شده و از آنها برای تحلیل احساس متون ورودی استفاده کردیم. در ویدئوی چهارم با پنج پایپ‌لاین دیگر برای وظایف زیر آشنا می‌شویم:
Named Entity Recognition, Question Answering, Summarization, Translation, and Text Generation.

https://youtu.be/LMcFRDlxLzU

نوبت به کدنویسی در کتابخانه‌ی transformers رسید. در ویدئوی سوم از دوره‌ی پردازش زبان طبیعی با ترنسفورمر، با پایپ‌لاین‌ها آشنا شده و خواهیم دید که با دو خط کد می‌توانیم یک مدل آموزش‌داده‌شده را بارگذاری کرده و از آن برای تحلیل احساس جملات ورودی استفاده نماییم. در این حین، گریزی هم به مدل‌های BERT و DistilBERT خواهیم زد.
https://youtu.be/pa3b44HWxso

در این ویدئو که دومین جلسه از دوره‌ی پردازش زبان‌های طبیعی با ترنسفورمر است، بطور سریع و درحد آشنایی با مفاهیم، مروری بر معماری شبکه‌های بازگشتی، مدل کدگذار-کدگشا، مکانیزم توجه، معماری ترنسفورمر و موضوع یادگیری انتقالی می‌کنیم. در ویدئوی بعد،‌ شروع به کدنویسی خواهیم کرد.
https://youtu.be/hn7G0F_0bzM