مهندسی و علم داده

ویژگی‌های ACID چیست؟
ویژگی‌های ACID اساس سیستم‌های پردازش تراکنش قابل اعتماد را تشکیل می‌دهند و از یکپارچگی و سازگاری داده‌ها اطمینان حاصل می‌کنند. در اینجا توضیحات واضحی ارائه شده است:
1- اتمیک بودن (Atomicity)
تراکنش به عنوان یک واحد غیرقابل تقسیم در نظر گرفته می‌شود: یا همه مراحل موفقیت‌آمیز هستند یا هیچ‌کدام اعمال نمی‌شوند. اگر خطایی رخ دهد، سیستم تمام تغییرات را به حالت اولیه برمی‌گرداند و پایگاه داده بدون تغییر باقی می‌ماند.
-2-سازگاری (Consistency)
تراکنش‌ها اطمینان حاصل می‌کنند که قوانین و محدودیت‌های یکپارچگی داده‌ها در تمام اوقات حفظ شوند. به عنوان مثال، یک سیستم بانکی از برداشت‌هایی که منجر به موجودی منفی می‌شوند، جلوگیری می‌کند.
-3- جداسازی (Isolation)
هر تراکنش به‌طور مستقل اجرا می‌شود، حتی زمانی که چندین تراکنش به‌طور همزمان رخ می‌دهند. این امر از بروز تضادها جلوگیری می‌کند، مانند دو عملیاتی که سعی دارند همزمان یک حساب را تغییر دهند.
-4- دوام (Durability)
پس از تأیید، تغییرات دائمی هستند و حتی در صورت بروز خطا در سیستم، باقی می‌مانند.

@BIMining

سخنرانی در سمینار کاربرد و چالش های هوش مصنوعی در بازارهای مالی و بانکی
-ارائه آخرین اطلاعات از کاربردهای هوش مصنوعی و چالشهای آن در صنعت بانکی و مالی ایران و دنیا
- ارائه تجربه ۱۵ ساله در بیش از ۵۷ پروژه بزرگ در بانکهای ایران

@BIMining

عملیات اصلی – بهینه‌سازی ساخت و شکل‌دهی مؤثر در پایتون

-دستور append(item)— افزودن یک عنصر به انتهای لیست.
-د remove(item) — حذف اولین مورد از یک مقدار خاص.

-د insert(index, item) — قرار دادن یک عنصر در موقعیت خاصی در لیست. → زمانی که ترتیب عناصر حیاتی است، کاربرد دارد.

-دpop([index]) — حذف و بازگشت یک عنصر با استفاده از اندیس آن. → معمولاً با append() در الگوریتم‌های مبتنی بر پشته همراه است.

-د count(item) — تعداد دفعاتی که یک مقدار در لیست ظاهر می‌شود را برمی‌گرداند.

-دindex(item[, start[, end]]) — اولین موقعیت یک مقدار را پیدا می‌کند. → ضروری برای پیاده‌سازی جستجو یا منطق اعتبارسنجی.

-د sort(key=None, reverse=False)— مرتب‌سازی عناصر در محل، با قوانین سفارشی اختیاری.

-د reverse() — ترتیب لیست را معکوس می‌کند. → معمولاً در مکانیزم‌های لغو یا ویژگی‌های بازگشت استفاده می‌شود.

-د copy() — یک کپی سطحی از لیست ایجاد می‌کند. → از تغییرات ناخواسته هنگام انتقال لیست‌ها بین توابع جلوگیری می‌کند.

-د clear() — لیست را به‌طور کامل خالی می‌کند. → ایده‌آل برای بازنشانی ذخیره‌سازی موقت یا
ساختارهای کش.

5 تکنیک برای بهینه‌سازی LLMها:
1) LoRA
- دو ماتریس کم‌رتبه، A و B، را به همراه ماتریس‌های وزن W که شامل پارامترهای قابل آموزش هستند، بروزرسانی کنید.
2) LoRA-FA
- در حالی که LoRA به طور قابل توجهی تعداد کل پارامترهای قابل آموزش را کاهش می‌دهد، هنوز هم نیاز به حافظه فعال بالا برای به‌روزرسانی وزن‌های کم‌رتبه دارد.
- LoRA-FA (FA مخفف Frozen-A) ماتریس A را قفل می‌کند و فقط ماتریس B را به‌روزرسانی می‌کند.

3) VeRA
- در LoRA، هر لایه یک جفت متفاوت از ماتریس‌های کم‌رتبه A و B دارد و هر دو ماتریس آموزش داده می‌شوند.
- اما در VeRA، ماتریس‌های A و B قفل شده، تصادفی و در تمام لایه‌های مدل مشترک هستند.
4) Delta-LoRA
- در اینجا، علاوه بر آموزش ماتریس‌های کم‌رتبه، ماتریس W نیز تنظیم می‌شود اما نه به روش سنتی.
- بلکه تفاوت (یا دلتا) بین حاصل‌ضرب ماتریس‌های کم‌رتبه A و B در دو مرحله آموزشی متوالی به W اضافه می‌شود.
5) LoRA+
- در LoRA، هر دو ماتریس A و B با همان نرخ یادگیری به‌روزرسانی می‌شوند.
- نویسندگان دریافتند که تنظیم نرخ یادگیری بالاتر برای ماتریس B منجر به همگرایی بهینه‌تر می‌شود.

همایش کاربرد هوش مصنوعی در بازنگری هوشمندانه و روش های نوین فرآیندهای اقتصادی

@BIMining

✅در اینجا مراحل ساده و مستقیم برای کار با Git را بررسی می‌کنیم:
1. وضعیت اولیه
- شما یک مخزن (Repository) از راه دور بر روی یک سرور دارید که شامل فایل README.md است.
- در ماشین محلی شما هنوز هیچ فایل پروژه‌ای وجود ندارد.
2. دستور git clone <repository>
- با این دستور، کل مخزن از راه دورشامل فایل (README.md) به ماشین محلی شما کپی می‌شود.
- یک مخزن محلی نیز ایجاد می‌شود که به مخزن راه دور متصل است.
3. ایجاد یک فایل جدید
- شما یک فایل جدید به نام newfile.txt در دایرکتوری کاری محلی خود ایجاد می‌کنید.
- در این مرحله، این فایل توسط Git پیگیری نمی‌شود (untracked).
4. دستور git add .
- با اجرای این دستور، تمامی تغییرات (شامل فایل جدید) در دایرکتوری کاری آماده می‌شوند.
- این تغییرات برای درج در کمیت بعدی (commit) آماده می‌شوند.
5. دستور git commit -m "<message>"
- این دستور یک عکس‌برداری از تغییرات آماده شده می‌گیرد.
- یک کمیت جدید در مخزن محلی شما ایجاد می‌شود که شامل تغییرات و پیام کمیت شما است.
6. دستور git push
- با استفاده از این دستور، تمامی کمیت‌های محلی شما به مخزن راه دور بارگذاری می‌شوند.
@BIMining

✅ برگزاری وبینار معماری کلاستر کلیک هاوس در سازمانهای بزرگ

-تحول عظیم در سرعت پردازش و محاسبات توزیع شده و موازی داده های ساخت یافته و نیمه ساخت یافته
- ارائه تجربه موفق در پیاده سازی این معماری در یکی از بانکهای بزرگ کشور


جزئیات و ثبت نام رایگان:

https://evnd.co/Gqr6k


@BIMining

✅هایپرپارامترهای یادگیری ماشین
هایپرپارامترها پارامترهایی در مدل‌های یادگیری ماشین هستند که از داده‌های آموزشی یاد گرفته نمی‌شوند و قبل از شروع فرآیند یادگیری تنظیم می‌شوند. این پارامترها رفتار کلی، ساختار و عملکرد الگوریتم یادگیری ماشین را کنترل می‌کنند
- رگرسیون خطی و لجستیک: کنترل پیچیدگی با منظم‌سازی (مجازات L1/L2)، انتخاب حل‌کننده‌های بهینه‌سازی و تنظیم وزن‌های کلاس.
- بیز ساده: استفاده از هموارسازی (آلفا) ، کنترل پیش‌فرض‌ها و باینری کردن داده‌ها.
- درخت تصمیم و جنگل تصادفی: مدیریت رشد درخت با معیار، عمق حداکثر و آستانه‌های تقسیم. جنگل تصادفی پارامترهای خاص خود را اضافه می‌کند.
- درختان تقویت‌شده گرادیان: ترکیب پارامترهای خاص درخت با نرخ یادگیری.
- تحلیل مولفه‌های اصلی (PCA): تعریف تعداد مولفه‌ها و انتخاب روش‌های محاسباتی.
-نزدیک‌ترین همسایگان (KNN): K- تنظیم تعداد همسایگان و تأثیر آن‌ها بر پیش‌بینی‌ها.
- اK-Meansتعیین تعداد خوشه‌ها، روش اولیه‌سازی و محدودیت‌های تکرار.
- شبکه‌های عصبی متراکم: تنظیم دقیق با اندازه لایه‌های پنهان، توابع فعال‌سازی، Dropout برای منظم‌سازی و تنظیمات خاص آموزش.
@BIMining

✅ تفاوت APIو SDK
روش API ها (رابط‌های برنامه‌نویسی کاربردی) و SDKها (مجموعه‌های توسعه نرم‌افزار) ابزارهای ضروری برای توسعه نرم‌افزار هستند، اما اهداف متفاوتی دارند:
شرح 𝗔𝗣𝗜
تعریف :API مجموعه‌ای از قوانین و پروتکل‌هاست که به برنامه‌های نرم‌افزاری و خدمات مختلف اجازه می‌دهد با یکدیگر ارتباط برقرار کرده و داده‌ها را به اشتراک بگذارند.
1- رابط استانداردی برای تعامل اجزا تعریف می‌کند.
2- امکان یکپارچه‌سازی بین نرم‌افزارهای نوشته‌شده در زبان‌ها و چارچوب‌های مختلف را فراهم می‌آورد.
3-معمولاً نقاط انتهایی برای درخواست و ارائه داده‌ها فراهم می‌کند.

شرح 𝗦𝗗𝗞
تعریف :SDK یک بسته جامع از ابزارها، کتابخانه‌ها، کد نمونه و مستندات است که ساخت برنامه‌ها را بر روی یک پلتفرم خاص ساده‌تر می‌کند.
1- انتزاعات سطح بالاتری را برای تسهیل توسعه ارائه می‌دهد.
2- برای یکپارچگی با پلتفرم زیرین طراحی شده است.
3- به قابلیت‌ها و ویژگی‌های خاص پلتفرم دسترسی می‌دهد که پیاده‌سازی آن‌ها از صفر ممکن است پیچیده باشد.

@BIMining

✅با افزایش مدل‌های زبانی بزرگ (LLMs)، فاین‌تیونینگ برای وظایف خاص بیش از پیش اهمیت یافته است :
روش LoRA (Low-Rank Adaptation) :با افزودن ماتریس‌های تطبیق کم‌رتبه، تعداد پارامترهای قابل آموزش را کاهش می‌دهد و فاین‌تیونینگ را سریع‌تر و بهینه‌تر می‌کند.
روش LoRA-FA : (LoRA with Feature Augmentation) این روش LoRA را با تقویت ویژگی‌های خارجی ترکیب می‌کند و ویژگی‌های خاص وظیفه را به مدل اضافه می‌کند تا عملکرد را با حداقل بار اضافی افزایش دهد.
روش Vera: (Virtual Embedding Regularization Adaptation) Vera به تنظیم نمایه‌های مدل در حین فاین‌تیونینگ کمک می‌کند و از بیش‌برازش جلوگیری کرده و تعمیم‌پذیری را در حوزه‌های مختلف بهبود می‌بخشد.
روش Delta LoRA :این روش به‌روزرسانی فقط لایه‌های مهم‌تر را هدف قرار می‌دهد و هزینه‌های محاسباتی را کاهش می‌دهد در حالی که اثربخشی فاین‌تیونینگ حفظ می‌شود.
روش : Prefix Tuning به‌جای تغییر وزن‌های مدل، این تکنیک توکن‌های پیشوند خاص وظیفه را یاد می‌گیرد که خروجی مدل را هدایت می‌کند و امکان سازگاری مؤثر با وظایف جدید را فراهم می‌آورد.

@BIMining

مقایسه روش‌های HTTP GET و POST در ۱۰ ثانیه:

فراخوانیGET و POST از روش‌های پرکاربرد پروتکل HTTP هستند که هر یک اهداف خاصی دارند.GET عمدتاً برای دریافت داده‌ها از سرور استفاده می‌شود. در این روش، پارامترها به صورت رشته‌های کوئری در URL گنجانده می‌شوند، که برای بازیابی داده بدون تأثیر بر وضعیت سرور مناسب است.

ویژگی‌هایGET
۱. داده‌های قابل مشاهده: پارامترها در URL قابل مشاهده‌اند و برای اطلاعات حساس مناسب نیستند.
۲. ایدمپوتنت: تکرار درخواست GET وضعیت سرور را تغییر نمی‌دهد.
۳. قابلیت کش: مرورگرها می‌توانند درخواست‌های GET را کش کنند.
۴. محدودیت طول: URLها محدودیت اندازه دارند.POST برای ارسال داده به سرور طراحی شده و داده‌ها در بدنه درخواست قرار دارند.

ویژگی‌های POST
۱. داده‌های پنهان: پارامترها در بدنه درخواست قرار دارند و امنیت بیشتری فراهم می‌کنند.
۲. غیر ایدمپوتنت: هر درخواست POST ممکن است منابع را ایجاد یا تغییر دهد.
۳. غیر قابل کش به طور پیش‌فرض: پاسخ‌های POST نیاز به پیکربندی صریح دارند.
۴. بارهای انعطاف‌پذیر: POST از بارهای بزرگ‌تر و انواع محتوای مختلف مانند JSON و XML پشتیبانی می‌کند.
@BIMining

✅ ما دراینجا به بررسی عمیق نحوه مدیریت میلیون‌ها پیام در ثانیه توسط Kafka می پردازیم. این معماری شامل اجزای اصلی ذیل است:
1. لایه شبکه
پذیرنده Threade: مدیریت اتصالات ورودی
پردازشگر Threade: مدیریت درخواست‌های مشتری به‌طور مؤثر
کانال درخواست: مسیر ارتباطی مرکزی

2. لایه API
بخش Threade API : پردازش عملیات مشتری
درخواست Purgatory: مدیریت درخواست‌های معلق
اطلاعات رپلیکیشن: پیگیری سازگاری داده‌ها

3.زیرسیستم لاگ
لاگ‌های پارتیشن: محل واقعی داده‌ها
مدیر لاگ: هماهنگی عملیات لاگ
ادغام سیستم فایل: تضمین دوام

4. زیرسیستم رپلیکیشن:
مدیر رپلیکا: هماهنگی کپی‌های داده
رپلیکیشن Threade: مدیریت همگام‌سازی داده
کنترل‌کننده رپلیکیشن: حفظ سازگاری

@BIMining

حضور دکتر عالیشاهی در برنامه پرسشگر شبکه آموزش .
شروع برنامه ساعت ۱۰ شب پخش زنده

لینک برنامه ضبط شده:
https://telewebion.com/episode/0xff9b5bc

✅درک ساده‌ی ETL، ELT و EtLT
فرایندهای ETL، ELT و EtLT برای جمع‌آوری، پردازش و ذخیره‌سازی داده‌ها هستند. این روش‌ها برای آماده‌سازی داده‌ها برای تحلیل و تصمیم‌گیری استفاده می‌شوند.

روش ETL (Extract, Transform, Load) در این روش، ابتدا داده‌ها از منابع مختلف استخراج می‌شوند، سپس تبدیل شده و در نهایت به یک انبار داده بارگذاری می‌شوند. به عبارت ساده، داده‌ها قبل از ذخیره‌سازی پردازش کامل می‌شوند.
روش ELT (Extract, Load, Transform) برعکس ETL، در این روش داده‌ها ابتدا به صورت خام به انبار داده منتقل شده و سپس در آنجا پردازش می‌شوند. این روش انعطاف‌پذیری بیشتری برای تغییرات آینده دارد.
روشEtLT (Extract, (small transform), Load, Transform) این روش ترکیبی از ETL و ELT است. بخشی از پردازش داده‌ها قبل از بارگذاری و بخشی دیگر بعد از آن انجام می‌شود.

@BIMining

✅شش سبک معماری API و زمان استفاده از هر کدام:
1.SOAP مناسب برای برنامه‌های سازمانی که به پروتکل استاندارد و امن نیاز دارند. ویژگی‌های قوی امنیتی و نوع‌دهی آن را برای محیط‌های پیچیده و تنظیم‌شده ایده‌آل می‌کند.
2.RESTful بر سادگی و مقیاس‌پذیری تمرکز دارد و برای خدمات وب، به ویژه برنامه‌های عمومی، مناسب است. طراحی بدون حالت و مبتنی بر منبع آن، ارتباط مؤثری بین مشتری و سرور امکان‌پذیر می‌سازد.
3.GraphQLبهترین گزینه برای سناریوهایی که نیاز به بازیابی داده‌های انعطاف‌پذیر دارند. مشتریان می‌توانند داده‌های دقیق مورد نیاز خود را مشخص کنند و از بارگیری بیش از حد یا کم‌تر از حد جلوگیری کنند.
4.gRPCبرای ارتباط با عملکرد بالا و تأخیر کم طراحی شده است و معمولاً در معماری‌های میکروسرویس‌ها استفاده می‌شود. این پروتکل از سریال‌سازی مؤثر و استریم دوطرفه پشتیبانی می‌کند.
5.WebSockets برای ارتباطات بلادرنگ و دوطرفه در برنامه‌هایی مانند چت و بازی‌های آنلاین عالی است. اتصالات پایدار به‌روزرسانی‌های فوری داده‌ها را ممکن می‌سازد.
6.Webhooks در سیستم‌های مبتنی بر رویداد که برای اعلان‌ها و اقدامات خودکار ایده‌آل است.


@BIMining

لینک سخنرانی با موضوع "کاربرد هوش مصنوعی در صنعت بانکی ایران" در دانشگاه تربیت مدرس.
بهمراه فایل ارائه.
امیدوارم مفید باشه.

https://vclass4.modares.ac.ir/playback/presentation/2.3/4ce64d2c1848a76c81bdad8e54c630dda276cf6f-1728380537414




@BIMining

سخنرانی اینجانب در دانشگاه تربیت مدرس با موضوع کاربرد هوش مصنوعی در صنعت بانکی ایران
زمان: سه شنبه مورخ 1403/07/17
ساعت ۱۳-۱۵
لینک مجازی :https://vclass4.modares.ac.ir/rooms/xor-jsf-qhf-gh0/join
@BIMining

بهترین ابزارهای Data Science بدون کدنویسی:
✍️ابزار Gigasheet:
- ابزاری بدون کد مبتنی بر مرورگر برای تجزیه و تحلیل داده‌ها در مقیاس بزرگ.
- از هوش مصنوعی برای انجام تجزیه و تحلیل داده‌ها استفاده می‌کند.
- شبیه ترکیبی از Excel و Pandas بدون محدودیت‌های مقیاس.
- تجزیه و تحلیل تا ۱ میلیارد رکورد
✍️ابزار Mito:
- ایجاد یک رابط صفحه‌گسترده در Jupyter Notebook.
- از هوش مصنوعی Mito برای انجام تجزیه و تحلیل داده‌ها استفاده می‌کند.
- به‌طور خودکار کد پایتون برای هر تجزیه و تحلیل تولید می‌کند.
✍️ابزار PivotTableJS
- ایجاد جداول محوری، تجمیع‌ها و نمودارها
✍️ ابزار Drawdata
- ایجاد هر مجموعه داده پراکنده ۲ بعدی با کشیدن ماوس.
✍️ابزار PyGWalker
- تجزیه و تحلیل یک DataFrame همانند Tableau.
✍️ابزار Visual Python
- تولیدکننده کد پایتون مبتنی بر GUI.
✍️ ابزار Tensorflow Playgroun
- تغییر داده‌ها، معماری مدل، هایپرپارامترها و غیره با کلیک بر روی دکمه‌ها.
✍️ابزار ydata-profilingا
- اطلاعاتی درباره مقادیر گمشده، آمار داده‌ها، همبستگی، تعاملات داده را پوشش می‌دهد.
@BIMining

مقایسه دو روش پردازش داده، یعنی "پردازش دسته‌ای" (Batch Processing) و "پردازش جریانی" (Stream Processing) :

1. جمع‌آوری داده‌ها:
• پردازش دسته‌ای: داده‌ها را در طول زمان جمع‌آوری می‌کند.
• پردازش جریانی: داده‌ها را به محض ورود پردازش می‌کند.
2. مدیریت داده‌ها:
• پردازش دسته‌ای: به پردازش دسته‌های بزرگ داده می‌پردازد.
• پردازش جریانی: رکوردهای فردی یا میکرو دسته‌ها را مدیریت می‌کند.
3. پردازش داده:
• پردازش دسته‌ای: بر روی تمامی یا اکثر داده‌ها پردازش انجام می‌دهد.
• پردازش جریانی: بر روی داده‌ها در یک پنجره متحرک یا داده‌های اخیر پردازش می‌کند.
4. عملکرد:
• پردازش دسته‌ای: تأخیر بین دقیقه تا ساعت دارد.
• پردازش جریانی: تأخیر بین ثانیه تا میلی‌ثانیه دارد.
5. هدف:
• پردازش دسته‌ای: برای حجم‌های بزرگ داده که زمان حساس نیستند، طراحی شده است.
• پردازش جریانی: برای داده‌های حساس به زمان که نیاز به نتایج فوری دارند، استفاده می‌شود.


@BIMining

کاربرد کتابخانه های پایتون


@BIMining

روند توسعه و تکامل اکوسیستم های کلان داده از 20 سال پیش تاکنون در یک نگاه

@BIMining

✅استخدام مهندس داده با شرایط ذیل در یک شرکت معتبر بانکی با شرایط پرداخت حقوق و مزایای مناسب و عالی :

@BIMining

1- مسلط به ابزار دیتابیس Click House
2-آشنایی با ابزار Apache Redis
3-آشنا با اکوسیستم های بیگ دیتا و NO SQL مانند Hadoop و Hive و SPARK SQL

✍️حداقل داشتن مدرک کارشناسی در رشته مهندسی کامپیوتر،علوم کامپیوتر یا مهندسی صنایع و رشته های مرتبط
✍️درصورت تمایل به همکاری رزومه خود را به ایمیل ذیل ارسال نمائید:
[email protected]

مقایسه Data Warehouse و Data Lake و Date lakehouse بصورت شماتیک

@BIMining

رونمایی از پایگاه داده Oracle 23 AI :
✍️یکی از مهمترین ویژگی که آقای لری الیسون مدیرعامل کمپانی اوراکل در مورد این پایگاه داده جدید به آن اشاره کرد جستجوی برداری هوش مصنوعی (AI Vector Search) است که در این پایگاه داده رونمایی شده است این قابلیت به شما امکان می‌دهد تا با استفاده از الگوهای مشابه بجای کلیدواژه‌های دقیق، به داده‌ها دسترسی پیدا کنید. این امر می‌تواند برای یافتن روابط پنهان در داده‌ها و تجزیه و تحلیل‌های پیچیده‌تر مفید باشد.
در این روش، به جای اینکه به دنبال تطابق کلمات کلیدی باشید، می‌توانید به دنبال الگوهای مشابه در بردارها باشید. این امر می‌تواند برای یافتن نتایج مرتبط‌تر، به خصوص زمانی که به دنبال مفاهیم پیچیده یا ظریف هستید، مفید باشد.
✅ کاربردها :
✍️جستجوی معنایی: یافتن اسناد یا وب‌سایت‌هایی که با یک موضوع یا ایده خاص مرتبط هستند، حتی اگر کلمات کلیدی دقیقی را در عنوان یا محتوای خود نداشته باشند.
✍️توصیه محتوا: پیشنهاد فیلم‌ها، موسیقی، کتاب‌ها یا محصولات دیگر بر اساس علایق کاربر.
✍️تجزیه و تحلیل احساسات: تعیین اینکه یک متن یا سخنرانی چه احساسی را (مثبت، منفی، خنثی) منتقل می‌کند.
@BIMining

معرفی چند #افزونه #هوش_مصنوعی در گوگل کروم

1. Gemini for Google
🔗 لینک : https://lnkd.in/dvjvzJkm
معرفی افزونه Gemini for Google:
این افزونه‌ی باحال، پاسخ‌های Gemini (هوش مصنوعی خفن گوگل) رو در کنار نتایج موتورهای جستجو مثل گوگل نمایش میده.

2. Sidebar AI(Google Gemini/Copilot/ChatGPT)
🔗 لینک : https://lnkd.in/dUbtP_NA
معرفی افزونه Sidebar AI:
گشت و گذار توی اینترنت با هوش مصنوعی جذاب‌تر کن! با یه کلیک به هوش مصنوعی جمینای، چت‌ جی پی تی و بقیه‌ی هوش مصنوعی های باحال‌‌ تو نوار کناری کروم دسترسی داشته باش و خیلی راحت تو همون صفحه ازشون کمک بگیر!

3. ChatGPT Sidebar & GPT-4 Vision Gemini
🔗 لینک : https://lnkd.in/dTcUkD4v
با کمک این افزونه در هر جای وب، پرواز کنید! ✈️
معرفی افزونه ChatGPT Sidebar:
فرض کن در حال خواندن یک مقاله هستی و ناگهان سوالی به ذهنتون خطور می‌کند؛ یا در حال نوشتن یک ایمیل مهم هستید و به دنبال کلمات مناسب می‌گردید.
ChatGPT Sidebar اینجاست تا به شما کمک کنه!


@BIMining

5 کاربرد خیلی مهم Apache Kafka :
آپاچی کافکا یک پلت فرم استریم توزیع شده منبع باز است که توان عملیاتی بالا، مقیاس پذیری، تحمل خطا و دوام آن را برای برنامه های داده بلادرنگ ایده آل می کند.
𝗗𝗮𝘁𝗮 𝘀𝘁𝗿𝗲𝗮𝗺𝗶𝗻𝗴
پردازش و تجزیه و تحلیل سریع داده ها را در حین تولید امکان پذیر می کند.

𝗠𝗲𝘀𝘀𝗮𝗴𝗲 𝗾𝘂𝗲𝘂𝗶𝗻𝗴
کافکا توزیع پیام کارآمد را بدون گلوگاه تسهیل می کند. این امر کافکا را برای معماری‌های میکروسرویس‌های پیچیده ایده‌آل می‌کند، که از پردازش داده‌های با توان بالا و تحمل خطا پشتیبانی می‌کند.
𝗟𝗼𝗴 𝗮𝗻𝗮𝗹𝘆𝘀𝗶𝘀
پردازش متمرکز گزارش‌ها از چندین منبع با استفاده از کافکا برای تجمیع گزارش‌ها و تجزیه و تحلیل بلادرنگ امکان‌پذیر است.

𝗖𝗵𝗮𝗻𝗴𝗲 𝗱𝗮𝘁𝗮 𝗰𝗮𝗽𝘁𝘂𝗿
معماری‌های داده‌های مدرن اغلب به CDC از طریق ابزاری مانند کافکا نیاز دارند، زیرا سیستم را همگام نگه می‌دارد و عملکرد منبع را حفظ می‌کند.
سازگاری را تضمین می کند و برنامه های کاربردی رویداد محور را با داده های فعلی تسهیل می کند.
𝗘𝘃𝗲𝗻𝘁 𝘀𝗼𝘂𝗿𝗰𝗶𝗻𝗴
کافکا قابلیت حسابرسی، پخش مجدد رویدادها و سادگی ساخت سیستم پیچیده را دارد.
@BIMining

✅ بهترین ابزارهای هوش مصنوعی 2024

@BIMining

✅مراحل برای Fine-tune کردن یک مدل زبانی بزرگ مانند Gemma، GPT-3 یا LaMDA :

✍️مرحله 1: انتخاب مدل زبانی مناسب:
-نیازهای خود را مشخص کنید: وظیفه ای که می خواهید مدل انجام دهد را مشخص کنید.
-مدل های مختلف را بررسی کنید: مدل های مختلفی مانند Gemma، GPT-3 و LaMDA وجود دارند که هر کدام مزایا و معایب خود را دارند.
-منابع خود را در نظر بگیرید: مدل های بزرگ زبانی به منابع محاسباتی زیادی نیاز دارند.

✍️مرحله 2: آماده سازی داده:
-جمع آوری داده: داده های مرتبط با وظیفه مورد نظر خود را جمع آوری کنید.
-پاکسازی داده: داده ها را از نظر نویز و خطاها پاکسازی کنید.
-برچسب گذاری داده: داده ها را بر اساس وظیفه مورد نظر خود برچسب گذاری کنید.

✍️مرحله 3: تنظیم مدل:
-انتخاب پارامترهای تنظیم: پارامترهایی مانند نرخ یادگیری، تعداد epoch ها و اندازه دسته را انتخاب کنید.
-انتخاب تابع از دست دادن: تابعی را برای ارزیابی عملکرد مدل انتخاب کنید.
-انتخاب الگوریتم بهینه سازی: الگوریتمی را برای بهینه سازی پارامترهای مدل انتخاب کنید.

✍️مرحله 4: آموزش مدل:
-مدل را آموزش دهید: مدل را با استفاده از داده های آماده شده آموزش دهید.
-پیشرفت مدل را رصد کنید: پیشرفت مدل را در طول آموزش رصد کنید.
-در صورت نیاز تنظیمات را تغییر دهید: در صورت نیاز پارامترها و تنظیمات را تغییر دهید.

✍️مرحله 5: ارزیابی مدل:
-مدل را ارزیابی کنید: عملکرد مدل را بر روی داده های تست ارزیابی کنید.
-مدل را با مدل های دیگر مقایسه کنید: عملکرد مدل را با مدل های دیگر مقایسه کنید.
-در صورت نیاز مدل را دوباره آموزش دهید: در صورت نیاز مدل را با داده های بیشتر یا تنظیمات متفاوت دوباره آموزش دهید.

@BIMining

✍️ترجمه کتاب ظهور لیک هاوس داده

✍️این کتاب به جزئیات پیاده‌سازی پلتفرم لیک‌هاوس Databricks و بارکدهای مختلف آن، شامل مهندسی داده، انبار داده، جریان داده، علم داده و یادگیری ماشین، می‌پردازد.
اگر شما تازه وارد دنیای لیک‌هاوس شده باشید یا از قابلیت‌های آن آشنایی داشته باشید، این کتاب برای هر کسی که می‌خواهد حداکثر استفاده را از استراتژی مدیریت داده خود ببرد، باید مطالعه شود.

✍️در ضمن چاپ این کتاب با همکاری یکی از بانکهای بزرگ کشور بهمراه یک موسسه انتشاراتی چاپ کتاب انجام خواهد شد.
امیدوارم مفید باشد.
محمد عالیشاهی
مدیر پروژه های هوش مصنوعی و پردازش زبان طبیعی
@BIMining

BIMining.ir

✍️مقایسه پلتفرم و معماری انبار داده ، دریاچه داده و دیتالیک هاوس

با توجه به محدودیت های انبار داده و مشکلات عدیده دریاچه داده موجب گردید تا شرکای فناوری Databricks با ادغام راه‌حل‌های خود با Databricks، امکانات کاملی برای ETL، نگهداری داده، هوش تجاری، یادگیری ماشین و حاکمیت داده را فراهم کنند. این ترکیب تکنولوژی به مشتریان این امکان رامی‌دهد تا از قابلیت‌ها و مقیاس‌پذیری پلتفرم Databricks Lakehouse بهره‌برداری نمایند و در عین حال به سرعت نوآوری کرده و برای به دست آوردن راهکارهای ارزشمند از داده استفاده کنند.
پلتفرم دیتالیک هاوس از سال 2021 توسط DataBricks ایجاد شده است و بنظر می آید با توجه به رشد روز افزون کاربرد هوش مصنوعی ، نیازمندی سازمانها و شرکتها به سمت این پلتفرم کاربردی بیشتر خواهد شد.
در این فایل تفاوت سه پلتفرم انبار داده و دریاچه داده و دیتالیک هاوس در حوزه های مختلف نشان داده شده است.
امیدوارم مفید باشد.😉

@BIMining

✍️ شماره معکوس جهت شروع برنامه هوش مصنوعی در رسانه ملی...
کلیه شرکتها و اشخاص حقیقی و حقوقی و سازمانهای دولتی و خصوصی که علاقمند در مشارکت این برنامه هستند میتوانند اعلام آمادگی فرمایند.
محور های این برنامه مبتنی بر محصولات هوش مصنوعی در سطح کشور است و بهترین فرصت برای دیده شدن توانمندی ها و ارائه محصولات ارزشمند شما به مردم و علاقمندان است .
سپاس
محمد عالیشاهی

@BIMining

برگزاری پنل هوش مصنوعی  در بانکداری هوشمند
شنبه ٢ دی ماه

@BIMining

✅ برگزاری مجموعه برنامه تخصصی هوش مصنوعی از قاب رسانی ملی (تلویزیون)

در این برنامه با محور ارایه اخرین دستاوردها و محصولات موفق  در زمینه هوش مصنوعی توسط اشخاص و شرکت ها و سازمانها و ... بر روی آنتن خواهد رفت .

جهت اطلاعات تکمیلی و همکاری و حضور در برنامه با ما در تماس باشید...
@BIMining

محورهای برنامه و اطلاعات تکمیلی  بزودی اطلاع رسانی خواهد شد‌.

با سپاس
محمد عالیشاهی
مدیر پروژه های هوش مصنوعی و علم داده
دکترای هوش مصنوعی دانشگاه تهران
طراح و مجری برنامه تخصصی هوش مصنوعی در رسانه ملی
@BIMining

مفاهیم مهم و جدید حوزه هوش مصنوعی که حتما باید بدانید.

Transfer Learning
Fine Tuning
Multitask Leraning
Federated Learning

@BIMining