مهندسی داده و رایانش ابری

معنی واژه‌ی EDA در متون مختلف

علم داده؛
EDA = Exploratory Data Analysis

مهندسی داده؛
EDA = Event Driven Architecture
.
@elmedadeir

🎥 تیزر تبلیغاتی حرفه‌ای با چند کلیک؟

با هوش مصنوعی لوما می‌توانید تیزرهایی جذاب و خلاقانه برای کسب‌وکارتان بسازید. توی این ویدیو، مرحله‌به‌مرحله نحوه کار با این ابزار قدرتمند رو به شما نشون دادم. 😍✨

🚀 مزایای استفاده از این هوش مصنوعی:
✅ سرعت بالا
✅ کیفیت بی‌نظیر

🔥 شما هم می‌تونید همین الان دست به کار بشید و دنیای تبلیغات رو تغییر بدید!
.
#هوش_مصنوعی
.
@elmedadeir

اگر پیش از این، در دوره‌های علم داده شرکت داشته‌اید، اما در خصوص انجام و مدیریت پروژه‌‌ها در این وادی ابهامات بسیار زیادی دارید، این کارگاه همان چیزی هست که بشما کمک خواهد نمود.

مطالب این ویدیو بر اساس کتب و مقالات مختلف از جمله منبع زیر

➡️ Managing Your Data Science Projects: Learn Salesmanship, Presentation, and Maintenance of Completed Models, by Robert de Graaf.

و همچنین تجربیات میدانی مدرس گردآوری شده‌اند.

🔥مشاهده این کارگاه🔥
.
#workshop
#datascience
.
@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر  و جولیا  هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

این کتاب به شما کمک می‌کند تا مفاهیم ریاضی پشت یادگیری ماشین را درک کنید و با استفاده از پایتون، آن‌ها را در عمل پیاده‌سازی کنید.

این کتاب درباره یادگیری ماشین و یادگیری عمیق است و به شما نشان می‌دهد چطور با استفاده از پایتون و ابزارهای متن‌باز، می‌توانید از این تکنیک‌ها برای حل مسائل واقعی استفاده کنید.

موضوعات اصلی این کتاب عبارتند از:

آماده‌سازی داده‌ها
انتخاب ویژگی‌های مهم
الگوریتم‌های یادگیری ماشین مانند ماشین‌های بردار پشتیبان و شبکه‌های عصبی
هوش مصنوعی مولد و مدل‌های بنیادی
یادگیری ماشین کوانتومی
استقرار مدل‌ها با استفاده از کوبرنتیز و اپنشیفت
همچنین، این کتاب به کاربردهای مختلف هوش مصنوعی، مانند پیش‌بینی، تشخیص تصویر و صدا، تشخیص پزشکی، زنجیره‌های تأمین هوشمند، و پردازش زبان طبیعی می‌پردازد.

.
@elmedadeir

📚قدرت هوش مصنوعی را در برنامه‌نویسی جفتی(دو نفره)آزاد کنید

این کتاب به شما کمک می‌کند تا با استفاده از هوش مصنوعی، برنامه‌نویسی جفتی را بهبود بخشید. با مثال‌های عملی و توضیحات ساده، به شما نشان می‌دهد که چگونه می‌توانید کارایی و خلاقیت تیم خود را افزایش دهید. 💪👩‍💻👨‍💻

#هوش_مصنوعی
#برنامه_نویسی
#برنامه_نویسی_جفتی
#کتاب_برنامه_نویسی
#خلاقیت
#تیم_کاری
#پیشرفت
#کارایی
#تکنولوژی

.
@elmedadeir

تخمین زدند که ما تنها تا سال ۲۰۲۶ دیتای خوب برای آموزش هوش مصنوعی داریم.

عده‌ای بر این باورند که شاید بتونیم از دیتای تولید شده توسط خود هوش مصنوعی استفاده کنیم. اما این توهمی بیش نیست. چون دیتاهای تولید شده، کاملن الگوهای مشخص برای الگوریتم‌ها دارند و در نتیجه هوش مصنوعی چیز جدیدی یاد نخواهد گرفت.

نظر شما چیه؟ در قسمت کامنت‌ها بنویسید لطفن 👇
.
@elmedadeir

برگه‌ی تقلب
Machine Learning, Deep Learning and AI

Stanford University
.
@elmedadeir

تست کنید، رایگان هست کاملن. حداقل با برخی از مفاهیم در دنیای کلاد آشنا می‌شوید

https://server.ir/vps/freeserver/
.
@elmedadeir

متخصصان می‌گویند که ما هر دو سال باید روی تکنولوژی‌ها و ابزارهایی که داریم ازشون استفاده می‌کنیم، کمی فکر کنیم و اگر نیاز باشه، اونها رو با ابزارهای جدیدتر جایگزین کنیم.

بر این اساس، بنده بتازگی چون اسم پادمَن، یکی از محصولات کمپانی رِدهَت، رو زیاد شنیدم که در انگلیسی بصورت زیر نوشته می‌شود

Podman (Pod Manager)

امتحان کردم. بزرگان می‌گن «پادمن دو خصوصیت برتر نسبت به داکر داره، یکی امنیت بیشتر و دیگری سبک‌تر بودن».

من پادمن رو نصب و کمی کار کردم باهاش. با اینکه اکثر دستورات شبیه به داکر هست، بشخصه یک گارد داشتم نسبت به این ابزار. ولی بعد از چند ساعت تست و بررسی به این نتیجه رسیدم که حداقل برای بنده، هنوز زمان کوچ از داکر به پادمن فرا نرسیده. من گمان می‌کنم اگر در یک پروژه مجبور شدیم که برخی از مولفه‌ها رو که داکر ندارد، رعایت کنیم، اونوقت باید بریم بسمت استفاده از پادمن و در حال حاضر نیاز نیست.

باید به این نکته توجه داشته باشیم، که برای هر کاری، بسرعت باد تکنولوژی‌ها و ابزارهایی در حال ظهور و متولد شدن هستند. نیاز نیست که ما همه رو بلد باشیم. ما فقط باید بتونیم برای مشکلات، راهکار ارائه بدیم. پس بهتره بجای تمرکز روی ابزار، روی مسائل و محصول خودمون تمرکز داشته باشیم.

این شد که بنده کماکان داکری هستم و هنوز هم خیلی چیزها از این ابزار فوق‌العاده رو نمی‌دونم، اما دارم تلاش می‌کنم که بهتر بفهمم این نهنگ مهربون و باحال رو.
.
#podman, #docker
.
@elmedadeir

‌
بوت‌کمپ رایگان و دوهفته‌ای زک ویلسون، یکی از بزرگان دنیای مهندسی داده. ثبت نام 👇👇👇

https://bootcamp.techcreator.io
.
#data_engineering
.
@elmedadeir

🎥 لوگوموشن با قدرت هوش مصنوعی!

در این ویدیو یک لوگوموشن جذاب خلق‌شده با هوش مصنوعی را تماشا کنید! دنیای دیجیتال با سرعت در حال پیشرفت است و ابزارهای هوش مصنوعی، راه‌های خلاقانه‌ای برای طراحی و ساخت ارائه می‌دهند. 🌐✨



🔹 علاقه داری وارد دنیای داده‌ها بشی؟

در دوره مبانی مهندسی داده با پایتون و اسکیوال از اصول پایه تا تکنیک‌های حرفه‌ای مهندسی داده را یاد بگیر.

لینک ثبت‌نام :

https://www.m-fozouni.ir/de/

.
@elmedadeir

‌
یک مجموعه که بدنبال استخدام مهندس داده است این چالش را به متقاضیان می‌دهد و انتظار دارد که پس از دو هفته افراد بتوانند راهکاری برای آن ارائه دهند.

مسئله‌ی بسیار آموزنده‌ای است. اگر بدنبال استخدام در حوزه‌ی مهندسی داده هستید، حتمن این تسک را مشاهده نمایید 👇
.
https://github.com/hamodirtyeza97/deltastudio/blob/main/de_task.md
.
♦️ به عقیده‌ی بسیاری از افراد متخصص، در حال حاضر، نیرو در این حوزه بسیار کمیاب شده است.
.
#data_engineering
.
@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر  و جولیا  هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

بدون شرح!
.
@elmedadeir

مترجم هوش مصنوعی


توی این ویدیو یه ابزار جذاب هوش مصنوعی رو معرفی کردم که صحبت‌های فارسی رو به انگلیسی ترجمه می‌کنه! با استفاده از این مترجم هوشمند می‌تونید به راحتی مکالماتتون رو به زبان انگلیسی منتقل کنید و زبانتون رو تقویت کنید یا توی کارهاتون ازش استفاده کنید. 🌍🤖

اگه به موضوعات هوش مصنوعی، برنامه‌نویسی و یادگیری پایتون علاقه دارید، حتماً پیج اینستاگرامم رو دنبال کنید تا باهم کلی مطالب کاربردی و آموزنده رو یاد بگیریم! 📚🚀


اینستاگرام: @alitechacademy

.
@elmedadeir

بیش برازش: زمانی اتفاق می‌افتد که یک مدل یادگیری ماشین بیش از حد روی داده‌های آموزشی خودش تمرکز کرده و جزئیات و نوسانات آن‌ها را خیلی خوب یاد گرفته است، به طوری که روی داده‌های جدید عملکرد خوبی ندارد. به بیان ساده‌تر، مدل به جای اینکه الگوهای کلی داده‌ها را یاد بگیرد، به نویز و جزئیات غیرضروری هم توجه کرده است.


N-FOLD CROSS-VALIDATION:

یکی از روش‌های مؤثر برای کاهش احتمال بیش‌برازش است.

مزایا: 1- برای ترین(آموزش) از دیتای بیشتری میتونیم استفاده کنیم.

2- در هر صورت یک مدلی داریم.


معایب: ممکن هست مقدار کمی بیش برازش ایجاد شود.

.
@elmedadeir

ما سیستم‌های خودمون رو نمی‌تونیم بصورت شبانه‌روزی روشن نگه داریم تا کاری رو برای ما انجام بدهند. برای همین هم می‌ریم سمت سرورها.

سرور مثل یک کامپیوتر می‌مونه که در طول شبانه‌روز روشن هست و چون در مکان‌های مخصوصی نگه‌داری می‌شه، زیاد سلامتش به خطر نمی‌فته.

هر سروری یک‌ خدمت خاص بما انجام میده. مثلن برخی از سرورها بهینه شدند برای پردازش‌های سنگین، برخی برای پاسخ دادن به درخواست‌های کاربران و ...

خلاصه بدون این سرورها، دنیای آی‌تی، تقریبن می‌شه گفت که هیچ روحی ندارد.
@elmedadeir

یکی از دلایل رونق شرکت‌های ارائه دهنده‌ی خدمات رایانش ابری بزرگ مثل

AWS, GCP or Azure

اینه که اینها حسابی از سیستم‌ها و سرورهای در دسترشون، کار می‌کشند. بعنوان مثال در دنیای
AWS
سروری داریم با عنوان

Spot Instance

این گزینه چیزی نیست جز سرورهایی که رزرو نشدند و مورد تقاضا هم نیستند و بنوعی ظرفیت مازاد محسوب می‌شوند.

اما آمازون چه می‌کند با این سرورها؟ همین جوری اونها رو بلا استفاده نگه می‌داره و به افق خیره می‌شه؟

خیـــــر؛ آمازون اونها رو بمن و شما با یک قیمت بسیار کم می‌فروشه، ولی به محض نیاز مشتریان اصلی، سرور از دسترس ما خارج می‌شه (تنها دو دقیقه قبل از خاموش شدن، یک نوتیف دریافت می‌کنیم) تا به سوگلی‌های اصلی که پول تپل‌تری پرداخت می‌کنند برسد.

مثلن در برخی از موارد میشه این سرورها رو با ۹۰ درصد تخفیف نسبت به قیمت اصلی تهیه کرد. اگر بتونیم برای انجام کارهای خودمون، پایپ‌لاین‌ها یا تسک‌ها رو خوب کانفیگ کنیم (که اگر سرور از دسترس خارج شد، بنوعی تسک‌های قبلی ذخیره بشوند. مثل ساختن یک سیستم چک‌پوینتینگ) استفاده از این سرورها بشدت هزینه‌های ما رو کاهش می‌ده، یه پولی هم دوباره به جیب آمازون می‌ره.

سیستم قیمت‌گذاری این سرورها هم خیلی جالبه. در ابتدا ما یک قیمت می‌دیم به آمازون. با توجه به تقاضا در بازار، قیمت کم یا زیاد میشه. سرور تا زمانی در اختیار ما هست که قیمت پیشنهادی ما، بالاتر از میانگین باشه. به محض اینکه آمازون بفهمه که قیمت ما براش صرف نمی‌کنه، سرور رو از ما می‌گیره و به نفر بعدی می‌ده.

دم‌شون گرم خداییش با این اکوسیستمی که راه انداختن. شما فقط چند دقیقه به این سیستم نرم‌افزاری داستان فکر کنی، بسیار زیباست.
.
#aws, #cloud_computing
.
@elmedadeir

📔 کتاب پیش‌بینی داده‌های زمانی با استفاده از یادگیری عمیق

استفاده از پایتورچ، تی سی ان، آر ان.ان و شبکه‌های عصبی عمیق برای پیش‌بینی دقیق.

#DeepLearning
#PyTorch

.
@elmedadeir