مهندسی داده و ام‌ال‌آپس 🚀

فرض کنیم، در حال کار روی یک پروژه‌ی پایتونی ساده هستیم. همچنین، ورژن پایتون برای کاری که داریم انجام می‌دهیم هم مهم نیست. بسیار راحت با اجرای دستور زیر یک محیط مجازی می‌سازیم و بعد از فعال‌سازی، داخل اون محیط، پروژه رو توسعه می‌دهیم؛

python -m venv .projectX

اما کمی که زمان می‌گذرد متوجه می‌شویم اونقدرها هم که فکر می‌کردیم کار ساده نبود. کدها درست کار نمی‌کنند، چون عمومن فقط اونها رو از جاهای مختلف کپی کردیم. متوجه می‌شیم که کد رو باید با چند ورژن از پایتون تست و بررسی کنیم. اینجا دیگه ماژول وی‌اِنو (venv) مناسب نیست. چون با این ماژول فقط می‌تونیم ورژنی از پایتون که در سیستم داریم رو برای محیط مجازی داشته باشیم. یعنی اگر پایتون ما ۳.۱۲ باشد، هر محیط مجازی که با این ماژول ساخته بشود، ورژن پایتونش ۳.۱۲ است.

اما اگر کوندا (conda) رو داشته باشیم داستان خیلی حرفه‌ای‌تر خواهد شد، چون کوندا بما اجازه می‌دهد که برای هر محیط مجازی، هر ورژنی از پایتون که مد نظر ماست، تنظیم و نصب شود. مثلن من با سه دستور زیر، سه محیط مجازی با ورژن‌های مختلف پایتون (به ترتیب از ۳.۱۰ تا ۳.۱۲) می‌سازم و پروژه‌ی خودم رو به نوبت در اونها تست می‌کنم؛

conda create -n .projectX310 python=3.10

conda create -n .projectX311 python=3.11

conda create -n projectX312 python=3.12

پس بطور خلاصه، با وی‌اِنو ما نمی‌تونیم ورژن دلخواه از پایتون رو داشته باشیم ولی کوندا این ویژگی رو براحتی در اختیار ما قرار می‌دهد. از نظر بنده همین فرق بسیار اساسی بوده و ارزش این رو دارد که حداقل مینی‌کوندا را در سیستم شخصی خودمون نصب داشته باشیم.
.
@elmedadeir

@elmedadeir

مهم‌ترین موردی که باید بهش توجه کنیم اینه:

در آپدیت‌های ویندوز، بهبودهای امنیتی برای WSL هم ارائه میشه.

پس اگر آپدیت ویندوز رو رها کردید و مدام توزیعی که روی WSL نصب داریم رو بروزرسانی می‌کنیم، باز هم سیستم ما در معرض خطر هست، چون اون آپدیت‌های ویندوز در چنین شرایطی، مهم‌تر هستند.
.
@elmedadeir

یکی از عزیزان در یوتیوب پیام دادند و گفتند که در یک دیتاست اگر NA دیدیم یعنی

Not Assigned

اما اگر دقیق‌تر بخواهیم به معنی NA در دیتاست‌ها پی ببریم باید به این نکته توجه کنید که، سازمان‌های بزرگ برای دیتاست‌های خودشون مستندات مشخص و دقیقی تهیه می‌کنند و در اون سند، دقیق ذکر می‌کنند که علائم و اختصاراتی که در دیتاست می‌بینیم، چه معنی و مفهومی داره. بعنوان مثال برخی NA رو برابر می‌گیرند با مقادیر زیر

Not Applicable
Not Available
...
پس تا مستندات دیتاست رو نبینیم، به هیچ وجه دقیقن نمی‌تونیم بگیم معنی NA چی هست. در نتیجه و بطور کلی می‌تونیم NA رو همون Null خطاب کنیم.

شما هم اگر در این خصوص نظری داشتید، خوشحال می‌شیم که در بخش نظرات بنویسید تا دوستان استفاده کنند.
.
@elmedadeir

🚀 کلاس‌های آنلاین پایتون، دیتاساینس، اسکیوال، ماشین‌لرنینگ، دیپ‌لرنینگ، آر و جولیا 🌟

🔹 می‌خواهید در برنامه‌نویسی، دیتاساینس و هوش مصنوعی حرفه‌ای شوید؟
🔹 نیاز به کمک در پروژه‌ها، پایان‌نامه یا آنالیز داده دارید؟

🎯 علی محمدی، با سال‌ها تجربه در تدریس و انجام پروژه‌های موفق، آماده راهنمایی شماست!

💡 ویژگی‌ها:

✔️ آموزش از پایه تا پیشرفته (پایتون، اسکیوال، دیتاساینس، هوش مصنوعی، آر، جولیا و...)
✔️ مشاوره و انجام پروژه‌های تخصصی
✔️ راهنمایی پایان‌نامه‌ها
✔️ جلسات آنلاین عملی و پروژه‌محور

📩 برای شروع، همین حالا به آیدی تلگرامی زیر پیام دهید:

@ali_mohammadi3570

مهندسی داده و ام‌ال‌آپس 🚀 pinned «ما از سال 2019 میلادی در حال تولید و انتشار محتواهای آموزشی بصورت رایگان می‌باشیم و آموزش‌ها را در بستر آپارات و یوتیوب با دیگران به اشتراک می‌گذاریم. با توجه به گسترده شدن حجم مطالب و ویدیوها در کانال یوتیوب و اینکه شاید برخی از عزیزان نتوانند محتوای مد نظر…»

کاربرد پایتون در ام‌ال‌آپس 🚀🐍

۱. مدیریت داده‌ها 📂
با ابزارهایی مثل:

پانداس 🐼

دی‌وی‌سی 🔄

۲. آموزش مدل 🧠
با کتابخانه‌هایی مثل:

تنسورفلو ⚙️

پایتورچ 🔥

۳. خط لوله (پایپ‌لاین) 🛠
با ابزارهایی مثل:

کیوب‌فلو 🚀

ام‌ال‌فلو 📊

۴. استقرار مدل 🚀
با ابزارهایی مثل:

فلسک 🍵

فست‌ای‌پی ⚡️

داکر 🐳

۵. مانیتورینگ 📈
با ابزارهایی مثل:

پرومتئوس 🔍

گرافانا 📉

۶. اتوماسیون 🤖
با ابزارهایی مثل:

جنکینز ⚙️

گیت‌هاب اکشنز 🐙

۷. ردیابی آزمایش‌ها 🔬
با ابزارهایی مثل:

ام‌ال‌فلو 📝

ویت‌اند‌بایاس 🧪

✨ جمع‌بندی:

پایتون در تمام مراحل ام‌ال‌آپس، از داده تا استقرار و نگهداری مدل، ابزارهای قدرتمندی ارائه می‌دهد. 🚀

.
@elmedadeir

ما از سال 2019 میلادی در حال تولید و انتشار محتواهای آموزشی بصورت رایگان می‌باشیم و آموزش‌ها را در بستر آپارات و یوتیوب با دیگران به اشتراک می‌گذاریم. با توجه به گسترده شدن حجم مطالب و ویدیوها در کانال یوتیوب و اینکه شاید برخی از عزیزان نتوانند محتوای مد نظر خود را بیابند، در این پست تنها بخشی از مهم‌ترین لیست‌های پخش که به جرات می‌توان مدعی شد که بخش بسیار زیادی را از دنیای علم داده پوشش می‌دهد، در اختیار شما عزیزان قرار می‌دهیم. امیدواریم که مفید واقع گردد.

توجه بفرمائید که اگر علاقمند به ورود به دنیای علم داده یا مهندسی داده هستید، پیش از هرگونه اقدامی جهت ثبت نام در کلاس‌های آموزشی، ابتدا کمی از این ویدیوها را مشاهده کنید. اگر به یقین رسیدید که این شاخه همان چیزی هست که به دنبالش بودید، آنوقت بسراغ دوره‌های دیگر که از نظر شما بهتر و کامل‌تر هستند بروید.

اگر این لیست و محتوای آن مورد تائید شما بود، آنرا با عزیزان خود به اشتراک بگذارید.

1- لیست پخش دوره علم داده از مقدماتی تا پیشرفته (82 ویدیو- 35 ساعت)
https://www.youtube.com/playlist?list=PLC6UZnripyEx7jcWGjlsPlf4RVVVz8P-y

2- دوره جامع اسکیوال با پوستگرس و دیتابیس (8 ساعت)
https://www.youtube.com/watch?v=lTFQ6EGPk0w

3- دوره جامع تحلیل داده با آر (5 ساعت)
https://www.youtube.com/watch?v=TBc-VFOQ1fY

4- یک پروژه‌ی دیتاساینسی «حضور و غیاب کارکنان» (8 ویدیو- 6 ساعت)
https://www.youtube.com/playlist?list=PLC6UZnripyEyZufmmIAZKGg4sPQNKUTlr

5- کافکا چیست و چگونه آنرا نصب کنیم و راه‌اندازی کنیم (ورود به دنیای آپاچی کافکا)
https://www.youtube.com/playlist?list=PLC6UZnripyExumcvVUKFOdYiZXhOjYLxN

6- مدیریت پروژه‌های علم داده
https://www.youtube.com/watch?v=wsLs6fja3gw

7- رایانش ابری (کلاد کامپیوتینگ) در دنیای مهندسی داده
https://www.youtube.com/watch?v=_EtTQ-FzwG0

8- استقرار مدل‌های یادگیری ماشین روی هاگینگ‌فیس
https://www.youtube.com/watch?v=Ng5ZwqKjvkA

9- ورژنینگ چیست و طریقه انجام آن در ژوپیترلب
https://www.youtube.com/watch?v=SG521YugyQo

10- بعد از گذراندن اولین دوره علم داده چه کنیم؟
https://www.youtube.com/watch?v=rjAutKPVbGw

11- ریاضی برای علم داده و هوش مصنوعی (11 ساعت- لیست پخش)
https://www.youtube.com/watch?v=qcTKFCUw2aI&list=PLC6UZnripyEwBzf3LcDu-Lf9tx0ahSYQW

12- تفاوت مهندسی داده با علم داده
https://youtu.be/4MREO5iVuu4?si=z4ezdtrevX4qBrkF

13- مهندسی پرامپت (آقای علی محمدی- لیست پخش)
https://www.youtube.com/playlist?list=PLC6UZnripyEzxqoWu0GpwB5oU3ZW4YzMb

14- وبینار علم داده؛ از ایده تا اخذ پروژه
https://youtu.be/FDJtozXTMuE?si=m10PwwCPqLnVIaBT

15- پروژه آنالیز داده‌های گوگل پلی
https://www.youtube.com/playlist?list=PLC6UZnripyEylabD69AswKj4EjVK6OUay

16- تحلیل داده‌ها با پانداز
https://www.youtube.com/watch?v=T_Zrf_sHxr4&list=PLC6UZnripyEwaIwePABGiUdhywkzXFyqf

17- گفتگو مهندسین داده (در این لیست پخش گپ و گفت ما را با تعدادی از دوستان و بزرگان مهندسی داده مشاهده خواهید نمود)
https://www.youtube.com/playlist?list=PLC6UZnripyEx8Rkh9JBzqP7zJay8LXT6e

18- ورود به دنیای داکر (طریقه نصب و آشنایی با کامندهای آن)
https://www.youtube.com/watch?v=Z1XrLpPsU5I&list=PLC6UZnripyEzxPxCua4gFj1BjkrMDgieN
.
#datascience, #dataengineering
.
@elmedadeir

@elmedadeir

در خصوص این پست، خیلی‌ها گمان می‌کنند که ما حتمن باید بسمت سیستم عاملی مثل لینوکس مهاجرت کنیم.

اما بهترین ترکیب، حالتی هست که ما در کنار ویندوز، لینوکس رو هم داشته باشیم. و ویندوز به بهترین شکل ممکن از طریق

WSL= Windows Subsystem for Linux

این امکان رو بما می‌دهد. منظور من هم از واژه‌ی «ما»، یعنی افرادی که در حال کار در حوزه‌های مرتبط با دیتا هستند، می‌باشد.

خیلی راحت می‌تونید WSL رو برای خودتون فعال کنید و یک توزیع لینوکسی بریزید در کنار ویندوز و کم‌کم یاد بگیرید کار با لینوکس رو. اگر نصب رو بلد نیستید و قصدتون برای استفاده از WSL جدی شده، از سلطان‌العلما، جناب جی‌پی‌تی بپرسید تا مراحل رو دقیق بشما بگویند.
.
#linux, #wsl
.
@elmedadeir

🚀 چطور با داکر پروژه‌های یادگیری ماشین را اجرا کنم؟

در این ویدیو، شما نصب و معرفی داکر را یاد می‌گیرید. داکر یک ابزار قدرتمند برای اجرای پروژه‌های یادگیری ماشین و مهندسی داده است. اما این فقط بخش کوچکی از دوره‌ی کامل "مبانی مهندسی داده با پایتون و اسکیوال" است!

لینک تماشای ویدیو
.
https://www.youtube.com/watch?v=MkyVp138Ezo
.
#Docker
#Data_Pipeline
.
@elmedadeir

قصد داشتم یه کار خیلی ساده روی یک سیستم انجام بدم، نمی‌شد. تمام ترفندهایی که بلد بودم رو زدم. نشد که نشد. نهایتن رفتم سمت آپدیت ویندوز و متوجه شدم که امکان چنین ارتقایی رو بستند.

این یعنی فنا. خود ویندوز یک سیستم عامل فوق‌العاده جذاب هست برای هکرها. حالا شما بیا آپدیتش رو هم ببند، اونوقت دیگه جوجه هکرها هم ترتیب سیستمت رو خواهند داد.

بنظر من به هیچ وجه آپدیت ویندوز رو غیرفعال نکنید، شرایط با یکسال قبل فرق کرده. خود ویندوز هم درست کار نمیکنه با بستن آپدیت.
.
#windows
.
@elmedadeir

خودکارسازی تمام فرآیندهای موجود در دیتاپایپلاین‌ها طرف‌داران دوآتیشه‌ی زیادی داره، بخصوص با فراگیر شدن دواپس در سازمان‌ها. طوری که اگر در جلسات طراحی معماری دیتاپایپلاین‌ها، شما بگی «اینجا رو اتومیت نکنیم و یک عامل انسانی بزاریم برای کنترل، خیلی‌ها می‌خندند که فلانی همه چیز باید خودکار بشه، سنتی کار نکن».

این مقاله رو بتازگی مطالعه کردم (لینک در ادامه). داستان یک شرکت بیمه هست که برای تداوم کسب‌وکار یک سناریوی

Disaster Recovery

ترتیب میده و تمام کار روی سرورهای ابری آمازون قرار دارد (البته موضوع خیلی کلی و عمومی هست و زیاد به کلاد پرووایدر مرتبط نیست). اینها دو ریجن یا ناحیه جغرافیایی متفاوت رو در نظر می‌گیرند و دو مورد

Failover and Failback

رو سعی می‌کنند که در این معماری بگنجانند.

اما جالب‌ترین نکته‌ی معماری و مقاله مذکور برای من این بود که «تیم اجرا اصلی‌ترین کار رو که همون

Failover

هست، خودکار نمی‌کنه و تعدادی کارشناس یا بقول خودشون

Approvers

می‌گذارند در راس کار که اگر اپ از دسترس خارج شد، این دوستان نوتیف دریافت کنند و بعد تصمیم بگیرند که مکانیزم

Failover

اجرا بشه و ترافیک بسمت ریجن دوم برود یا خیر؟ حداکثر هم ۱۵ دقیقه برای این انتقال بار بسمت ناحیه‌ی دیگر زمان در نظر گرفته شده.

اگر علاقمند بودید این مقاله رو در آدرس ذیل مطالعه کنید


https://aws.amazon.com/blogs/architecture/how-an-insurance-company-implements-disaster-recovery-of-3-tier-applications/

آمازون از این کار بعنوان یکی از تجربیات خوب مشتریان خودش یاد می‌کنه. پس اینکه ما بگیم «همه چیز رو در اجرای اپلیکیشن خودمون اتومیت کنیم بهتره، قطعن درست نیست. هنوز هم در کارهای بزرگ عوامل انسانی متخصص تعیین کننده هستند».
.
#aws, #disaster_recovery
.
@elmedadeir

@elmedadeir

نیازمندی‌ها برای این موقعیت شغلی که درج شده «پـــایتـــــون» خیلی برای من جالب بود.

دقت کنید که چه تکنولوژیهایی مد نظرشون هست.
.
@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر و جولیا هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

🤔 یادگیری انتقالی چیه؟

مدل‌هایی که از تجربه‌های گذشته برای حل مسائل جدید استفاده می‌کنن!

🔍 چرا مهمه؟
✔️ صرفه‌جویی در زمان
✔️ نیاز به داده‌های کمتر
✔️ دقت بالاتر

💡 کاربردهاش؟

🖼 تشخیص تصاویر
📝 تحلیل و ترجمه متن
🎙 تشخیص صدا
🏥 پزشکی و تشخیص بیماری

.
@elmedadeir

این‌روزها چون آپاچی کافکا تبدیل به یکی از ابزارهای همه‌جا حاضر در دنیای دیتا شده است، بسیاری از افراد بدنبال یادگیری آن هستند. در دو ویدیوی زیر که در کانال یوتیوب علم داده منتشر شده، می‌توانید در کوتاه‌ترین زمان ممکن به یک درک مناسب از کافکا دست یابید:

⬅️ کافکا چیست و چگونه عمل می‌کند؟

⬅️ شروع کار با کافکا بصورت عملی
.
@apache_kafka
.
@elmedadeir

نظرات آقای دکتر علی شریفی زارچی در خصوص فرار نخبگان و استارتاپ‌ها از کشور. باشد که برسد به دست اونهایی که خودشان را بخواب زدند.
.
#مهاجرت
.
@elmedadeir

وجه تمایز بین
Method & Function

در پایتون همین آرگومان self هست. نحوه‌ی بکارگیری این دو هم متفاوت می‌باشد.

مِتد روی یک آبجکت از کلاس اثر می‌کند ولی تابع تنها نیاز به ورودی دارد و از هر کلاس دیگری مستقل است.
.
⬅ منبع تصویر
.
#python
.
@elmedadeir

صد در صد فارســــــــــی (هم نظر مدیران داخلی و هم ایرونی‌های خارج کشور رو جلب می‌کنیم). اگر داخل ایران هستید و کار دیتا می‌کنید، هیچ وقت یک اروپایی و یا آمریکایی بواسطه‌ی پست‌های قشنگ و علمی ما نمیاد دنبال‌مون که کار بما سفارش بده. عمومن اینطوری هست که ایرونی‌های مقیم خارج کشور که جایگاه و مرتبه‌ی شغلی بالایی دارند، من و شما رو بصورت ریفرال (referral) معرفی می‌کنند و برای این جماعت هم اصلن مهم نیست که ما به چه زبونی مطلب می‌گذاریم. برای اثبات اینکه انگلیسی مسلط هستیم یا خیر یک جلسه مصاحبه ترتیب می‌دهند. غیر از این و در حال حاضر، به هیچ وجه در حوزه دیتا اعتماد نمی‌کنند که به یک شخص با ملیت و پاسپورت ایرونی کار بدهند.

شاید در حوزه‌هایی مثل نرم افزار و گرافیک و این قسم کارها، شانس کمی بالاتر باشه، اما در دیتا، صفر هست.
.
#linkedin
.
@elmedadeir

لینکدین بهشتِ افراد کاردرست و کاربلد هست برای گرفتن پیشنهاد یا آفرهای مختلف، بدون اینکه حتی یکبار برای یک شغل اپلای کنند.
.
@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر و جولیا هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

✨ ۵ تکنولوژی برتر در دنیای یادگیری ماشین که باید بشناسید

1️⃣ یادگیری ماشین تعبیه‌شده (TinyML):
اجرای الگوریتم‌های یادگیری ماشین بر روی دستگاه‌های محاسباتی لبه با منابع محدود (مثل سنسورها و میکروکنترلرها)، که امکان پردازش داده‌ها به‌صورت محلی و در زمان واقعی را فراهم می‌کند.

2️⃣ هوش مصنوعی قابل توضیح (XAI):
مدل‌هایی که فرآیند تصمیم‌گیری آن‌ها برای انسان قابل درک است، به‌منظور افزایش شفافیت و اعتماد به سیستم‌های هوش مصنوعی.

3️⃣ یادگیری فدرال (Federated Learning):
آموزش مدل‌های یادگیری ماشین با استفاده از داده‌های توزیع‌شده در دستگاه‌های مختلف، بدون نیاز به تجمیع داده‌ها در یک مکان مرکزی. این روش به حفظ حریم خصوصی کاربران کمک می‌کند.

4️⃣ مدیریت عملیاتی یادگیری ماشین (MLOps):
رویکردی برای مدیریت و عملیاتی‌سازی مدل‌های یادگیری ماشین در محیط‌های تولیدی، شامل جمع‌آوری داده‌ها، نظارت، و ساده‌سازی پیاده‌سازی.

5️⃣ شبکه‌های مولد تخاصمی (GANs):
نوعی شبکه عصبی که با استفاده از دو شبکه مولد و تشخیص‌دهنده به‌طور همزمان، داده‌های جدید و واقعی‌مانند تولید می‌کند؛ کاربردی در تولید تصاویر، موسیقی و شبیه‌سازی‌های دقیق.

در این ویدیو که تنها 35 دقیقه زمان دارد، طبق مستندات رسمی آپاچی کافکا، ابتدا این ابزار رو نصب و کانفیگ می‌کنیم.

سپس می‌پردازیم به کار با اجزا و دستورات کلیدی این ابزار فوق‌العاده قدرتمند تا همه چیز رو بصورت عملی مشاهده کنیم. اگر علاقمند به کافکا هستید این ویدیو نقطه‌ی آغاز خوبی برای فرایند یادگیری شما خواهد شد.

⬅ تماشای ویدیو در یوتیوب ➡
.
.
========================
.
.
در دنیای مسج بروکرها، ابزارها و تکنولوژی‌های زیادی وجود دارند

Redpanda, RabitMQ, ActiveMQ, NATS, ...

اینها بخش عمده‌ی کارکردشون مشابه هست و اختلاف جزئی در معماری و سادگی بکارگیری دارند. توصیه می‌شود که روی یکی از اینها متمرکز بشیم و اون رو عمیق یاد بگیریم، تا اینکه از هر کدوم کمی بدونیم ولی هیچ وقت جرات نکنیم اونها رو وارد محیط پروداکشن و پایپ‌لاین‌های خودمون بکنیم.
.
#apache_kafka
.
@elmedadeir

موارد بسیار مهم و خوبی هستند. سپاس از خانم ربطی بابت گردآوری این مطلب.

11 حقیقت در خصوص علم داده در پروژه های واقعی
به زبان اصلی گذاشتم. چون خیلی از اصطلاحات تخصصی هستند. و متن کاملا واضح است.

---

11 hard truths about Data Science:

1. No Silver Bullet Model:
You'll need to iterate all the time, even after deployment.


2. Data is never perfect:
Data will always be incomplete, inconsistent, and biased. Always.


3. Domain knowledge matters:
Good models need domain knowledge. Integrating both takes time and effort.( concept drift)


4. Data cleaning is 80% of the job:
Most of your time is spent wrangling messy data, not building models.


5. Accuracy isn’t everything:
Often simple and robust models [are] preferred over complex more accurate ones.


6. You will hit dead ends:
Experimentation means lots of failed ideas before finding what works.


7. Imposter syndrome is real:
The field is vast, and you’ll always feel behind. It's a good sign, this means you're learning.
سندرم خودکم بینی در این حوزه خیلی رایجه. اونقدر این حوزه گسترده است و هر روز در حال به روز رسانی که حس عقب ماندن کاملا طبیعی است. نگران نباشید.


8. 90% of the projects are not cutting-edge:
Real-world data science has many routine tasks, simple models and reports. Very different from ML course hype.


9. You need to choose 1-2 niches:
If you try to learn all the niches, you'll suck at all of them. You need to choose and dig deep.

10. Stakeholders think differently:
Your "great model" means little if it doesn’t solve a business problem.
مدل شما هر چقدر هم عالی train شده باشد و زمان و هزینه زیادی برای ساخت اون گذاشته باشید، اگر دست یکم یک مشکل تجاری را حل نکند یا بهبود ندهد، بی ارزش است.

11. Tools don’t solve problems:
It's your thinking and problem-solving skills that matter — not the latest frameworks.
این تفکر و مهارتهای حل مساله است که در پروژه به دادتون میرسن نه دونستن انواع ابزارها

هر مدرسی در طول دوران تدریس خودش، گاهن با افراد بسیار خاصی مواجه می‌شه. برای من دو دانشجو در کلاس‌های مهندسی داده خیلی خاص بودند.

نفر اول یک سیاست‌مدار که کاملن با یک پیشینه‌ی علوم انسانی قصد ورود به مهندسی داده رو دارند و کلی مدرک از آمازون و اسنوفلیک گرفتند و در حال حاضر قصد رها کردن دنیای سیاست رو دارند. هیچ وقت گمان نمی‌کردم، کسی که از دنیای کامپیوتر نیومده باشه، جرات کنه وارد فیلد مهندسی داده بشه و با دیدن این فرد، معادلات ذهنی من بهم خورد. البته ایشون سوابق بسیار فضایی و متفاوتی داره و در کشوری زندگی می‌کنه که همه چیز شدنی هست.

شخص دوم، امیرعلی قربانی یک کودک ۱۰ ساله هست که یه روز پدرش بمن پیام داد که «آقای دکتر، امیرعلی پول تو جیبی‌های خودش رو جمع کرده و رفته فلان دوره شما رو خریده. بشدت علاقه داره به مهندسی داده و ...». درسته که الان امیرعلی باید فقط بازی کنه، اما آدم‌ها متفاوت با یک‌دیگر هستند، درون هر آدمی یکسری ژن‌های خاصی نصب یا اینستال شدند.

حقیقتش امیرعلی نظرم رو بیشتر نسبت به کیس اول جلب کرد. چون هم داخل ایران هست و هم سن و سال بسیار خاصی داره. البته در این سن چون کودک داره وارد مرحله‌ی نوجوانی میشه، گاهن هیجانات عجیب و غریبی پیدا می‌کند. اما هر چه که باشد، من حضور این فرد رو به فال نیک میگیرم و مطمئن هستم که آینده درخشانی در انتظارش هست. به خودم افتخار می‌کنم که امیرعلی من رو انتخاب کرد، چون قطعن در چند صباح بعدی ما باید بیوفتیم دنبال ایشون.

اگر براتون سوال هست که چطوری میشه یه بچه‌ی ده ساله بتونه حرف از فیلدی بزنه که بزرگان کامپیوتر هم جرات ندارند واردش بشوند، باید خدمت‌تون عرض کنم که امیرعلی یک پایه‌ در کنار خودش داره که مسیر رو تا حدودی بهش نشون میده؛ پدرش که فرد تحصیل کرده‌ای هست و‌ پا به پای امیرعلی باهاش پیش می‌ره. دمش گرم واقعن.

در کشورهای بزرگ، شرکت‌های های‌تک، بدنبال چنین افرادی می‌گردند که به بهانه‌ای، فرد رو سمت خودشون بکشونند و طبق خواسته‌ها و سیاست‌های خودشون، شخص رو پرورش بدهند.

خلاصه اگر داخل ایران هستید و جزو مدیران رده‌ی سی (C) تشریف دارید، با امیرعلی کانکت بشید و چنین افرادی رو از همین سن و سال جذب کنید. این بچه‌ها مغزشون بشدت با کسی که بیست و چند سال داره، متفاوته و چون دغدغه‌ی خاصی در حال حاضر ندارند، مثل کامپیوترهای کوانتومی می‌مونند، روی این افراد سرمایه‌گذاری کنید. بی‌شک این بچه فرد متفاوتی هست و شاید گفت که ما داریم در خصوص یک نخبه حرف می‌زنیم.

پی‌نوشت: پسر من هم تنها چهار سال داره. جدیدن میگه «بابا برام یه لپ‌تاپ بگیر، کار کنم پول در بیارم 😄. و امیرعلی بمن ثابت کرد که شاید ماهور هم خیلی زود وارد دنیای کامپیوتر بشه».

اگر شما هم تمایل داشتید، با امیرعلی در لینکدین کانکت بشید 👇👇👇

.
https://www.linkedin.com/in/amirali-ghorbani-a6b3432b4
.
#مهندسی_داده
#استعداد
.
@elmedadeir

@elmedadeir

اگر به دنبال مهندسی داده هستید و قصد دارید که یک پروژه دنیای واقعی را انجام داده و در رزومه (و گیت‌هاب) خود قرار دهید می‌توانید در پروژه پایانی 5امین دوره مهندسی داده شرکت نمائید.

در این دوره کوتاه مدت که تنها 8 ساعت می‌باشد، کل اپلیکیشن را ابتدا در سیستم محلی خود توسعه داده و تست می‌نمائیم. در پایان، اپ تکمیل شده را روی سرورهای ابری ابرآروان پیاده‌سازی می‌نمائیم.

در این پروژه با تکنولوژی‌های زیر کار خواهیم نمود:
1- داکر
2- کافکا
3- اسپارک
4- پوستگرس
5- مای‌اس‌کیوال
6- ردیس
7- گرافانا
8- ابرآروان (سرور ابری)
.
جهت شرکت در این دوره به لینک زیر مراجعه نمائید
.
https://m-fozouni.ir/de5-project
.
@elmedadeir

این کتاب با رویکردی ساده و ساختارمند، مفاهیم پیچیده پایتون را برای شما روشن می‌کند. از مبانی اولیه تا تکنیک‌های پیشرفته، همه چیز را در این کتاب خواهید یافت.

ویژگی‌های کلیدی کتاب:

✔️ مناسب برای تمام سطوح

✔️ آموزش گام به گام و پروژه محور

✔️ پوشش جامع کتابخانه‌ها و ماژول‌های پایتون

✔️ به‌روزرسانی شده با آخرین تکنولوژی‌ها

#پایتون #python

.
@elmedadeir

📢 دریافت کوکی سایت با پایتون!


💡 در این ویدیو یاد می‌گیرید چطور کوکی‌های یک سایت را دریافت کنید و آن‌ها را در لیست ذخیره کنید. اگر به وب‌اسکرپینگ، برنامه‌نویسی یا مهندسی داده علاقه دارید، این آموزش را از دست ندهید!

📌 موضوعات:

نحوه دریافت کوکی‌ها با پایتون
ذخیره‌سازی کوکی‌ها در لیست
کاربرد کوکی‌ها در برنامه‌نویسی


#پایتون #آموزش_پایتون #برنامه_نویسی

.

@elmedadeir

اگر برای کلاستر کردن کافکا، هیچ ایده‌ای نداشتید با این ارقام شروع کنید که در واقع جزو استانداردهای صنعتی و بنوعی یک
Best Practice

محسوب می‌شود و در برخی از متون به آن نسبت طلایی نیز گفته می‌شود؛

Number of Brokers = 3
(در سه موقعیت جغرافیایی متفاوت و یا در یک منطقه جغرافیایی ولی سه دیتاسنتر متفاوت)

Number of replicas = 3

minimum in-sync replicas = 2

کلاستر کردن ابزارهای توزیع‌شده، جزو کارهای اساسی در طراحی دیتا پایپ‌لاین‌ها می‌باشد و باید در انتخاب‌مون نهایت دقت رو داشته باشیم.

منبع:
https://developers.redhat.com/articles/2022/05/03/fine-tune-kafka-performance-kafka-optimization-theorem
.
#apache_kafka
.
@elmedadeir

"✨ خودت رو با هوش مصنوعی به آواتار تبدیل کن! 🤖


آیا آماده‌ای یه آواتار از خودت داشته باشی؟ با این تکنیک ساده هوش مصنوعی، آواتار شخصی خودت رو بساز 🚀


#هوش_مصنوعی #آواتار_سازی

.

@elmedadeir

چندی پیش تصویر کتابی که در حال حاضر مطالعه می‌کنم را با دوستان به اشتراک گذاشتم (تصویر کتاب را به پیوست مشاهده می‌نمائید).

شخصی از بنده پرسید «آقای دکتر شما مگه مهندسی داده کار نمی‌کنید؟ این کتاب که به یادگیری ماشین مربوطه؟»

گفتم «بله، الان من بخش اعظم کارهام رو تخصیص دادم به مهندسی داده. اما وقتی برای مجموعه‌های کوچک، پروژه‌های کوتاه مدت کار می‌کنیم، دیگه اونجا من و شما نمی‌تونیم بگیم «من مهندس داده هستم و اینکار رو نمی‌کنم». باید صفر تا صد کار رو بزنی، چون پول گرفتی تا مشکل اون کسب‌وکار رو حل کنی».

پس فکر نکنید کسی که مثلن عنوان شغلی مهندس داده یا هر مورد دیگر دارد، فقط باید مهارت‌های خودش در همین راستا رو تقویت بکند. حقیقتش این هست که در مارکت فعلی (در کل دنیا) از این خبرا نیست و در این برهه‌ی زمانی، متاسفانه همه دنبال آچار فرانسه هستند. پس باید تن بدیم به این اوضاع و فعلن پیش بریم. باشد که دنیا جای بهتری بشه برای همه.

در خصوص کتاب هم، عرض کنم خدمت شما که فوق‌العاده است. نویسندگان از بچه‌های با تجربه در گوگل هستند که نزدیک به ۲۰ سال تجربه در بکارگیری و استقرار مدل‌های یادگیری ماشین در مقیاس نجومی دارند. اصل جنس هستند بقولی.

📝 محمد فزونی
.
#ml
.
@elmedadeir

توضیحات در ادامه 👇👇👇
.
@elmedadeir

@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر  و جولیا  هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

ساخت ویدیوهای طبیعی با قدرت هوش مصنوعی

ساخت ویدیوهای طبیعی با قدرت هوش مصنوعی 🎥✨


باورتون میشه این ویدیو با هوش مصنوعی ساخته شده؟ 🤔

هوش مصنوعی حالا می‌تونه ویدیوهایی تولید کنه که از واقعیت قابل تشخیص نیستن! 🤯 توی این ویدیو، ابزارهایی رو معرفی کردم که می‌تونن به شما کمک کنن ویدیوهایی طبیعی و حرفه‌ای بسازید.

#هوش_مصنوعی #ویدیو_واقعی #تکنولوژی #ساخت_ویدیو #AI #تولید_محتوا

.
@elmedadeir

🎯 راهنمای ساده برای استفاده از فناوری‌های جدید در محیط کاری

کتاب «ارتقای یادگیری ماشین» به شما کمک می‌کند تا از فناوری‌های جدید مثل هوش مصنوعی و یادگیری ماشین در کسب‌وکارتان استفاده کنید. این کتاب به شما نشان می‌دهد که چگونه می‌توانید:

📊 داده‌های پیچیده را ساده کنید.

💡 برنامه‌های هوشمندانه‌ای بسازید.

🔧 بهترین روش‌های استفاده از این فناوری‌ها را بیاموزید.

🔗 این فناوری‌ها را با سیستم‌های فعلی ترکیب کنید.

این کتاب برای مدیران و متخصصان داده‌ای که می‌خواهند از فناوری‌های جدید بهره‌برداری کنند، بسیار مفید است.

📚 اگر به دنبال پیشرفت در دنیای یادگیری ماشین و هوش مصنوعی هستید، این کتاب بهترین انتخاب برای شماست!

.
@elmedadeir

نویسنده‌ی این مقاله پس از گذراندن چند دوره پست‌دکتری، بالاخره تصمیم خودشو برای مهاجرت از مهندسی برق به مهندسی داده می‌گیره و اینکار رو انجام میده.

مقاله‌ی خوبی هست و کمک‌تون می‌کنه که اگر شما هم چنین چالش‌هایی دارید، تصمیم‌تون رو بگیرید.

نتیجه مقاله بصورت خلاصه اینه که طرف از خودش می‌پرسه «آیا از این تغییر فیلد در این سن و سال راضی هستی؟» و پاسخ میده کاملن
.
مطالعه مقاله بطور کامل
.
@elmedadeir

📌 عنوان:

تحلیل داده‌ها با اسکیوال در کتابخانه پانداس


📄 توضیح:

آیا تا به حال به این فکر کرده‌اید که چطور می‌توانید از قدرت زبان اسکیوال برای تحلیل داده‌ها در پایتون استفاده کنید؟ با استفاده از کتابخانه پانداس‌کیوال می‌توانید به راحتی روی داده‌های خود کوئری‌های اسکیوال را اجرا کنید و از ترکیب قابلیت‌های پایتون و اسکیوال بهره‌مند شوید.


کتابخانه:
pandasql

#sql
#pandas

.
@elmedadeir

🚀 از چهارشنبه الی شنبه

دوره‌های آموزشی بی‌نظیر در مهندسی داده و علم داده

📢 گوش به زنگ باشید
.
@elmedadeir

معنی واژه‌ی EDA در متون مختلف

علم داده؛
EDA = Exploratory Data Analysis

مهندسی داده؛
EDA = Event Driven Architecture
.
@elmedadeir

🎥 تیزر تبلیغاتی حرفه‌ای با چند کلیک؟

با هوش مصنوعی لوما می‌توانید تیزرهایی جذاب و خلاقانه برای کسب‌وکارتان بسازید. توی این ویدیو، مرحله‌به‌مرحله نحوه کار با این ابزار قدرتمند رو به شما نشون دادم. 😍✨

🚀 مزایای استفاده از این هوش مصنوعی:
✅ سرعت بالا
✅ کیفیت بی‌نظیر

🔥 شما هم می‌تونید همین الان دست به کار بشید و دنیای تبلیغات رو تغییر بدید!
.
#هوش_مصنوعی
.
@elmedadeir

اگر پیش از این، در دوره‌های علم داده شرکت داشته‌اید، اما در خصوص انجام و مدیریت پروژه‌‌ها در این وادی ابهامات بسیار زیادی دارید، این کارگاه همان چیزی هست که بشما کمک خواهد نمود.

مطالب این ویدیو بر اساس کتب و مقالات مختلف از جمله منبع زیر

➡️ Managing Your Data Science Projects: Learn Salesmanship, Presentation, and Maintenance of Completed Models, by Robert de Graaf.

و همچنین تجربیات میدانی مدرس گردآوری شده‌اند.

🔥مشاهده این کارگاه🔥
.
#workshop
#datascience
.
@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر  و جولیا  هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

این کتاب به شما کمک می‌کند تا مفاهیم ریاضی پشت یادگیری ماشین را درک کنید و با استفاده از پایتون، آن‌ها را در عمل پیاده‌سازی کنید.

این کتاب درباره یادگیری ماشین و یادگیری عمیق است و به شما نشان می‌دهد چطور با استفاده از پایتون و ابزارهای متن‌باز، می‌توانید از این تکنیک‌ها برای حل مسائل واقعی استفاده کنید.

موضوعات اصلی این کتاب عبارتند از:

آماده‌سازی داده‌ها
انتخاب ویژگی‌های مهم
الگوریتم‌های یادگیری ماشین مانند ماشین‌های بردار پشتیبان و شبکه‌های عصبی
هوش مصنوعی مولد و مدل‌های بنیادی
یادگیری ماشین کوانتومی
استقرار مدل‌ها با استفاده از کوبرنتیز و اپنشیفت
همچنین، این کتاب به کاربردهای مختلف هوش مصنوعی، مانند پیش‌بینی، تشخیص تصویر و صدا، تشخیص پزشکی، زنجیره‌های تأمین هوشمند، و پردازش زبان طبیعی می‌پردازد.

.
@elmedadeir

📚قدرت هوش مصنوعی را در برنامه‌نویسی جفتی(دو نفره)آزاد کنید

این کتاب به شما کمک می‌کند تا با استفاده از هوش مصنوعی، برنامه‌نویسی جفتی را بهبود بخشید. با مثال‌های عملی و توضیحات ساده، به شما نشان می‌دهد که چگونه می‌توانید کارایی و خلاقیت تیم خود را افزایش دهید. 💪👩‍💻👨‍💻

#هوش_مصنوعی
#برنامه_نویسی
#برنامه_نویسی_جفتی
#کتاب_برنامه_نویسی
#خلاقیت
#تیم_کاری
#پیشرفت
#کارایی
#تکنولوژی

.
@elmedadeir

تخمین زدند که ما تنها تا سال ۲۰۲۶ دیتای خوب برای آموزش هوش مصنوعی داریم.

عده‌ای بر این باورند که شاید بتونیم از دیتای تولید شده توسط خود هوش مصنوعی استفاده کنیم. اما این توهمی بیش نیست. چون دیتاهای تولید شده، کاملن الگوهای مشخص برای الگوریتم‌ها دارند و در نتیجه هوش مصنوعی چیز جدیدی یاد نخواهد گرفت.

نظر شما چیه؟ در قسمت کامنت‌ها بنویسید لطفن 👇
.
@elmedadeir

برگه‌ی تقلب
Machine Learning, Deep Learning and AI

Stanford University
.
@elmedadeir

تست کنید، رایگان هست کاملن. حداقل با برخی از مفاهیم در دنیای کلاد آشنا می‌شوید

https://server.ir/vps/freeserver/
.
@elmedadeir

متخصصان می‌گویند که ما هر دو سال باید روی تکنولوژی‌ها و ابزارهایی که داریم ازشون استفاده می‌کنیم، کمی فکر کنیم و اگر نیاز باشه، اونها رو با ابزارهای جدیدتر جایگزین کنیم.

بر این اساس، بنده بتازگی چون اسم پادمَن، یکی از محصولات کمپانی رِدهَت، رو زیاد شنیدم که در انگلیسی بصورت زیر نوشته می‌شود

Podman (Pod Manager)

امتحان کردم. بزرگان می‌گن «پادمن دو خصوصیت برتر نسبت به داکر داره، یکی امنیت بیشتر و دیگری سبک‌تر بودن».

من پادمن رو نصب و کمی کار کردم باهاش. با اینکه اکثر دستورات شبیه به داکر هست، بشخصه یک گارد داشتم نسبت به این ابزار. ولی بعد از چند ساعت تست و بررسی به این نتیجه رسیدم که حداقل برای بنده، هنوز زمان کوچ از داکر به پادمن فرا نرسیده. من گمان می‌کنم اگر در یک پروژه مجبور شدیم که برخی از مولفه‌ها رو که داکر ندارد، رعایت کنیم، اونوقت باید بریم بسمت استفاده از پادمن و در حال حاضر نیاز نیست.

باید به این نکته توجه داشته باشیم، که برای هر کاری، بسرعت باد تکنولوژی‌ها و ابزارهایی در حال ظهور و متولد شدن هستند. نیاز نیست که ما همه رو بلد باشیم. ما فقط باید بتونیم برای مشکلات، راهکار ارائه بدیم. پس بهتره بجای تمرکز روی ابزار، روی مسائل و محصول خودمون تمرکز داشته باشیم.

این شد که بنده کماکان داکری هستم و هنوز هم خیلی چیزها از این ابزار فوق‌العاده رو نمی‌دونم، اما دارم تلاش می‌کنم که بهتر بفهمم این نهنگ مهربون و باحال رو.
.
#podman, #docker
.
@elmedadeir

‌
بوت‌کمپ رایگان و دوهفته‌ای زک ویلسون، یکی از بزرگان دنیای مهندسی داده. ثبت نام 👇👇👇

https://bootcamp.techcreator.io
.
#data_engineering
.
@elmedadeir

🎥 لوگوموشن با قدرت هوش مصنوعی!

در این ویدیو یک لوگوموشن جذاب خلق‌شده با هوش مصنوعی را تماشا کنید! دنیای دیجیتال با سرعت در حال پیشرفت است و ابزارهای هوش مصنوعی، راه‌های خلاقانه‌ای برای طراحی و ساخت ارائه می‌دهند. 🌐✨



🔹 علاقه داری وارد دنیای داده‌ها بشی؟

در دوره مبانی مهندسی داده با پایتون و اسکیوال از اصول پایه تا تکنیک‌های حرفه‌ای مهندسی داده را یاد بگیر.

لینک ثبت‌نام :

https://www.m-fozouni.ir/de/

.
@elmedadeir

‌
یک مجموعه که بدنبال استخدام مهندس داده است این چالش را به متقاضیان می‌دهد و انتظار دارد که پس از دو هفته افراد بتوانند راهکاری برای آن ارائه دهند.

مسئله‌ی بسیار آموزنده‌ای است. اگر بدنبال استخدام در حوزه‌ی مهندسی داده هستید، حتمن این تسک را مشاهده نمایید 👇
.
https://github.com/hamodirtyeza97/deltastudio/blob/main/de_task.md
.
♦️ به عقیده‌ی بسیاری از افراد متخصص، در حال حاضر، نیرو در این حوزه بسیار کمیاب شده است.
.
#data_engineering
.
@elmedadeir

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر  و جولیا  هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

بدون شرح!
.
@elmedadeir

مترجم هوش مصنوعی


توی این ویدیو یه ابزار جذاب هوش مصنوعی رو معرفی کردم که صحبت‌های فارسی رو به انگلیسی ترجمه می‌کنه! با استفاده از این مترجم هوشمند می‌تونید به راحتی مکالماتتون رو به زبان انگلیسی منتقل کنید و زبانتون رو تقویت کنید یا توی کارهاتون ازش استفاده کنید. 🌍🤖

اگه به موضوعات هوش مصنوعی، برنامه‌نویسی و یادگیری پایتون علاقه دارید، حتماً پیج اینستاگرامم رو دنبال کنید تا باهم کلی مطالب کاربردی و آموزنده رو یاد بگیریم! 📚🚀


اینستاگرام: @alitechacademy

.
@elmedadeir

بیش برازش: زمانی اتفاق می‌افتد که یک مدل یادگیری ماشین بیش از حد روی داده‌های آموزشی خودش تمرکز کرده و جزئیات و نوسانات آن‌ها را خیلی خوب یاد گرفته است، به طوری که روی داده‌های جدید عملکرد خوبی ندارد. به بیان ساده‌تر، مدل به جای اینکه الگوهای کلی داده‌ها را یاد بگیرد، به نویز و جزئیات غیرضروری هم توجه کرده است.


N-FOLD CROSS-VALIDATION:

یکی از روش‌های مؤثر برای کاهش احتمال بیش‌برازش است.

مزایا: 1- برای ترین(آموزش) از دیتای بیشتری میتونیم استفاده کنیم.

2- در هر صورت یک مدلی داریم.


معایب: ممکن هست مقدار کمی بیش برازش ایجاد شود.

.
@elmedadeir

ما سیستم‌های خودمون رو نمی‌تونیم بصورت شبانه‌روزی روشن نگه داریم تا کاری رو برای ما انجام بدهند. برای همین هم می‌ریم سمت سرورها.

سرور مثل یک کامپیوتر می‌مونه که در طول شبانه‌روز روشن هست و چون در مکان‌های مخصوصی نگه‌داری می‌شه، زیاد سلامتش به خطر نمی‌فته.

هر سروری یک‌ خدمت خاص بما انجام میده. مثلن برخی از سرورها بهینه شدند برای پردازش‌های سنگین، برخی برای پاسخ دادن به درخواست‌های کاربران و ...

خلاصه بدون این سرورها، دنیای آی‌تی، تقریبن می‌شه گفت که هیچ روحی ندارد.
@elmedadeir

یکی از دلایل رونق شرکت‌های ارائه دهنده‌ی خدمات رایانش ابری بزرگ مثل

AWS, GCP or Azure

اینه که اینها حسابی از سیستم‌ها و سرورهای در دسترشون، کار می‌کشند. بعنوان مثال در دنیای
AWS
سروری داریم با عنوان

Spot Instance

این گزینه چیزی نیست جز سرورهایی که رزرو نشدند و مورد تقاضا هم نیستند و بنوعی ظرفیت مازاد محسوب می‌شوند.

اما آمازون چه می‌کند با این سرورها؟ همین جوری اونها رو بلا استفاده نگه می‌داره و به افق خیره می‌شه؟

خیـــــر؛ آمازون اونها رو بمن و شما با یک قیمت بسیار کم می‌فروشه، ولی به محض نیاز مشتریان اصلی، سرور از دسترس ما خارج می‌شه (تنها دو دقیقه قبل از خاموش شدن، یک نوتیف دریافت می‌کنیم) تا به سوگلی‌های اصلی که پول تپل‌تری پرداخت می‌کنند برسد.

مثلن در برخی از موارد میشه این سرورها رو با ۹۰ درصد تخفیف نسبت به قیمت اصلی تهیه کرد. اگر بتونیم برای انجام کارهای خودمون، پایپ‌لاین‌ها یا تسک‌ها رو خوب کانفیگ کنیم (که اگر سرور از دسترس خارج شد، بنوعی تسک‌های قبلی ذخیره بشوند. مثل ساختن یک سیستم چک‌پوینتینگ) استفاده از این سرورها بشدت هزینه‌های ما رو کاهش می‌ده، یه پولی هم دوباره به جیب آمازون می‌ره.

سیستم قیمت‌گذاری این سرورها هم خیلی جالبه. در ابتدا ما یک قیمت می‌دیم به آمازون. با توجه به تقاضا در بازار، قیمت کم یا زیاد میشه. سرور تا زمانی در اختیار ما هست که قیمت پیشنهادی ما، بالاتر از میانگین باشه. به محض اینکه آمازون بفهمه که قیمت ما براش صرف نمی‌کنه، سرور رو از ما می‌گیره و به نفر بعدی می‌ده.

دم‌شون گرم خداییش با این اکوسیستمی که راه انداختن. شما فقط چند دقیقه به این سیستم نرم‌افزاری داستان فکر کنی، بسیار زیباست.
.
#aws, #cloud_computing
.
@elmedadeir

📔 کتاب پیش‌بینی داده‌های زمانی با استفاده از یادگیری عمیق

استفاده از پایتورچ، تی سی ان، آر ان.ان و شبکه‌های عصبی عمیق برای پیش‌بینی دقیق.

#DeepLearning
#PyTorch

.
@elmedadeir

Top programming languages for AI :

1. Python

2. Java

3. Prolog

4. C++

5. Lisp


#Artificial_Intelligence
#AI_Tools
#programming_languages_AI

.
@elmedadeir

گاهن پیش میاد که دنبال مقاله‌ای در سطح نت می‌گردیم، ولی از موضوع مورد جستجو سایت‌های بسیار زیادی توسط گوگل بما معرفی می‌شوند.

تجربه بمن میگه، در حوزه‌های مرتبط با دیتا، مدیوم بتازگی کیفیت خودش رو از دست داده ولی من بشخصه تمامی مقالاتی که در سایت

https://realpython.com/

خوندم، عالی بودند. نحوه نگارش، کدها و دیتاست‌های استفاده شده، روش حل یا بیان؛ خلاصه همه چیز به بهترین شکل ممکن در این مجموعه و مقالات منتشر شده در آن، ارائه شده بود.

پس اگر در انتخاب یک مقاله بین این دو سایت در حال تصمیم گیری هستید، به عقیده‌ی بنده عنوانی که در سایت فوق منتشر شده رو مطالعه کنید.
.
#real_python, #medium
.
@elmedadeir

♦️اگر در مباحث ریاضی و آمار برای هوش مصنوعی، دارای ضعف پایه‌ای هستید، این لیست پخش در یوتیوب را مشاهده نمایید.

♦️تدریس به زبان فارسی است

⬅ مشاهده‌ی لیست پخش در یوتیوب
.
#mathematics
.
@elmedadeir

چهارمین تخفیف برای علاقمندان به دنیای مهندسی داده:

چهارمین دوره جامع مهندسی داده
با بروزترین سرفصل‌ها در دنیای مهندسی داده

🔴 تنها سه کد تخفیف 30% بزودی اعلام خواهد شد!

لینک بررسی محتوای دوره

➡️ https://www.m-fozouni.ir/de4/

🔻 گوش به زنگ باشید.
.
@elmedadeir

با این کتاب که یک راهنمای جامع گام به گام برای مبتدیان هست شما می‌توانید:

✓ مهارت‌های خود را افزایش دهید.

✓ بهتر از داکر استفاده کنید.

✓ پروژه‌های خود را سریع‌تر و بهتر انجام دهید.
.
#docker
.
@elmedadeir

چرا یک دیتاساینتیست باید داکر بلد باشه؟

‌🟢 در وهله‌ی اول باید گفت که هیچ لزومی در یادگیری داکر برای دیتاساینتیست‌ها نیست. اما ...

🟢 چون در فاز بکارگیری مدل در خیلی از موارد ما نیاز داریم که یک وب اپلیکیشن رو پیاده کنیم، اگر داکر بلد باشیم، از این بخش پروژه خط نخواهیم خورد. عمومن بچه‌های تیم تحلیل داده، مدل رو آماده می‌کنند ولی خیلی کم پیش میاد که خودشون هم اونرو پیاده کنند.

🟢 پس دونستن داکر یکجورایی تضمین می‌کنه که تا آخرین روزهای زندگی مدل، در کنارش باشیم.

🟢 البته داکر خیلی چیز باحالیه. میشه گفت تیم توسعه‌دهنده رو از وابستگی به یک سیستم عامل بی‌نیاز می‌کنه. اما چرا؟

🛑 فرض کنید یک اپی در سیستم عامل ویندوز نوشته شده. این اپ برای بررسی به تیم دیگری که با لینوکس یا مک کار می‌کنند، ارسال می‌شود. چون محیط‌ها و سیستم عامل‌ها یکی نیست، تیم دوم نمی‌توانند اپ رو اجرا کنند و تغییرات لازم رو بدهند.

🛑 در این مواقع داکر میاد وسط بازی، اپ رو بررسی می‌کنه. تمام وابستگی‌ها برای اجرا رو یادداشت می‌کنه و بنوعی یک طرز تهیه برای خودش می‌نویسه. به این کار اصطلاحن می‌گن داکرایز کردن. حالا اپی که داکرایز شده، دیگه مهم نیست که با چه سیستم عاملی بخواهیم اون رو اجرا کنیم. همه جا اجرا خواهد شد و این خاصیت داکر فوق‌العاده است.
.
#docker
.
@elmedadeir

اگر میزان واقعی شکست پروژه‌های یادگیری ماشین بصورت واقعی چاپ می‌شد، هیچ وقت چنین افکاری بما هجوم نمی‌آورد.

بابا مگه کشکه؟ اونایی که هم سرمایه دارن، هم نیروی انسانی و هم تجهیزات سخت‌افزاری هم به این موارد زیاد فکر نمی‌کنند.

پس پاسخش میشه

خیر 😎، اگر هم کسی چنین کاری رو کرده باشه، صداش در نخواهد آمد.

ما می‌تونیم کارهای بسیار بزرگ‌تری بکنیم، کافیه کمی فکر کنیم.
.
@elmedadeir

اگر برای مطالعه‌ی مقالات وبسایت مدیوم، بخصوص آنهایی که در بخش

members only

قرار دارند، مشکل دارید، خیلی راحت این افزونه رو روی مرورگر گوگل کروم‌تون نصب کنید. بعد موارد ذیل رو انجام بدید

۱- فعال‌سازی افزونه در مرورگر.

۲- باز نمودن لینک مقاله‌ی مد نظر در مدیوم.

۳- کلیک روی آیکون افزونه.

حالا براحتی مقاله رو بخونید.

لینک افزونه 👇👇👇

https://chromewebstore.google.com/detail/medium-unlock/babnnfmbjokkeieobamoifmeapbbfhje?pli=1
.
#medium
.
@elmedadeir

.
کد تخفیف پنجاه درصدی، برای پنج نفر (فعال تا پنج روز) روی این دوره. کد 👇👇👇

AWSde50

لینک تهیه دوره 👇👇👇

https://m-fozouni.ir/de-aws
.
♦️ این دوره تنها شامل مباحث مهندسی داده روی کلاد آمازون، AWS می‌باشد.
.
📍تمام ظرفیت این کد به پایان رسید. منتظر سایر پیشنهادات ما باشید.📍
@elmedadeir

موزیک دلخواهت رو با هوش مصنوعی بساز! 🎵


در این ویدیو شما رو با یک سایت هوش مصنوعی جذاب آشنا می‌کنم که به راحتی می‌تونید با نوشتن پرامپت دلخواه، موزیک سفارشی خودتون رو بسازید!
حتماً تا انتها همراه باشید و از قابلیت‌های بی‌نظیر این سایت استفاده کنید.

تماشای ویدیو

https://www.youtube.com/watch?v=BwhM4qikahs


#Artificial_Intelligence
#AI_Tools

.
@elmedadeir

♦️اگر در انتخاب این دو مسیر مردد هستید و کلی سوال دارید، این مقاله رو بخونید. شاید به برخی از ابهامات شما، پاسخ بدهد 👇👇👇
.
https://www.m-fozouni.ir/data-science-or-data-engineering/
.
♦️دوره‌ی ویدیوی رایگانی که دوست‌مون در این پیام به آن اشاره می‌کند را اینجا خواهید دید 👇👇👇
.
https://www.m-fozouni.ir/data-science-free-course/
.
#data_engineering
#data_science
.
@elmedadeir

این کتاب به شما کمک می‌کند تا:

✓ اصول اولیه هوش مصنوعی را بفهمید.

✓ با چت‌جی‌پی‌تی کار کنید.

✓ هوش مصنوعی را در کارهای روزمره به کار ببرید.

✓ سیستم‌های هوش مصنوعی بسازید.

✓ از آژور برای هوش مصنوعی در کسب‌وکار استفاده کنید.

✓ هوش مصنوعی را به شیوه‌ای درست توسعه دهید.

این کتاب برای همه مناسب است، از مبتدیان تا توسعه‌دهندگان.

➖➖➖➖➖➖➖➖➖➖➖➖➖➖
#ChatGPT
#آموزش_هوش_مصنوعی
#مایکروسافت_آژور

.
@elmedadeir

سومین تخفیف پنجاه درصدی از مجموعه برای علاقمندان به مباحث رایانش ابری و مهندسی داده:

مهندسی داده با AWS
تنها آموزش ابزارهای اساسی از دنیای AWS در حوزه‌ی مهندسی داده

⬅️ پنج کد تخفیف 50% بزودی اعلام خواهد شد!

لینک بررسی محتوای دوره

➡️ https://www.m-fozouni.ir/de-aws/

🔻 گوش به زنگ باشید.
.
@elmedadeir

@elmedadeir

قطعه کد رسم شکل بصورت داینامیک با پایتون

رده سنی: شیرخوارگان 😂

نکته: نیاز به نصب کتابخانه‌ی turtle نیست و بصورت پیش فرض، وجود دارد.

import turtle 

t = turtle.Turtle()
t.shape("turtle") 
t.color("green") 
t.speed("fast") 
t.width(4) 

screen = turtle.Screen() 
screen.title("مهندسی داده و رایانش ابری") 

for i in range(8): 
    for j in range(8): 
        t.forward(100) 
        t.right(45) 
    t.right(45) 

t.hideturtle() 
turtle.done()

سلام دوستان 🌟

🔹 آیا به دنبال یادگیری آنلاین و حرفه‌ای پایتون، علم داده و زبان‌های برنامه‌نویسی آر و جولیا هستید؟
🔹 برای انجام پروژه‌های تخصصی خود در این حوزه‌ها نیاز به کمک دارید؟

🎯 من، علی محمدی، با سال‌ها تجربه در تدریس و اجرای پروژه‌ها، آماده‌ام تا در کلاس‌های آنلاین به شما کمک کنم تا به سطح حرفه‌ای برسید و پروژه‌های خود را با کیفیت بالا انجام دهید!

💡 ویژگی‌های کلاس‌های آنلاین و خدمات پروژه‌ای ما:
✔️ آموزش از سطح پایه تا پیشرفته
✔️ انجام و مشاوره پروژه‌های تخصصی در حوزه‌های تحلیل داده و علم داده
✔️ برگزاری جلسات آنلاین پروژه‌محور و عملی
✔️ مناسب برای علاقه‌مندان به حوزه‌های برنامه‌نویسی و دیتاساینس

اگر برای پروژه‌های تخصصی و یادگیری آنلاین در زمینه‌ی دیتاساینس به دنبال مشاوری حرفه‌ای و آموزش کاربردی هستید، همین حالا در تلگرام به آی‌دی

@ali_mohammadi3570

پیام دهید.

منتظر حضور شما در کلاس‌ها و پروژه‌ها هستم! 🌟

اگر علاقمند به ورود به دنیای کار با داده (دیتا) هستید و هیچ دانش و اطلاعاتی ندارید، بشما یک دوره متنی بسیار ساده و مقدماتی را توصیه می‌کنیم. این دوره کاملن رایگان هست و تنها کافیست که وارد لینک زیر شده، ثبت‌نام کنید و زمان برای یادگیری تخصیص دهید.
.
🚀 https://www.m-fozouni.ir/courses/simple-data-science-course/
.
#datascinece
.
@elmedadeir

.
کد تخفیف پنجاه درصدی، برای پنج نفر (فعال تا پنج روز) روی این دوره. کد 👇👇👇

deFt50

لینک تهیه دوره 👇👇👇

https://m-fozouni.ir/reg
.
📍تمام ظرفیت این کد به پایان رسید. منتظر سایر پیشنهادات ما باشید.📍
.
@elmedadeir

اسنو فلیک چیست؟ دموی 8 دقیقه‌ای❄️☁️

#Snowflake#DataEngineering #CloudComputing#ETL


.
📲 Telegram channel: @elmedadeir

با اودی‌اچ ما می‌تونیم همچین معماری خفنی رو طراحی و اجرا کنیم.
.
@elmedadeir

‌
اگر نمی‌دونید رِی (Ray) چی هست، مقاله‌ی جدیدمون رو مطالعه کنید

عنوان:

مقایسه و بررسی دو فریم‌ورک از دنیای ام‌ال‌آپس؛ ODH and Ray

مقدمه‌ی مقاله:

در دنیای پهناور ام‌ال‌آپس که در سال‌های اخیر بسیار مورد توجه شرکت‌ها و کمپانی‌های بزرگ قرار گرفته، دو فریم‌ورک بسیار محبوب به نام‌های اودی‌اچ (ODH) و ری (Ray) وجود دارند. در ادامه قصد داریم که در خصوص مشخصات هر یک از این فریم‌ورک‌ها توضیح دهیم که شما بتوانید انتخاب معقول و درستی از آنها داشته باشید. توجه بفرمائید که برای استفاده از اینها، شما به هیچ وجه نیاز به عنوان شغلی مهندس ام‌ال‌آپس ندارید. اگر در دنیای دیتا و هوش مصنوعی فعال هستید، و نیازهای خاصی در محل کار پیدا کردید، این دو فریم‌ورک می‌توانند به خدمت شما درآیند. کافیست که تنها بدانیم هدف ما چیست.

لینک مطالعه‌ی مقاله:

https://www.m-fozouni.ir/odh-versus-ray/
.
#mlops, #ray, #odh
.
@elmedadeir

این کتاب چه چیزی را آموزش می‌دهد؟

✓ چطور از ام ال آپس استفاده کنیم

✓ چه تکنولوژی‌هایی برای ام ال آپس لازم هستند

✓ چگونه یک استراتژی خوب برای ام ال آپس داشته باشیم
چطور داده‌ها را آماده کنیم


این کتاب برای چه کسانی مناسب هست؟

افرادی که می‌خواهند مدل‌های یادگیری ماشین بسازند و استفاده کنند.

.
@elmedadeir

وقتی که بخواهیم در اسپارک یک جوین (الحاق) بین دو دیتاست بسیار بزرگ بزنیم، بهتره که از تابع
broadcast()

استفاده کنیم. این تابع یک کپی از دیتا رو برای ما بین ورکرها پخش می‌کنه و باعث می‌شه که در دفعات بعدی عمل جوین بسیار راحت‌تر صورت بگیره.

مثال:

df_flights = df_flights.join(broadcast(df_airlines), df_flights.airline == df_airlines.code)

در این مثال ما ضمن اینکه عمل جوین رو انجام می‌دیم، یکی کپی از دیتاست
df_airlines

رو هم با کمک تابع مذکور بین ورکرها پخش می‌کنیم. توصیه می‌شه که تابع فوق رو روی دیتاستی که کوچک‌تر هست اعمال کنیم.

برای مشاهده سایر بهینه‌سازی‌های اسپارک، به این لینک مراجعه کنید

https://spark.apache.org/docs/latest/sql-performance-tuning.html

هنر کسی که با دیتا کار می‌کنه، گاهن این هست که عملیاتی رو انجام بده که تا حد ممکن ارزون‌تر باشه، چون تمام این محاسبات هزینه داره برای مجموعه.
.
#spark
.
@elmedadeir

شخصی که از دنیای دیتا هیچ نمی‌داند، اگر بدون هیچ آموزشی و به یکباره وارد ام‌ال‌آپس شود، یک گناه کبیره و نابخشودنی در حق خود انجام داده؛ چون به عقیده بنده این فرد تبدیل به یک مهره سوخته خواهد شد. چنین حوزه‌هایی نیاز به پختگی و مهارت‌های عمیق دارند که اگر متقاضی نداشته باشد، نمی‌تواند در محیط کاری آنگونه که باید و شاید، عمل کند و این باعث سرخوردگی ایشان خواهد شد.

از طرفی، شخصی که در وادی دیتا و هوش مصنوعی، حداقل دو سال کار کرده، یکی از بهترین انتخاب‌ها برای ایشان در حال حاضر ام‌ال‌آپس هست. در واقع شخص بعد از کسب برخی از تجربیات، دانش خود را بسمتی هدایت می‌کند که بتواند صفر تا صد یک محصول مبتنی بر دیتا و یادگیری ماشین را توسعه داده و در سرورهای سازمان مستقر کند؛ و در حال حاضر چنین نیروهایی حکم الماس را برای کمپانی‌ها پیدا کرده‌اند. بسیار نادر ولی قیمتی.
.
#mlops
.
@elmedadeir

دومین تخفیف 50 درصدی از مجموعه!

دوره آموزشی «مبانی مهندسی داده» شامل آموزش‌هایی در زمینه‌های ذیل

1- لینوکس
2- داکر
3- ایرفلو
4- کافکا
5- اسپارک
6- کوبرنتیز

⬅ تنها 5 کد 50 درصدی اعلام خواهد شد.

➡ https://m-fozouni.ir/reg

🔻 گوش به زنگ باشید
.
@elmedadeir

نحوه عملکرد درخت تصمیم:

درخت تصمیم با پرسیدن سؤالاتی درباره ویژگی‌های داده‌ها شروع می‌کند. در هر گره از درخت، یک سؤال پرسیده می‌شود و داده‌ها بر اساس پاسخ به این سؤال به شاخه‌های مختلف تقسیم می‌شوند. این فرآیند تا زمانی ادامه می‌یابد که داده‌ها به اندازه کافی برای طبقه‌بندی دقیق تقسیم شوند.


مزایای درخت تصمیم:

سادگی و قابل فهم بودن: درخت‌های تصمیم به راحتی قابل درک و تفسیر هستند.

قابلیت استفاده برای داده‌های عددی و گسسته: درخت‌های تصمیم می‌توانند با انواع مختلف داده‌ها کار کنند.

نیاز به آماده‌سازی کم داده: درخت‌های تصمیم به پیش‌پردازش داده کمتری نسبت به برخی الگوریتم‌های دیگر نیاز دارند.


معایب درخت تصمیم:

حساسیت به نویز داده: درخت‌های تصمیم ممکن است به دلیل نویز در داده‌ها، پیچیده و غیر دقیق شوند.

ممکن است به بیش‌برازش منجر شود: اگر درخت خیلی بزرگ شود، ممکن است الگوهای تصادفی در داده‌ها را یاد بگیرد و در داده‌های جدید عملکرد خوبی نداشته باشد.

#Decision_tree
#Random_forest

.
@elmedadeir

اینهم نظر یکی از همراهان در کانال. آیا شما با ایشان موافق هستید؟

♦️در قسمت نظرات برای ما بنویسید

علاقه دارم که نظر افراد مختلف در این کانال رو بررسی کنم که ببینم چطوری به هوش مصنوعی شما نگاه می‌کنید.
.
#ai
.
@elmedadeir

نظر ایشان نه تائید و نه رد می‌شود. این تصویر تنها برای به اشتراک‌گذاری با دوستان در اینجا قرار داده شده است. البته بنده پروفایل این دوستمون رو چک کردم و ظاهرن خودشون در یک شرکت آلمانی بصورت هیبرید مشغول به فعالیت هستند.
.
@elmedadeir

در دهه‌ی گذشت شاهد حضور بی‌نظیر هوش مصنوعی و مباحث تحلیل داده در سازمان‌های مختلف بودیم. اما گذشت زمان به همگان ثابت نمود که بدون بستر دیتایی مناسب انجام پروژه‌هایی که وابسته به دیتا می‌باشد، غیر ممکن است. در نتیجه مهندسی داده متولد شد تا پاسخی باشد به این نیاز؛ یعنی حوزه و رشته‌ای که بستر و زیر ساخت دیتایی را برای کسب‌وکارها تهیه و تدارک می‌بیند. اما دنیای هوش مصنوعی که بسرعت باد در حال توسعه و تکامل است، اخیرن برگ دیگری را برای ما رو کرده و آن هم نیاز به متخصصین ام‌ال‌آپس می‌باشد که به خواسته‌های تخصصی سازمان‌ها پاسخ مناسب‌تر و سریع‌تری بدهند. در ادامه سعی می‌کنیم به این سوال که «ام‌ال‌آپس چیست و چگونه وارد این حوزه بشویم؟» پاسخ بدهیم.

ادامه مقاله 👇👇👇

https://m-fozouni.ir/what-is-mlops

♦️ خلاصه برای افراد پرمشغله

MLOps = Machine Learning + Data Engineering + DevOps

هر چند که بنده بشخصه با تربیت آچار فرانسه مخالفم، اما در این اقتصاد داغان، ما توان مقابله با کسب‌وکارها و شرکت‌ها را برای این به اصطلاح «مدیریت بهتر منابع» نداریم. هر چند که ام‌ال‌آپس هم برای خودش تکنیک‌های جالبی دارد.
.
@elmedadeir

ویدیوی مقاله‌نویسی در چند ثانیه با هوش مصنوعی! 🚀
.


@elmedadeir

کد تخفیف پنجاه درصدی، برای پنج نفر (فعال تا پنج روز) روی این دوره. کد 👇👇👇

dePY50

لینک تهیه دوره 👇👇👇

https://m-fozouni.ir/de
.
📍تمام ظرفیت این کد به پایان رسید. منتظر سایر پیشنهادات ما باشید.📍
.
@elmedadeir

📝 مقاله‌نویسی در چند ثانیه با هوش مصنوعی! 🚀


در این ویدیو به شما آموزش می‌دهم که چگونه با استفاده از هوش مصنوعی تنها در چند ثانیه یک مقاله حرفه‌ای بنویسید! اگر وقت کافی برای نوشتن ندارید یا به دنبال یک راه سریع و ساده برای تولید محتوای باکیفیت هستید، این آموزش دقیقاً همان چیزی است که به آن نیاز دارید.

لینک تماشای ویدیو

https://www.youtube.com/watch?v=6a4whuIfKZk

➖➖➖➖➖➖➖➖➖➖➖➖➖➖

#هوش_مصنوعی,#مقاله_نویسی,#نوشتن_با_هوش_مصنوعی,#Writesonic,#تولید_محتوا,#محتوا_نویسی,#AI_مقاله,#ابزار_هوش_مصنوعی,#آموزش_هوش_مصنوعی,#AIWriting


.

@elmedadeir

کتابخانه‌های پایتون برای مهندسی داده 🐍

# -----------------------------------------------
# Python Libraries for Data Engineering
# Installing essential libraries for data manipulation, visualization, 
# large-scale processing, workflow management, and API development
# -----------------------------------------------

# Install libraries for data manipulation and numerical operations
pip install pandas numpy dask pyspark SQLAlchemy

# Install libraries for data visualization
pip install matplotlib seaborn

# Install libraries for workflow management, data validation, and web scraping
pip install apache-airflow great_expectations scrapy

# Install libraries for working with different data formats and large datasets
pip install pyarrow openpyxl vaex h5py

# Install libraries for creating APIs and faster data manipulation
pip install fastapi polars

#Python #DataEngineering #DataScience #MachineLearning #Pandas #Numpy #Visualization #APIDevelopment
.

@elmedadeir

‌
دستور کاربردی در پایتون

pip list -o

.
@elmedadeir

#معرفی_کتاب

نوشتن کد خوب، مهم‌ترین چیز برای موفقیت پروژه‌های علم داده است. این کتاب عملی، به شما نشان می‌دهد که چگونه بهترین روش‌های مهندسی نرم‌افزار را در علم داده استفاده کنید.

مثال‌ها در پایتون ارائه شده‌اند. اگر می‌خواهید کد علم داده بهتری بنویسید، این کتاب به شما کمک می‌کند تا:

ساختار داده‌ها و برنامه‌نویسی شی‌گرا را درک کنید.
کد خود را به خوبی مستند کنید.
کد خود را بسته‌بندی و به اشتراک بگذارید.
کد خود را با کدهای بزرگتر ادغام کنید.
نحوه نوشتن APIها را یاد بگیرید.
کد امن بنویسید.
بهترین روش‌ها را برای آزمایش، خطا و سایر کارهای معمول استفاده کنید.

#DataScience
#API
➖➖➖➖➖➖➖➖➖➖➖➖➖➖


@elmedadeir

.

@elmedadeir

این کتاب به شما کمک می‌کند تا با استفاده از آر، آمار را از داده‌های بازی‌های بسکتبال یاد بگیرید. شما در این کتاب، تکنیک‌های آماری مختلف را یاد می‌گیرید و با استفاده از آن‌ها، اطلاعات جالب و مفیدی در مورد بازی‌های بسکتبال کشف می‌کنید.

موضوعات اصلی: خواندن و نوشتن داده‌ها، نصب و بارگیری بسته‌ها، تغییر و مرتب‌سازی داده‌ها، تحلیل داده‌ها، نمایش داده‌ها، یادگیری ماشین، آزمون‌های فرضیه، محاسبه مقادیر مورد انتظار.

مزایا: یادگیری آمار با داده‌های واقعی، توسعه مهارت‌های تحلیل داده‌ها، یادگیری تکنیک‌های آماری پیشرفته، کشف اطلاعات جدید در مورد بسکتبال، استفاده از نرم‌افزار آر، ایجاد نمایش‌های جذاب.


➖➖➖➖➖➖➖➖➖➖➖➖➖➖
#R
#NBA
#DataScience

.
@elmedadeir

برای علاقمندان به دنیای مهندسی داده، روی دوره‌ی «مهندسی داده با پایتون برای مبتدیان» بزودی یک کد تخفیف بی‌نظیر 50% اعلام خواهیم کرد. فقط 5 عدد و تنها این امر در کانال تلگرام ما اطلاع‌رسانی می‌شود.

پس اگر علاقمند می‌باشید وارد این حوزه‌ی بی‌نظیر بشوید و مبتدی هستید، گوش به زنگ باشید.
.
@elmedadeir

فیلم کم حجم شده‌ی سخنرانی فوق جهت استفاده‌ی دوستانی که دسترسی به یوتیوب ندارند

⬅️ تماشای ویدیو با کیفیت اچ‌دی در یوتیوب
.
#STeam #pandora #ai #cloud_computing
.
@elmedadeir

جهت تماشای این سخنرانی به لینک زیر مراجعه کنید

https://youtu.be/D7kcwofTgPQ
.
@elmedadeir

#Power_BI
#ETL

.
🌐 @elmedadeir

📚 این کتاب به شما کمک می‌کند تا سریع‌تر یاد بگیرید که چگونه داده‌ها را در پاور بی آی مدل‌سازی کنید. شما با مثال‌های عملی آشنا می‌شوید و یاد می‌گیرید که چگونه داده‌ها را مرتب کنید، چالش‌ها را حل کنید، مشکلات عملکرد را کشف و حل کنید و با جداول، روابط و خطوط لوله کار کنید.


#Power_BI
#ETL

➖➖➖➖➖➖➖➖➖➖➖➖➖➖

🌐 @elmedadeir

The Complete DevOps Roadmap
.
#DevOps
#CI_CD
#Kubernetes
.
@elmedadeir

ابزار جدید گوگل برای مصاحبه علوم داده 🎯

آیا آماده‌اید تا با یکی از قدرتمندترین ابزارهای گوگل برای مصاحبه در حوزه علوم داده آشنا شوید؟

این ویدیو رو ببین و یاد بگیر چطور مهارت‌هات رو به سطح بعدی برسونی و در مصاحبه‌ها موفق بشی! 🚀


#گوگل #مصاحبه #علوم_داده #موفقیت #مصاحبه_شغلی #ابزارهای_گوگل #مهارت_داده #دیتاساینس

.

@elmedadeir

وقتی بزرگان اینقدر «نمی‌دانمِ بزرگ ذهنی» دارند، مدعی شدن در این فضا نادانیِ مطلق قلمداد خواهد شد. خلاصه زیاد نباید ادعامون بشه که همه‌چیزدان هستیم.

در دنیای تکنولوژی همه‌ی ماها دانشجوایم!

Geoffrey Hinton
British-Canadian computer scientist
.
@elmedadeir

.

#Docker

@elmedadeir

یک کتاب کامل درباره داکر است.

موضوعات:

✓ ساخت و اشتراک‌گذاری تصاویر کانتینر
✓ مدیریت برنامه‌های چند کانتینری
✓ ساخت کانتینرهای ایمن و کارآمد
✓ آخرین فناوری‌های داکر

یک منبع ارزشمند برای توسعه‌دهندگان است.


.

#Docker

@elmedadeir

.


@elmedadeir

پردازش زبان طبیعی یک تکنولوژی است که به کامپیوترها کمک می‌کند تا زبان انسان را درک و پردازش کنند. این فناوری می‌تواند برای کارهایی مانند تشخیص احساسات، ترجمه زبان‌ها و حتی تشخیص بیماری‌ها استفاده شود.

این کتاب به شما کمک می‌کند تا درک بهتری از پردازش زبان طبیعی داشته باشید و ببینید چگونه می‌تواند در زمینه‌های مختلف کاربرد داشته باشد.


#NLP
#Machine_learning


@elmedadeir

آپاچی کافکا در 5 دقیقه💥
.
#kafka
#ETL
@elmedadeir