Data Science | علم داده Telegram 帖子

📚 جزوه پاکسازی و مصورسازی داده‌ها
🐼 با کتابخانه Pandas
🗓 حاصل تجربیاتم در پروژه‌های واقعی


🧑🏻‍💻 جزوه‌ای که آماده کردم، نتیجه تجربیاتم از کار با کتابخونه قدرتمند Pandas برای پاکسازی و مصورسازی داده‌ها در پروژه‌های واقعیه. این کتابخونه واقعاً یه ابزار بی‌نظیره و باهاش می‌تونین داده‌هاتون رو به بهترین شکل ممکن تمیز، آماده سازی و حتی تحلیل و مصورسازی کنین.

💰 سعی کردم تو این جزوه، همه فوت و فن‌هایی مهم و کاربردی Pandas رو که یاد گرفتم، به‌صورت منظم و خلاصه جمع‌ آوری کنم. از حذف سلول‌های خالی و اصلاح خطاها گرفته تا چگونگی رسم نمودارهای خطی، میله‌ای، هیستوگرام و... با چندتا دستور ساده. همه این نکات می‌تونن بهتون کمک کنن تا مهارت‌هاتون رو توی کار با داده‌ها و استفاده از این کتابخونه به بالاترین سطح برسونین.👌


🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

✅ راهنمای انتخاب رنگ برای مصورسازی داده‌ها
📊 معرفی شش سایت تخصصی و ذکر پنج نکته!


🧑🏻‍💻 انتخاب رنگِ مناسب برای بصری‌سازی داده‌ها همیشه چالش‌ برانگیز بوده. اما نگران نباشین! برای اینکه داده‌هاتون هم زیبا بنظر برسن و هم مفهوم رو منتقل کنن، یه سری ابزار هست که بهتون کمک می‌کنه تا رنگ‌های مناسبی رو برای نمایش داده‌هاتون انتخاب کنین.

✅ با این 5 نکته و 6 وبسایت می‌تونین بصری‌سازی داده‌هاتون رو به بهترین شکل ممکن انجام بدین:

1️⃣انتخاب رنگ‌هایی که حواس رو پرت نکنه.
2️⃣ رنگ‌های مخالف رو استفاده نکنین.
3️⃣ انتخاب رنگ‌هایی که معنای خاصی رو برسونه.
4️⃣ از طیف‌های مختلف یک رنگ استفاده کنین.
5️⃣ رنگ‌ها رو یکدست نگه دارین.


1️⃣ وبسایت Coolors
┤ ⏪ ساخت پالت‌های رنگی برای پروژه‌ها
┘ 💰 لینک: Website


2️⃣ وبسایت Color Brewer 2.0
┤ ⏪ تولید پالت‌های رنگی مخصوص نقشه‌ها.
┘ 💰 لینک: Website


3️⃣ وبسایت Paletton
┤ ⏪ انتخاب پالت رنگی برای طراحی‌ها و ارائه‌ها.
┘ 💰 لینک: Website


4️⃣ وبسایت Color Moods
┤ ⏪ انتخاب جفت‌های رنگی بر اساس میزان تحریک.
┘ 💰 لینک: Website


5️⃣ وبسایت Viz Palette
┤ ⏪ ساخت و آزمایش پالت رنگی مناسب.
┘ 💰 لینک: Website


6️⃣ وبسایت I Want Hue
┤ ⏪ تولید و تنظیم پالت‌هایی با رنگ‌های کاملاً متمایز.
┘ 💰 لینک: Website


🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

✳ The Second Symposium on Frontiers in Computer and Data Sciences


📆 February 26 - 27

❇ Khatam University, Building No.1

‼️Registration "Required" Deadline: Friday February 21


✅ Registration link:
https://teias.institute/frontiers-2025/



@teiasevents

👽 هکاتون «هوش‌مصنوعی دانشگاه تهران»

✅ هکاتون «UT AI» هشتمین هکاتون کوئراست که با همکاری دانشگاه تهران و همراهی شرکت‌های فعال در حوزه بیمه، با موضوع #پردازش_تصویر برگزار می‌شه.

⚡️رقابت انتخابی
آنلاین | ۹ اسفند: چالش‌های پردازش تصویر (طبق سرفصل‌های دوره آموزشی هکاتون)

⚡️رقابت فینال
حضوری در دانشگاه تهران | ۲۸ فروردین: مسائل واقعی بینایی ماشین در حوزه بیمه

🔘 ۶۰ میلیون تومان جایزه نقدی
🔘 اهدای گواهینامه
🔘 ۶ ساعت فیلم آموزشی + ۳ ساعت کارگاه آنلاین
🔘 امکان پرداخت قسطی
🔘 فرصت #استخدام

🔴 بلافاصله بعد از ثبت‌نام، فیلم‌ها و محتوای آموزشی #هکاتون در اختیارتون قرار می‌گیره.

✅ مهلت ثبت‌نام تا ۸ اسفند

🌐 ثبت‌نام و اطلاعات بیشتر:
🔗 https://quera.org/r/zl7r4

➖➖➖➖
#Quera #Queracontest

🎓 پروژه‌های علوم داده خودت رو بساز!
💸 5 ایده جذاب برای ایجاد پروژه‌های علم داده

👩🏻‍💻 دیگه وقتشه پروژه‌های آموزشی و تکراری رو بذارین کنار! چرا خودت دست به کار نشی و پروژه‌های شخصی خودت رو شروع نکنی؟ اینجوری هم بیشتر یاد می‌گیری، هم به ایده‌های خودت پر و بال میدی!

✅ برای اینکه راحت‌تر شروع کنین، من 5 تا ایده جذاب برای پروژه‌های علوم داده رو به همراه دیتاست‌شون براتون آماده کردم. با این پروژه‌ها می‌تونین مهارت‌هات رو تقویت کنین و حسابی خودتون رو به چالش بکشین. پس وقتو تلف نکنین و این پروژه‌ها رو شروع کنین!


1️⃣ پروژه عملکرد کشورها در المپیک تابستانی

✅ ایده پروژه: ساخت داشبوردی برای بررسی و مقایسه عملکرد کشورها در المپیک و پیدا کردن کشورهایی که در حال پیشرفت هستن.

⏪ مهارت‌ها: تحلیل سری‌های زمانی، مصورسازی داده، SQL ،Python

📎 دیتاست: Summer Olympics Dataset


2️⃣ پروژه تحلیل تغذیه فست فود

✅ ایده پروژه: گروه‌بندی آیتم‌های منوی فست فود بر اساس ارزش‌های غذایی و کشف الگوهای جالب در منوها.

⏪ مهارت‌ها: تحلیل اکتشافی داده‌ها، یادگیری ماشین بدون نظارت، Python.

📎 دیتاست: Fast Food Nutrition Dataset


3️⃣ پروژه نظرات کاربران Airbnb

☑️ ایده پروژه: ساخت سیستمی که به کاربران پیشنهادهای بهتری برای اقامت بر اساس نظرات و ویژگی‌های مکان‌ها بدهد.

⏪ مهارت‌ها: یادگیری ماشین، مهندسی ویژگی‌ها، SQL، Python.

📎 دیتاست: Airbnb Listings & Reviews


4️⃣ پروژه فیلم‌ها

✅ ایده پروژه: ایجاد سیستمی که فیلم‌های جدید را بر اساس امتیازات و سلیقه کاربران پیشنهاد دهد.

⏪ مهارت‌ها: یادگیری ماشین بدون نظارت، مهندسی ویژگی، Python ،SQL.

📎 دیتاست: Movies Dataset


5️⃣ پروژه سلامت روان

✅ ایده پروژه: تحلیل داده‌های جهانی درباره اختلالات روانی و نمایش تغییرات آن‌ها در طول زمان با گراف‌های تعاملی.

⏪ مهارت‌ها: تحلیل سری‌های زمانی، مصورسازی داده، تحلیل اکتشافی داده‌ها، .Python

📎 دیتاست: Mental Health Dataset


🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

✅ 5 تا از بهترین دیتاست‌های Kaggle
💸 برای پروژه‌های علوم داده (در زمینه‌ی مالی)

👨🏻‍💻 اگه دنبال دیتاست‌هایی برای انجام پروژه‌های مالی هستین، دیتاست‌هایی که توی سایت Kaggle ارائه می‌شن، می‌تونن گزینه‌ای عالی‌ باشن.

⏪ این دیتاست‌ها معمولا تمیز و آماده‌ی استفاده هستن و برای مدل‌های یادگیری ماشین خیلی مناسبن. بعضی از این دیتاست‌ها حتی به‌صورت روزانه آپدیت می‌شن و می‌تونین از اون‌ها برای تحلیل‌های عمیق‌تر استفاده کنین.👇


1️⃣ دیتاست سهام S&P 500 (آپدیت روزانه)

📎 لینک: S&P 500 Stock


2️⃣ دیتاست وام‌ها و بدهی‌ها

📎 لینک: Loans & Liability


3️⃣ دیتاست استفاده مکرر از کارت اعتباری

📎 لینک: Credit Card Spending Habits


4️⃣ دیتاست پیش‌بینی ورشکستگی شرکت‌ها

📎 لینک: Company Bankruptcy Prediction


5️⃣ دیتاست طبقه‌بندی امتیاز اعتباری

📎 لینک: Credit score classification


🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

🧰 26 ابزار طلایی برای ارتقای کارایی Pandas
⬅️ بخش دوم


👨🏻‍💻 تا حالا شده فکر کنی از Pandas درست و حسابی استفاده نمی‌کنی؟ با اینکه این کتابخانه قدرتمند بین دیتا ساینتیست‌ها بسیار پرطرفداره، ولی بیشتر کاربران از توانایی‌هاش بی‌خبرن!

✅ این ابزارها می‌تونن کارهایی مثل نمایش بهتر دیتاها، آنالیز دقیق‌تر، پردازش سریع‌تر و کلی قابلیت دیگه رو به Pandas اضافه کنن. با کمک این ابزارها، انگار داری از Pandas به یه روش خیلی پیشرفته‌تر و بهتر استفاده می‌کنی.

📄 اگه شروع به استفاده ازشون کنی، قطعاً کار با Pandas برات تبدیل به یه تجربه منحصر به فرد میشه! اینا ابزارهایی هستن که کافیه فقط یک بار امتحانشون کنی تا متوجه بشی چقدر می‌تونن کارتو آسون‌تر و حرفه‌ای‌تر کنن.👌


1️⃣ ابزار Pandas Alive

⏪ با این ابزار می‌تونی از دیتافریم‌هات نمودارهای متحرک و جذاب بسازی.


2️⃣ ابزار Skimpy

⏪ ابزاری برای بهبود و قوی‌تر کردن متد describe().


3️⃣ ابزار Pandas-log

⏪ با این ابزار می‌تونی مراحل پردازش دیتا رو به ترتیب ببینی و راحت‌تر دیباگ کنی.


4️⃣ ابزار tsflex

⏪ این ابزار برای پردازش سری‌های زمانی و استخراج ویژگی‌هاشون طراحی شده.


5️⃣ ابزار pandas-profiling

⏪ با یه خط کد می‌تونی گزارش کامل و جامع EDA از دیتات بگیری.


6️⃣ ابزار Mars

⏪ یه فریمورک بر پایه تنسور هست که برای مقیاس‌گذاری numpy، pandas و scikit-learn استفاده می‌شه.


7️⃣ ابزار nptyping

⏪ این ابزار بهت کمک می‌کنه که Type Hintها رو برای دیتافریم‌ها به کار ببری.


8️⃣ ابزار popmon

⏪ با این ابزار می‌تونی پروفایل دیتا رو بررسی کنی و از پایداریش مطمئن بشی.


9️⃣ ابزار Gspread-pandas

⏪ با این ابزار می‌تونی از طریق دیتافریم‌ها با گوگل‌شیت کار کنی.


1️⃣ ابزار pdpipe

⏪ بهت کمک می‌کنه که پایپ‌لاین‌های pandas رو راحت‌تر و سریع‌تر بسازی.


1️⃣ ابزار PrettyPandas

⏪ با این ابزار می‌تونی خروجی‌های دیتافریم رو شیک‌تر و زیباتر ببینی.


1️⃣ ابزار Dora

⏪ یه API برای تمیز کردن دیتا، پردازش، انتخاب ویژگی و نمایش هست.


1️⃣ ابزار Pandapy

⏪ این ابزار سرعت numpy رو با ظرافت و انعطاف‌پذیری pandas ترکیب می‌کنه.

📣 دسترسی به بخش اول


🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

همه دستورات لینوکس رو یکجا کنار هم به صورت کاملا رایگان داشته باش!

🔴 فرصت محدود — با ۷۹ هزار تومن هر چی میخوای یاد بگیر!
 
🎓 ۷۰۰ آموزش پُرطرفدار فرادرس، با پرداخت ۷۹,۰۰۰ تومن در دسترس شماست!!
 
🎁 کد تخفیف: AMG58
 
👇 بعضی از پر‌فروش‌ترین آموزش‌های این طرح 👇
 
▫️ ساخت ربات تلگرام با پایتون
 
▫️ آموزش هوش مصنوعی – تکمیلی
 
▫️ تولید محتوای ویدئویی، گرافیکی و صوتی با ChatGPT
 
▫️ گراف کاوی و تحلیل شبکه در پایتون با NetworkX
 
▫️ کاربرد هوش مصنوعی ChatGPT در جستجوی حرفه‌ای
 
🔗 لیست تمامی ۷۰۰ آموزش — [کلیک کنید]

🔄 FaraDars - فرادرس

📄 جزوه «کاربرد NLP در علم داده»


👨🏻‍💻 وقتی برای اولین بار با NLP کار کردم، یکی از چالش‌های بزرگم پردازش داده‌های نامنظم متنی بود. اما کم‌کم یاد گرفتم که با یه سری تکنیک، این داده‌ها رو تمیز و آماده تحلیل کنم. تصمیم گرفتم این تکنیک‌ها رو بنویسم و نتیجه‌شم شد این جزوه.


✔️ مهم‌ترین تکنیک‌های NLP که توی پروژه‌هام استفاده کردم:


🔢 توکن‌سازی: اولین قدم، شکستن متن به واحدهای کوچیک‌تر مثل کلمه یا جمله است تا بتونم راحت‌تر روش پردازش انجام بدم.

🔢 ریشه‌یابی و لماتیزه کردن: وقتی داشتم روی یک مدل تحلیل احساسات کار می‌کردم، فهمیدم که "دویدن"، "دویدم" و "دوه" همشون یه معنی دارن! این تکنیک کمک کرد کلمات رو به شکل پایه‌شون برگردونم.

🔢 حذف کلمات زائد: کلماتی مثل "و"، "به"، "از" که ارزش خاصی توی تحلیل ندارن، حذف می‌کنم تا مدل فقط روی اطلاعات مهم تمرکز کنه.

🔢 برچسب‌گذاری اجزای کلام: یه بار برای تحلیل متن نظرات کاربران، لازم شد بدونم که هر کلمه اسم، فعل یا صفت هست تا بفهمم چه بخش‌هایی از جمله بار معنایی قوی‌تری دارن.

🔢 شناسایی موجودیت‌های نامدار: وقتی داشتم گزارش‌های خبری رو پردازش می‌کردم، این تکنیک به من کمک کرد اسم افراد، مکان‌ها و تاریخ‌های مهم رو از متن بیرون بکشم.

🔢 ابر کلمات: خیلی وقت‌ها برای درک سریع داده‌های متنی، ابر کلمات درست می‌کنم تا ببینم کدوم کلمات بیشتر تکرار شدن و احتمالاً مهم‌ترن.



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa