SQL Server

من هرجا که به عنوان مشاور میرم ، اولین چیزی که بهش دقت می کنم تعداد دسترسی های Admin به دیتابیس هست. مثلا یک سرور هست که خوب روش نرم افزارهای مختلف وجود داره. فرض کنید از ۳۰ تا شرکت مختلف . بعد هر شرکتی برای کارش یک دسترسی Sysadmin گرفته.
من نمیدونم چرا باید برای کار روی دیتابیس خودشون دسترسی Sysadmin داشته باشن؟
یعنی روی یک سرور دیدم که ۳۲ تا لاگین sysadmin وجود داره.
خلاصه یک سفره ای پهنه و نون و دیتابیسی هست دور هم میزنن دیگه 😁
همه به همدیگه اعتماد دارن و کسی نمیاد بزنه یک دیتابیس دیگه رو بترکونه یا مشکلی براش ایجاد کنه.
شخصا تا زمانی که تمام دسترسی های ادمین به دیتابیس رو قطع نکنم و فقط خودم دسترسی داشته باشم هیچوقت هیچ مسئولیتی قبول نمیکنم.
شما هم یک سری به لیست ادمین های SQL Server تون بزنید ببینید چه خبره. 😉

ما یک تنظیماتی در SQL Server داریم به نام Cost Threshold For Parallelism . مثل این عکسه. اگه ماشین توی سرپایینی باشه و روشن نشه خودمون تکی احتمالا یک هل میدیم و ماشین روشن میشه.(یعنی هزینه کد ما به این عدد نرسیده و روی Single Thread اجرا میشه)
حالا وقتی تو گل گیر کردیم یا سربالاییه یا جاییه که خلاصه یک نفری نمیشه هلش داد، هرکی رد بشه خفتش میکنیم داداش یک هل بدی روشن میشه مثل عکس پایینی( یعنی هزینه کدت بیشتر از این عددیه که تنظیم شده و SQL Server کدت رو میاد به صورت پارالل اجرا میکنه و بار کدت روبین Core های مختلف تقسیم می کنه)
خوب حالا حتما میگین ایول، ماهرچی پایین تر بذاریم که بهتره از همه ظرفیت CPU استفاده می کنیم.
نه دیگه این مدلی نیست. وقتی کد شما کم هزینه است اگه بیاین اینکارو بکنید خودش میتونه چالش کندی ایجاد کنه . چون همین تقسیم بار بین چند CORE و دوباره جمع آوری اون اطلاعات هزینه بره.
خوب چطوری به عدد درست برسیم؟
پیش فرض خود مایکروسافت عدد ۵ که عدد پایینیه. در حالت کلی این رو روی ۲۵-۳۵ تنظیم میکنند.
ولی درستش اینه که یک مدت کدها مانیتور بشن و بعد میانگین هزینه این کدها در نظر گرفته بشه.

اینم یک توضی ساده در خصوص Wait , Block
https://www.linkedin.com/posts/hamidrezasadeghian_%D9%82%D8%AF%DB%8C%D9%85%D8%A7-%DB%8C%D8%A7%D8%AF%D8%AA%D9%88%D9%86%D9%87-%D8%A8%D8%B1%D8%A7%DB%8C-%D9%87%D8%B1%DA%86%DB%8C%D8%B2%DB%8C-%D8%A8%D8%A7%DB%8C%D8%AF-%DB%8C%DA%A9-%D8%B2%D9%86%D8%A8%DB%8C%D9%84-%D9%85%DB%8C%D8%B0%D8%A7%D8%B4%D8%AA%DB%8C%D9%85-activity-7293204301697486848-NZWx?utm_source=share&utm_medium=member_desktop&rcm=ACoAADbGkRwBgqyqPtvavkpCR8qVsDP8LlyyDro

اینم یک توضیح خیلی ساده از Deadlock
https://www.linkedin.com/feed/update/urn:li:activity:7292994150621147138/?updateEntityUrn=urn%3Ali%3Afs_feedUpdate%3A%28V2%2Curn%3Ali%3Aactivity%3A7292994150621147138%29

یکی از سوالات و ابهاماتی که دیدم خیلی وقتها رخ میده ، در خصوص شخص شخیص Transaction Log هست. ! 😂
خدا نکنه روزی سایه شون رو از سر دیتابیس بردارن ،‌همون لحظه است که دیتابیس یک سکته بندری(suspect) میزنه و سایه شوم خرابی داده ها روی سر دیتابیس شما هوار میشه. 😐
اسم این بنده خدا خیلی گمراه کننده است. ما خیلی جاها فکر می کنیم Log یک چیز بدرد نخوره که میشه خیلی راحت پاکش کرد. 🤦‍♂️
ولی این فایل ماهیتش فرق می کنه.
داستان از این قراره که این دوست عزیز کنار ماست تا همه عملیات های تغییرات داده ای رو درون خودش ثبت کنه و به محض اینکه مطمئن شد همه دستورات با موفقیت به اتمام رسیده تازه بیاد اعمال کنه بر روی داده اصلی. چرا؟؟؟؟؟؟؟ چون که ما وابسته نیستیم. 🙃 ( اها هیچی ،‌این به اینجا ربط نداشت. 😬 ) چون میخواد مطمئن بشه وسط کار اگه یک دفعه سرور ترکید دیتاها به لقالله نپیوندن.
دوستان ، عزیزان ،‌اگه این فایل رشد کرده باهاش مهربون باشید . یک دست نوازش ( Log Backup‌) به سرش بکشید آروم میشه . نزنید این فایل رو پاک کنید بعد بگید موقع ساخت دیتابیس خودش میسازه هاااا. از این خبرا همیشه نیستااا.
یک دفعه دیدین یک تراکنش باز داخلش هست که اخ اخ این فایل ساخته نمیشه و دیتابیستون داستان براش ایجاد میشه.
خلاصه از ما گفتن بود.

قبل از اینکه مایکروسافت بیادTDE رو اضافه کنه ،‌ یکی از اساسی ترین چالش های ما این بود که در لایه دیتابیس کلی امنیت رو بهش میرسیدیم ، بعد یکی از راه می رسید سرویس رو استاپ میکرد فایلهای دیتابیس رو جابجا میکرد و بدون هیچ مشکلی به همه چیز دسترسی داشت !! 😐 همیشه جلوی Oracle کارها عرق شرم برپیشونی ما نقش می بست. 😁
بعد مایکروسافت زحمت کشید اومد مارو از این خجالت زدگی رها کرد و Encryption‌رو اضافه کرد. باعث شد که با فعال سازی Encryption بر روی دیتابیس ،‌حداقل اگه کسی تونست به هر علتی سرویس رو متوقف کنه یا دیتابیس رو به حالت Offline ببره و فایلهارو جابجا کنه ،‌دیگه نتونه فایلش رو باز کنه تا زمانی که به Master Key دسترسی داشته باشه.
یکی از اتفاقاتی که میبینم در همه سیستم ها وجود داره و باز هم همین چالش هست و هرکسی به فایلهای MDF , LDF دسترسی داشته باشه عملا به کل دیتابیس شما دسترسی کامل داره.
اگه TDE رو فعال نکردین یک کپی از فایلهای MDF ,LDF شما برای دسترسی به همه زندگی شما کفایت می کنه 😅
باشد که رستگار شویم. 😬

میخوام از تجربه جابجاکردن ۴ ترابایت دیتا بین دوتا دیتابیس صحبت کنم.
این حجم از دیتا باید توسط Insert به دیتابیس دوم منتقل میشد به خاطر اینکه همه دیتا نبود و دیتابیس دوم هم خالی نبود. یعنی یک فرآیند آرشیو کردن اطلاعات بود.
سناریوی اول : منتقل کردن داده ها با دستور Insert select که بسیار پرهزینه بود و در یک بازه یک روزه نهایتا یک میلیون رکورد جابجا شد درصورتی که بیش از ۱۰۰ میلیون رکورد داشتیم!
سناریوی دوم : استفاده از DBATools و منتقل کردن داده ها بواسطه Bulk insert .
سرعت درج داده ها حدودا ۱۰۰۰ رکورد در ثانیه بود که با حذف ایندکس های جدول اصلی این سرعت درج تقریبا ۳ برابر شد.
صد میلیون رکورد از یک جدول ( که همش هم فایل بود در قالب فیلدهای NVarchar) به مدت ۱۲ ساعت جابجا شد که حدودا ۱۰۰ گیگابایت بود .
۵ میلیون رکورد که حدودا ۱ ترابایت بود بود حدود ۲۴ ساعت زمان برد منتقل بشه.
۴ میلیون رکورد هم که حدودا ۳ ترابایت بود توی ۳۰ ساعت منتقل شد.
تمامی این جداول هم شامل فیلدهای nvarchar و فایل هست.
نکاتی که رعایت کردم :
قراردادن Recovery Model دیتابیس روی Bulk Logged.
اضافه کردن فضای مناسب به فایل دیتا برای اینکه از رشد فایل هنگام درج
جلوگیری کنم.
حذف ایندکس ها (در یک جدول حذف PK که باعث شد ۸ رکورد درثانیه به ۳۲ رکورد در ثانیه برسه)

البته میتونستیم به سرعت بیشتر هم برسیم با تنظیم بهینه دیسک ها و استفاده از دیسک های پر سرعت. ولی خوب به این مورد دسترسی نداشتیم و دیسک های با سرعت پایین رو داشتیم متاسفانه.

سناریوی سومی هم بود که استفاده از SSIS بود که بهش دسترسی نداشتیم.
اگه با سناریوی اول پیش میرفتیم پیش بینی این بود که تا بعد از سال باید دیتا منتقل می شد . 😅

عالی باشین
#ETL
@Hamidreza_Sadeghian

سلام خدمت دوستان عزیزم .
امیدوارم عالی عالی باشین
در این ویدئو در خصوص دستور Group by with cube توضیح میدم.

این یکی از بخشهای دوره مکتبخونه است.

دوستان عزیزم سلام
امیدوارم حالتون عالی عالی باشه
بانک مرکزی نیازمند یک نیروی متوسط DBA هست
ظاهرا پرداختیشون بین ۴۰-۴۵ هست. دفترشون سمت میرداماده ودورکاری هم ندارن.
اگه تمایل داشتید رزومه هاتون رو برای ایشون در لینکدین ارسال کنید.

https://www.linkedin.com/in/shahriar-nourhejabi-263521102/

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین
من در بستر X با ID زیر شروع به فعالیت کردم.
تلاشم این هست نکات کوچکی رو اونجا به صورت روزانه قرار بدم.

(OLD)Twitter(New) X ID= @Hmdsadeghian

خوب دوستان عزیز یک Disaster دارم براتون داغ داغ، همین الان از تنور درومده 😅

داستان از این قراره که Log backup های چند سری Failed شده بوده و همچنین فایل Log هم با سرعت عجیب غریبی رشد کرده بود به حدی که باعث شده بود کل دیسک پر بشه و همین امر سبب شده بود دیتابیس نیز از HA خارج بشه و اونجاهم Not sync بود. خوب در اولین تلاش سعی کردیم فضای دیسک رو خالی کنیم شاید اون Log هایی که وضعیتشون مشخص نبود درست بشه و شروع کنه ادامه مسیر رو رفتن که خوب اتفاقی نیافتاد.

در قدم بعدی دیتابیس مذکور از HA خارج شد و ازش یک Log Backup گرفتیم و لاگ رو Shrink کردیم که اون فضای عجیب غریب رو آزاد کنه و مجدد به HA اضافه اش کردیم.

خداروشکر اتفاق عجیب غریبی نبود و خیلی سریع حل شد.

به دوستان اون مجموعه گفتم که چه مواردی باید کنترل بشه و دقت بشه تا این اتفاق دیگه رخ نده.

نکته خیلی با اهمیت داستان این قسمته که دیتابیس یک موجود زنده است. حیات داره. به مراقبت نیاز داره. به رسیدگی نیاز داره. اگه به حال خودش ولش کنید یک جوری دستتون رو میذاره توی پوست گردو که صفا کنید.

پس تا دیر نشده راهکارهای مراقبت از دیتابیس رو برای خودتون داشته باشین.



سوالی هم در این زمینه داشتین منو تیمم در کنارتون هستیم.

شاد باشین و بدور از هرگونه Disaster



#Disaster_Recovery

#HA

#LogBackup

خوب در ادامه Disaster قبلی که گفتم ،‌ یکی از چالش ها سر یک کدی بود که نامرد قرار نبود با تعداد بالا در زمان خیلی کم اجرا بشه. اصلا کده مرض داشت انگار تصمیم گرفته بود مارو صاف کنه 😂 . ماهم در حال بررسی زیرساخت و مسائل دیگه بودیم از قضا من متوجه شدم که این نامرد بی ..... بی ..... شروع کرده بود CPU رو کامل درگیر کرده بود به طوریکه حتی HA هم Failed میشد و کلا حتی به سرور هم ریموت نمیتونستیم بزنیم.
کلا کارش با یک Index حل شد 😅
اصلا یک چیز عجیب غریبی بودااا.
اینجاست که Tuning میگن باید ببینید دنبال حل یک کدی هستید که چند بار یا یک بار داره دریک بازه طولانی اجرا میشه یا کدی که در یک بازه مثلا ۲ ساعته ۱۰۰ هزارمرتبه داره اجرا میشه مسلمه دومی شمارو حسابی به چالش میکشه و اشکتون رو درمیاره.
بحث Performance Tuning باخوندن یک مقاله و دوتا مقاله حل نمیشه. شانسی هم نیست که کیلویی ایندکس بذارید.
باید بررسی کنید
مانیتورینگ داشته باشید
و از همه مهمتر در لحظه مناسب اقدام مناسب انجام بدین.

ولی اسپند دود کردن هم شاید برای شما جواب بده 😂

امروز یک Disaster پدرمادر داری خوردیم که نگو. اصلا جیگرمون حال اومد 😂 😂 (شما بخونید ......)
حالا از کل داستان بگذرم یک خطای مسخره خوردم که تا به حال ندیده بودم. مجبور بودم وضعیت Node هارو تغییر بدم هرکاری میکردم بهم خطا میداد فایل Sqlconf.dll رو پیدا نمیکنم. خلاصه ماهم دست به کمر شدیم که بزنیم کسی که دست به فایلهای SQL Server زده رو شتک کنیم 🙃
رفتم روی نود دوم دیدم در مسیر
program files\microsoft sql server\ 160\sql2022\ setup boostrap
پوشه های زیر مجموعه اش نیست.
در یک حرکت انتحاری از سرور دوم این فایلها رو کپی کردم چون نسخ هر دو سرور یکی بود،‌ و این حرکت ژانگولری باعث شد مشکل حل بشه و دوست خوبمون عین آدم به درخواستهای ما پاسخ بده.
تازه ما مثلا DBA هستیم اوضاعمون اینه. 😂 قشنگ شیرین دو ساعت Downtime داشتیم. وای به حال مجموعه ای که DBA هم نداره.
فکر کنم شب به شب برای سرورهاتون اسپند دود می کنید که چشم نخورن.
خدایی هردعایی گرفتین به ماهم بدین تک خور نباشین . 😂
ولی اگر دعا نگرفتین ما میتونیم کنارتون باشیم

سلام خدمت دوستان عزیزم
امیدوارم عالی باشین
شرکت افرانت نیازمند یک نیروی DBA متوسط هست.
رنج حقوقی هم که میتونن پرداخت کنن بیان ۳۰-۴۵ هست.
در خصوص مابقی جزییاتش من خیلی اطلاعی ندارم
اگر تمایل داشتید رزومه هاتون رو برای من بفرستید بهشون بدم.

شاد باشین و شکرگزار
@Hamidreza_Sadeghian

سلام خدمت دوستان عزیزم 🌟
امیدوارم که عالی عالی باشین.

تا حالا شده از خودتون بپرسید:
"چقدر می‌تونیم با یه دیتابیس بهینه و مدیریت‌شده، به رشد کسب‌وکارمون سرعت بدیم؟" 🤔

من اینجا هستم تا بهتون بگم که نه تنها می‌شه، بلکه خیلی راحت‌تر از چیزی که فکر می‌کنید! 🎯
چند وقتی هست که تصمیم گرفتم به جای فعالیت در قالب شخصیت حقیقی ، خدماتم رو تو قالب یک شرکت رسمی ارائه بدم و حالا یه فرصت ویژه برای شرکت‌های نرم‌افزاری دارم:

✨ رایگان دیتابیس شما رو Tune می‌کنم!
✨ مسئولیت نگهداری دیتابیس مشتریان شما رو به عهده می‌گیرم!
✨ یه همکاری برد-برد که هم خیال شما راحت باشه، هم درآمد بیشتری کسب کنید!

اگر براتون جذاب شد یا دوست دارید بیشتر در موردش بدونید، خوشحال می‌شم با هم صحبت کنیم. بیاید ببینیم چطور می‌تونیم یه تیم قوی برای دیتابیس بسازیم و کسب‌وکار شما رو به سطح بالاتری ببریم. 💪😊

منتظر پیام‌هاتون هستم! 📩

شاد باشین و شکرگزار

@Hamidreza_Sadeghian

سلام خدمت دوستان عزیز.
امیدارم حالتون عالی عالی عالی باشه
من با همکاری سایت مکتب خونه دوره آموزشی T-SQL Querying رو طراحی کردیم.
این دوره از پایه بوده و هیچ پیش نیازی رو نمیخواد.
مباحث زیادی در این دوره مطرح شده و با تمرین های مختلف و منتورینگ سعی بر این شده که افرادی که د راین دوره هستند به این مباحث مسلط بشن.
همچنین هزینه این دوره نسبت به مابقی دوره ها بسیار کمتر بوده که همه افراد بتونن ازش استفاده کنند.
از لینک زیر میتونید سرفصلهای آموزشی رو ببینید. و در صورت تمایل نسبت به ثبت نام د راین دوره اقدام کنید.

با کد زیر ۵۰ درصد تخفیف دریافت خواهید کرد:

نکته ای که هست اینه که کد تخفیف فقط برای ۲۰ نفر در نظر گرفته شده است.

کد تخفیف :‌COUPON-eb99d
https://maktabkhooneh.org/course/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-sql-%D9%BE%D8%A7%DB%8C%DA%AF%D8%A7%D9%87-%D8%AF%D8%A7%D8%AF%D9%87-sql-server-mk1378/?v=1&affiliate_code=y7p0k0

میخوام در حوزه Tuning شمارو با یک مفهومی به نام Good Enough (بسه دیگه من خوبم 😅 ) آشنا کنم.
فرض کنید میخواین یک خودی نشون بدین و بگین که ما خیلی خفنیم و کلاس رفتیم و کلی کتاب خوندیم حالا باید بگیم فلان کار رو کردیم.
دمتون هم گرم.
حالا میرید یک کدی پیدا می کنید که مثلا ۴ ساعت زمان میبره کلی تلاش می کنید مثلا زمانش میرسه به ۱ دقیقه. (بابا ایول چقدر شما خفنید اخه 😁 👏 )
هی منتظر میشین یکی بیاد ازتون تشکر کنه بگه دمت گرم حمیدرضا سیستممون خیلی دیگه سریع کار میکنه مثل بنز داره جواب میده. یک روز، دو روز ،سه روز صبر می کنیم بعد وقتی که میبینم نه مثل اینکه هیچ خبری نیست با کوله باری از 🤬 🤬 راهی اطلاع رسانی به شرکت میشیم.
میریم شروع می کنیم به تیم توسعه میگیم ببین محمد من یک کار خفن کردم این کد رو زمانش رو اینقدر تغییر دادم.
محمد :‌ تو روی این کده کار کردی؟
حمیدرضا : خوب اره.
محمد : چقدر وقت گذاشتی؟
حمیدرضا :‌راستش دو روز اشک منو دراورد تا اصلاحش کردم.
محمد :‌ آفرین خسته نباشید این یک گزارشی هست که هر ۴ ماه یک بار واحد X میگیره و خیلی هم زمانش براش اهمیتی نداره.
😤 😤 😡
اینجاست که انگار آب یخ روی شما ریختن. حالا تو این وسط دوجین هم ایندکس ایجاد کردین که باعث شده صدتا کد اساسی بره تو دیوار که این کد درست کار کنه.

عزیزان دل،

اول باید ببینید چه کدی داره چه باری میذاره و چند وقت یکبار داره بار ایجاد می کنه.
دوم اینکه تا چقدر باید پیش بریم روی تیونینگ کد که خوب باشه. یک کدی اگه توی یک دقیقه هم جواب بده اکیه نیازی نیست زیادی باهاش سرو کله بزنید و دوجین ایندکس بهش اضافه کنید.
یک کدی هم ۵۰ میلی ثانیه زمان میبره باید برسونیدش مثلا به ۲۰ میلی ثانیه.
اینکه روی چه کدی و چقدر کار کنیم تا کجا پیش بریم و سعی کنیم بهینه اش کنیم برمیگرده به تعداد دفعات اجرا ،‌ میزان لودی که ایجاد می کنه و اهمیت دار بودن اون.
کدی که قراره هر یک ماه یکبار یک گزارش بگیره این شاید به اندازه کدی که روزی ۱۰۰۰ مرتبه اجرا میشه با اهمیت نباشه(هرچند ممکنه اون ماهی یک بار برای مدیر مربوطه باشه.که اونو میشه زمانش رو یک مقداری بهینه تر کرد تا اخراج نشیم 😂 )
این مهم رو در نظر بگیرید خدایی.
چون Tuning هزینه داره. الزاما ایجاد هر ایندکسی مناسب نیست.
الزاما تغییر در خیلی از ساختار مناسب نیست.
خیلی از رفتارها مناسب نیست و واقعا باید یک سبک و سنگین بین مزایا و معایبش اتفاق بیافته و بعد انجام بشه.

خدایی چقدر ما DBA ها خفن هستیم که حواسمون به همه چیز هست مثل ... (برای خودمون نوشابه پوست بکنیم 😅 )

@Hamidreza_Sadeghian

#GoodEnough
#PerformanceTuning
#DBA

خوب بریم برای یک چالش ذهنی جذاب دیگه.
در روایات آمده :
(( ای کسانی که ایمان آورده اید( منظور کسانی هست که به SQL Server ایمان آوردند) مبادا در نوع کدنویسی به صورت Row Based فکر کنید ، که همانا شما از کافران هستید)) 😉

حالا بریم برای روایت فوق .
بذارید با یک داستان جذاب شروع کنم. در یکی از پروژه هایی که کند بودیم و داشتیم در خصوص سناریوها صحبت می کردیم ، اینجوری پروژه شرح داده شد که ما یک سری محتویات XML در یک جدول داریم و باید اونها رو ردیف به ردیف خونده و یکسری عملیات روش انجام بدیم و درج کنیم. خوب به این عبارت ردیف به ردیف 🤬 🤬
دقت کنید.
بهش گفتم گل من ،‌چرا ردیف به ردیف اخه؟ تو که برای هر ردیف داری یک کاری انجام میدی گفت بله.
گفتم بعد در یک سری جدول هم درج می کنی گفت بله.
گفتم خوب مبارکه. همون اول بسم الله به جای اینکه یک ردیف رو سلکت کنی و بریزی داخل یک Temp ، بیا مثلا ۱۰۰۰ رکورد رو انتخاب کن بریز داخل Temp.
به جای اینکه اون عملیات رو برای یک ردیف انجام بدی بیا مثلا برای ۱۰۰۰ تا انجام بده چی میشه؟ گفت اخه من میخوام این عملیات روی تک تک رکوردها انجام بشه.
گفتم ببین دیگه اومدی و نسازیا. آقا به توچه SQL Server چطوری میاد اون کارو برای ۱۰۰۰ تا انجام میده.
تو بهش بگو برادر من عزیز من ، من ۱۰۰۰ تا ردیف XML دارم و قراره این اتفاقات روش بیافته. حالا دیگه این عزیزدل چطوری میره و برای تک تک اون ردیفها اینکارو انجام میده به من و توچه ربطی داره؟ برو به زندگیت برس اینقدر دخالت نکن. ول کن اخه. 😁
و همین امر سبب میشه یک فرآیندی که ساعتها زمان میبره به کمتر از چند دقیقه کاهش پیدا کنه. مورد داشتیم چنین عملیاتی ۷۲ ساعت برای پردازش ۳۰۰ هزار رکورد زمان میگرفت و با چنین تغییر تفکری زمانش به ۲ دقیقه کاهش پیدا کرد.

حالا بازم برید تفکر Set Based رو از داخل کدهاتون حذف کنید. بازهم هی بیاید بگید باید ردیف به ردیف 🤬 🤬 اینکارو انجام بدیم. باز هم برید داخل کدهاتون دوجین Cursor , While بذارید.

ایمان بیاورید و دست از اعتقادات خرافه بردارید.

اگر خواستید ما هم میتوانیم در ایمان آوردن شما بهتون کمک کنیم. 😅

اینم راه ارتباطی دعانویسمون :😂
@Hamidreza_Sadeghian


#set_Based
#Row_Based
#TSQL

شاید شما هم از دوستان DBA زیاد کلمه Statistics رو شنیدین؟ یا مثلا بگن Stat هاشو Update کردم درست شد و جملاتی از این قبیل.
حالا بریم ببینیم این جذاب لعنتی چیه که تمام رفتار Optimizer بر مبنای اون رقم میخوره.
فرض کنید Optimizer واحد مدیریت شرکت شماست.
و Statistics ها هم بخش آمار و تولید دیتای شما هستند که به شما دیتا میدن تا تصمیم گیری کنید.
خوب تا اینجاش که بنظر جذاب میاد.
آماااا. کجا دعواها شروع میشه.
اونجا که شما به عنوان مدیر میاین سرکار ، فرض کنید یک ذره پاداش کارمندان عقب افتاده(البته این اتفاق در یک کشور ثانی در دنیای موازی رخ میده شما مخاطب نیستید 😉 ) واحد آمار با شما لج می کنه و به شما دیتای غلط می ده. مثلا آمار اشتباهی از فروش محصولات میده. آمار اشتباهی از تعداد ثبت درخواست ها و بازدید سایت میده. شما هم شاد و خندان براساس آمارها میاین منابع تخصیص میدین برای توسعه کار(SQL Server میاد منابع RAm, CPU , IO رو پیش بینی میکنه و تخصیص میده برای اجرای کد) بعد با یک ژست مدیرعاملی خفن که مثلا ما خیلی باحالیم میاین دستور میدین به واحدهای مختلف که با این بودجه برید اینکارهارو انجام بدین(Optimizer پلن رو تهیه می کنه و میده به Execution Engine میگه داداش برو اینو اجرا کن) حالا این واحدهای از خدا بیخبر هم میرن بودجه رو میگیرن و سعی می کنن کارو دربیارن. اگه بودجه اضافی باشه که اون وسط یک حالی هم خودشون میکنن( البته SQL Server حلال خوره و میاد میگه داداش از این همه منابع من خداوکیلی اینقدرشو استفاده کردم مابقیش رو پس آوردم. البته جسارت نباشه ها بد برداشت نکنید، از جنبه فان نگاه کنید 😁 ) اگه بودجه کم بیاد که مجبورن با همون بودجه کم ، کارو دربیارن ولی زمان بیشتری رو صرف کنن( دقیقا همین اتفاق این سمت هم میافته)
حالا چی میشه؟
آفرین اینجوری میشه که کدها ومنابع شما به فنا میره.
حالا اگه واحد آمار پاداششو گرفته باشه و شنگول باشه و آمار درستی بده. چه اتفاقی میافته؟ دقیقااا. بودجه بندی مناسب ، تخصیص منابع درست و درنهایت تخمین دقیق زمان اجرا بدون هیچگونه هدررفت منابع.
سعی کردم این مطلب رو با شوخی تلفیق کنم که درکش ساده باشه.
در پستهای بعدی تلاش می کنم بیشتر این مبحث رو باز کنم و بیشتر شمارو با رفتار درونی SQL Server آشناکنم.

پرسرعت و شاد باشین 😊



Telegram discussion Group :https://t.me/+-JqFG0ceU7JlNDA0

#Statistics
#DBA
#SQLServer_Internals

@Hamidreza_Sadeghian

چند روز پیش مشغول مانیتورینگ یکی از مراکز بودم ،‌ دیدم که بیش از ۵۰۰ تا Deadlock روی دیتابیس رخ داده ! اون هم تو یک بازه کم. اصلا یک چیز عجیب غریبی بود.
رفتم کدها رو بررسی کردم دیدم Deadlock بین یک Select و Insert روی همون جدول داره رخ میده. Select داشت کل جدول رو Scan می کرد و Insert هم با شرایط خاصی نیاز داشت درج بشه که سبب Deadlock شده بود.
فیلدهای شرط Select رو بررسی کردم دیدم که یک فیلد از نوع nvarchar max هست.

(خداوکیلی Developer های عزیز اگه از این دیتاتایپ مثل نقل و نبات استفاده می کنید،‌برای حفظ جونتون هم که شده نزدیک یک DBA نشید. از ما گفتن بود 😁 )

مورد داشتم روی فیلد عددی هم Nvarchar max گذاشته شده.
در این فقره نوع Data type و طول فیلدها خساست از اخلاقهای بسیار نیکو پسندیده است.
خلاصه با تیم توسعه صحبت کردیم بچه ها زحمت کشیدن طول فیلد رو اصلاح کردن و من تونستم روی فیلدهای مورد نظر ایندکس بذارم.
بعد از قراردادن ایندکس کلا مشکل Deadlock عزیزمون حل شد و دیگه اون چالش رخ نداد.
البته این نکته رو هم در نظر بگیرید که جدول مذکور کلا ایندکسی نداشت.
من جداولی رو دیدم که خودش به دلیل تعدد ایندکس (بالای ۱۵ تا ایندکس. ماشالله دست و دل بازم بودن عزیزان 😅 ) باعث ایجاد Deadlock میشده.
اینطور نباشد که برید از فردا جداول مورد نظر رو غرق در ایندکس کنید بعد صدتاجای دیگه بترکه خلاصه مارو مورد عنایت قرار بدین. من در این فقره هیچگونه مسئولیتی قبول نمی کنم. 🙃
باشد که دیتابیسی عاری از هرگونه Deadlock داشته باشید.


#Deadlock
#DBA_Tips

یکی از مسائلی که در خیلی از SQL Server ها میبینم این هست که دوستان میان یک جاب تعریف می کنند برای Shrink Log . میشه بپرسم چرا؟
باور کنید این تفکر غلطیه اگر در هر دوره یا کلاسی این رو یاد گرفتین.
اگر Recovery Model دیتابیس شما Full هست و براساس میزان تراکنش ها مرتب ازش Log Backup بگیرید و همچنین سایز اولیه فایل رو درست تعریف کنید خیلی به ندرت پیش میاد که فایل شما رشد کنه. اونم برای زمانی هست که یک تراکنش خیلی بزرگی در سیستم شما درج بشه یا تغییرات عجیب غریبی رخ بده که در اون فضای خالی فایل Log شما قرار نگیره و مجبور به رشد باشه.
یکی از دلایل کندی دیتابیسهاتون میتونه همین مساله باشه.
حالا بیاین با یک مثال بهتون شرح بدم چه بلایی دارید سر SQL Server و OS میارید و مطمئن باشید در پل صراط ، یقه شمارو این دو بزرگوار خواهند گرفت 😁
فرض کنید شما یک پولی رو دادین به یکی که باهاش کار کنه و شما هم از سودش منتفع بشین. خوب تا اینجاش خیلی هم عالیه خوش به حالتون 😅
چالش اینجاست که عصر همون روز میگین شرمنده میشه پولمو بدین من پول کم آوردم. خوب اون بنده خدا هم میگه باشه بیا و واریز می کنه.
دوباره یک ساعت بعد میگین خوب بیا داداش این همون پوله ولی من تیکه تیکه (میزان رشد فایل) بهت این پول رو میدم. میگه باشه چیکار کنیم قبول.
دوباره عصر فردا میشه باز میگین ببخشید میشه پولمو پس بدی من دوباره پول کم اوردم( جبران کمبود فضای دیسک با شرینک کردن فایل لاگ) به محض اینکه پول رو گرفتی دوباره میگی من تا فردا تیکه تیکه بهت این پول رو میدم و این داستان هر روز ادامه داره.
به نظرتون اون شخص با شما چه برخوردی میکنه؟ چی میگه بهتون؟
آفرین ،‌دقیقا OS هم همین حرفهارو بهتون میزنه ولی چون ما توانایی شنیدنش رو نداریم به این رفتار زشت ادامه میدیم.
حالا در این پس دادن فضاو دوباره گرفتن فضا ، تمام دستورات شما باید منتظر بمونه تافضای کافی برای نوشتن داشته باشه و این میشه که وقتی سیستم شلوغه میزان فحش برثانیه به سیستم عزیز شما افزایش پیدا می کنه.
حالا برای اینکه این میزان فحش برثانیه رو کم کنید از همین الان برید این جاب رو کلا حذف کنید و با مدیریت درست لاگ بکاپ و همچنین تنظیم یک فضای اولیه برای این فایل برای همیشه از شر این Shrink کردن های روزانه خلاص بشین.

باشد که رستگار شویم و کمتر فحش بخوریم. 😁

#log_Backup
#TransactionLog
#Shrink

سلام خدمت دوستان عزیزم
امیدوارم عالی باشین

ما در شرکت سامانه‌های هوشمند نسل سوم زیر مجموعه هلدینگ کسرا، برای پروژه نرم‌افزار اتوماسیون دنبال کارشناس فرانت حرفه‌ای و با سابقه هستیم که با دقت بالایی استانداردهای مورد نظر رو در صفحات پروژه موجود بروز رسانی نمایند.

📨 موارد مورد نیاز : html, css ,javascrip , bootstrap هستند. اگر vue.js هم بدانید بسی بهتر است.

در صورت تمایل رزومه هاتون رو برای بنده ارسال کنید.
در خصوص مزایای شرکت ، موقع مصاحبه اولیه خدمتتون گفته میشه. فقط یکی از نکات مثبتی که خودم هم بهش علاقمندم این هست که دورکاری فراهمه.

مابقیش رو خودشون بهتون توضیح میدن

شاد باشین و شکرگزار
حمیدرضا صادقیان
@hamidreza_Sadeghian

#استخدام
#Frontend_Developer

سلام خدمت دوستان عزیزم
امیدوارم عالی عالی باشین
در این مقاله قصد دارم در خصوص ادامه بحث در خصوص BI به ساختار Columnstore Index ها یک نگاه کلی بندازم و تفاوتش رو با ساختارهای B-Tree براتون بیان کنم.

شاد باشین و شکرگزار
مهیار محمدی

@kmoh1368

#columnstoreIndex
#BI
#DW
#DataWarehouse
#Columnstore_Index

https://data-club.ir/sql-server/sql-and-t-sql/columnstore-index-%d8%a7%d9%86%d9%82%d9%84%d8%a7%d8%a8%db%8c-%d8%af%d8%b1-%d8%b0%d8%ae%db%8c%d8%b1%d9%87%d8%b3%d8%a7%d8%b2%db%8c-%d8%af%d8%a7%d8%af%d9%87%d9%87%d8%a7-%d8%a8%d8%b1

سلام خدمت دوستان عزیزم
امیدوارم عالی عالی باشین

یک پیشنهادی برای مدیران عامل شرکت های نرم افزاری دارم.
درصورتی که در زمینه دیتابیس هاتون کندی دارید ، چالش دارید و مشتری های ناراضی زیاد هستند(مخصوصا شرکتهای HIS) ، ما به کمک یک تیم حرفه ای میتونیم کمکتون کنیم.
در صورتی که تمایل داشتید همکاری رو باهم داشت باشیم ، خوشحال خواهم شد باهم صحبت داشته باشیم.

احتمالا از مدل همکاری راضی خواهید بود و شماهم ذینفع خواهید بود.

شاد باشین و شکرگزار
حمیدرضا صادقیان
@hamidreza_Sadeghian

سلام خدمت دوستان عزیزم.
امیدوارم که عالی عالی باشین
در این فیلم ، من در خصوص استفاده از دستور Output در Update صحبت می کنم.
امیدوارم مفید واقع بشه

شاد باشین و شکرگزار
حمیدرضا صادقیان
#Tsql
#Update
#output

سلام خدمت دوستان عزیزم
امیدوارم عالی عالی باشین

در سلسله مقالاتی تصمیم دارم در خصوص BI و سیستم های تحلیلی با شما صحبت کنم. همچنین به صورت عمیق به این مساله در SQL Server بپردازم و ابزارها و تکنیکهای مختلف را بررسی کنم.
این مقاله اول هست و یکسری مفاهیم ابتدایی رو داخلش توضیح دادم.
با ما در ادامه این مقالات همراه باشین.
اتفاقات جالبی خواهد افتاد.


شاد باشین و شکرگزار
مهیار محمدی


@kmoh1368
#BI
#olap
#OLTP
#Columnstore_Index


https://data-club.ir/sql-server/sql-and-t-sql/%d8%aa%d9%81%d8%a7%d9%88%d8%aa-%d8%b3%db%8c%d8%b3%d8%aa%d9%85%d9%87%d8%a7%db%8c-%d8%b9%d9%85%d9%84%db%8c%d8%a7%d8%aa%db%8c-%d9%88-%d8%aa%d8%ad%d9%84%db%8c%d9%84%db%8c

سلام خدمت دوستان عزیزم
امیدوارم عالی عالی باشین

دیروز یکی از دوستانم یک سوالی ازم پرسید در خصوص استفاده از تابع Round.

چالشش این بود که دوتا مقدار داره که اعشاری هستند . میخواد اگه حاصلضرب این دوتا اعشاری شد بدون اینکه رندی اتفاق بیافته قسمت حقیقی اونو نشون بده.

مثلا فرض کنید

1.5*1.8 = 2.7 . اگه رند بشه خوب میشه ۳ یا اگه کمتر از ۲.۵ باشه میشه ۲ . ولی این میخواد در هر حالتی عدد ۲ برگرده.

خوب میتونه از تابع Round استفاده کنه.

Round(1.5*1.8,0,1)

که اون پارامتر اخر دقیقا همین کارو میکنه و قسمت اعشاری رو Truncate میکنه.

چالش اینجا بود سر این دو عدد با این که ضربش یک عدد حقیقی میشد ولی یک ریال کسر میکرد ازش.

۱۳۵.۷ * ۳۵۹۴۰۰ = ۴۸۷۷۰۵۸۰ باید بشه ولی عدد ۴۸۷۷۰۵۷۹ رو این تابع برمیگردوند.

برام خیلی جالب بود . رفتم دیتا تایپهای دیتابیسش رو بررسی کردم دیدم جفت فیلدهارو از نوع Float گرفته. اونارو به Decimal تبدیل کردیم درست شد.

احتمالا شاید اگه شما هم چنین خطاهای محاسباتی دارید بیاید از دیتاتایپ های دقیقتر استفاده کنید که چنین مشکلاتی نداشته باشین.

شاد باشین و شکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian

#TSQL

#SQL

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین

میخوام در این پست اشاره ای کنم به اینکه اساسا DBA چیست؟ (ببخشید کیست). 😁

بیاین اینجوری نگاه کنید که یک DBA مثل یک کارآگاه می مونه.

حالا چرا کارآگاه؟

به خاطر اینکه دائما باید در مانیتورینگ رفتارهای مختلف رو بررسی کنه و اگه جایی یک چیز مشکوکی دید اینقدر بره دنبالش تا ببینه سرمنشا اون چیه و چرا رخ داده.

حالا بریم یک مثال واقعی براتون بزنم

چند روز پیش بکاپ هارو بررسی میکردم و میدیدم که حجمش خیلی عجیب غریب داره میره بالا. مثلا توی یک روز دیدم ۶۰ گیگابایت بکاپ Diff ما شده در صورتی که شب قبلش ما Full backup داشتیم. توی این چند روز من جداول رو نگاه میکردم ،‌اول شک کردم به حجم داده های جداول شاید یک دفعه زیاد شده. بعد از این رشد عجیب غریب نگاه کردم دیدم داده ها تغییر محسوسی نداشتن ولی حجم بکاپ این دفعه ۱۵ گیگابایت باز بهش اضافه شده. به فایل LOG شک کردم و اونو بررسی کردم دیدم بله یک دفعه حجمش شده ۲۰۰ گیگابایت. رفتم سراغ دلیل این مساله.

اول Log backupها رو بررسی کردم دیدم همش درسته.

بعد رفتم دستور زیر رو اجرا کردم



Select Name , Log_reuse_wait_desc from sys.databases



دراین کد بیان میکنه که Log File شما Wait چه مساله ای هست که رشد می کنه. دیدم که در این فیلد نوشته Replication. ماهم که Replication نداشتیم ولی CDC رو راه اندازی کرده بودم.

جاب CDC رو بررسی کردم دیدم که Stop شده و به دلیل اینکه Alarm ها خیلی زیاد بوده در لاگ من گم شده و ندیدمش. اونو Start کردم و این حجم Used فایل LDF کاهش پیدا کرد. به دلیل اینکه فایل LDF من Fragment هم شده بود اومدم فایل LDF رو Shrink کردم و حجمش رو کاهش دادم روی ۲۰ گیگابایت و Fragment اون هم مرتفع شد( به دلیل اینکه قبلا هم روی این حجم تنظیمش کرده بودم)

یکی از دلایل Fragment بودن فایل LDF تعداد بالای VLF هاست. و این VLF ها به ازای هرمرتبه ای که یک Grow در فایل LDF رخ میده اضافه میشن.

این دفعه که Full backup گرفتم حجمش تقریبا ۲۰ گیگابایت کاهش پیدا کرد و به عدد نرمال قبلی رسیدم.



کسی که DBA هست مرتبا باید همه این موارد رو به صورت روزانه چک کنه و کنترل کنه. حتما باید سیستم مانیتورینگ باشه. حتما باید سیستم Alarming داشته باشین.

و حتما باید Error log ها رو مدیریت کنید که یک دفعه مثل من حجم Error های بدون استفاده باعث نشه که چنین خطاهای مهمی رو نبینین.



شاد باشین و شکرگزار
حمیدرضا صادقیان
@hamidreza_Sadeghian

#DBA

#Monitoring

#Database_Backup

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین

امروز در یک مرکز دانشگاهی که مدیریت دیتابیس هاشو به عهده دارم ،‌یک کندی روی یکی از گزارشات رخ داده بود. حجم دیتابیس در این مرکز ۲ ترابایته و یک دیتابیس جداگانه هم برای فایل داریم که اونم ۲ ترابایته.
من کد فوق رو گرفتم و اول کار اومدم Estimated Plan اونو بررسی کردم دیدم Estimate row number ها رو اکثرا ۱ زده. ولی وقتی کد رو اجرا می کنی بیش از ۲۰ دقیقه طول می کشه.
کد رو اجرا کردم ولی Live execution planرو هم فعال کردم ببینم چالشش کجاست. دیدم دقیقا همون ایندکس هایی که Estimate row اون رو ۱ زده بود داره کلی رکورد رو میخونه. رفتم statistics اونو بررسی کردم و با Fullscan اونو آپدیت کردم.
با اینکار کد فوق زیر یک ثانیه اجرا شد و کلا مشکل حل شد. (البته پلن جدا برای بروزرسانی Statistics ها داریم به دلایلی اجرا نشده بود و باعث این اتفاق شده بود)
یک توضیح مختصر میخوام در خصوص Statistics ها بدم.
در واقع نحوه توزیع داده ها و همچنین Density داده ها رو براساس فیلد مورد نظر داره نشون میده. زمانی که یک Plan قراره ساخته بشه براساس فیلدهایی که در شرط ها شرکت کرده میاد Statistics مربوط به اون فیلدها رو انتخاب میکنه و توزیع داده ها و میزان داده هایی که قراره باهاش ارتباط برقرار کنه رو استخراج می کنه و براساس اون میاد پلن میچینه. حالا اگه این جدول بروز نباشه و آمارو ارقامش دقیق نباشه عملا باعث کندی عجیب و غریبی میشه.
مثل یک مدیری هست که در شرکت قراره نقشه راه شرکت رو بکشه و کسی که داره بهش اطلاعات میده بیاد بهش اطلاعات غلط بده. مسلما مدیر مسیری که انتخاب میکنه خیلی پرهزینه تر و پر از اشکال خواهدبود. ولی اگر اطلاعات دقیقی رو دریافت کنه یک مسیر درست رو میتونه انتخاب کنه که هزینه بسیار کمی داشته باشه و راحتتر به هدفشون برسه.

شاد باشین و شکرگزار
حمیدرضا صادقیان
@hamidreza_Sadeghian

#statistics
#ExecutionPlan
#PerformanceTuning

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین

یک دوره Performance tuning رو دارم با یکی از شرکتها برگزار می کنم، تا اینجای کار در خصوص ساختارهای Query Optimization و یک توضیح مختصری در خصوص Execution Plan ها دادم و همچنین در خصوص
Logical processing , set based , declarative thinking و Statistics ها صحبت کردم.
اتفاقی که افتاده جالبه. من هنوز اصلا در خصوص index ها و بررسی چالش های کدها و اشکالات کدها صحبت نکردم.
دیروز یکی از دوستان میگفت با همین مطالبی که گفتیم یک کدی رو بهبود داده و زمانش از ۲۰ دقیقه رسیده به ۱۵ ثانیه.
و یکی دیگه هم میگفت زمان اجرای یک کد از ۴۵ دقیقه رسیده به ۴ دقیقه.
برام این نکته جالبه که فقط دوستان متوجه شدند که SQL Server چطوری کار میکنه و چطوری کدی رو پردازش می کنه.
با این طرز تفکر تونستند یک بازبینی روی کدهاشون انجام بدن و این بهبودها رقم بخوره.
این مساله خیلی اهمیت داره که با هرزبانی که کدمینویسیم ، بدونیم چطوری داره به کد ما نگاه می کنه ، چطوری کد مارو اجرا می کنه ، چطوری منابع بهش اختصاص میده. همین باعث میشه طرز فکر ماهم نسبت به اون زبان اصلاح بشه و قطعا بهبودهای خیلی خوبی رو در کدنویسی ایجاد می کنه.

شاد باشین و شکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین

در این مقاله قصد داریم، در خصوص اینکه چطوری از تابع SUMMARIZE در DAX استفاده کنیم تا میانگین مقادیر تسهیم نشده با چند ریزدانگی مختلف را محاسبه کنیم.

امیدوارم مفید واقع بشه

شاد باشین و شکرگزار
مهیار محمدی

@kmoh1368

https://data-club.ir/sql-server/ssas/%d9%85%d8%ad%d8%a7%d8%b3%d8%a8%d9%87-%d9%85%db%8c%d8%a7%d9%86%da%af%db%8c%d9%86-%d9%85%d9%82%d8%a7%d8%af%db%8c%d8%b1-%d8%aa%d8%b3%d9%87%db%8c%d9%85-%d9%86%d8%b4%d8%af%d9%87-%d8%af%d8%b1-%d8%ac%d8%af

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین

در این مقاله سعی کردم نحوه عمیق شدن در زبان T-SQL رو توضیح بدم.
همچنین منابع مورد نیاز هم معرفی کردم.

امیدوارم مفید واقع بشه.

شاد باشین و شکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian

https://data-club.ir/sql-server/sql-and-t-sql/%db%8c%d8%a7%d8%af%da%af%db%8c%d8%b1%db%8c-%d8%b9%d9%85%db%8c%d9%82-t-sql

سلام خدمت دوستان عزیزم
امیدوارم حالتون عالی باشه
دوباره تصمیم دارم برای ده شرکت به صورت رایگان پایش بانک اطلاعاتی SQL Server رو راه اندازی کنم.
این پایش توسط شخص بنده انجام خواهد شد و وابسته به هیچ شرکتی نمی باشد.

هدف از این پایش ، شناسایی چالش های Performance در SQL Server می باشد.
شرکتها و مراکزی که در این خصوص چالش دارند ، بامن صحبت کنند که یک وقتی رو باهم تنظیم کنیم و اینکارو انجام بدیم.

بعد از این پایش ،‌ من در قالب یک گزارش مطالب رو خدمتتون ارائه میدم.
اگر تمایل داشتید در زمینه رفعش هم میتونیم باهم صحبت کنیم.
در غیر اینصورت خودتون میتونید برای رفعش اقدام کنید.

امیدوارم که این حرکت بتونه برای کسانی که چالش های جدی Performance در لایه دیتابیس دارند کمک کننده باشه.

شاد باشین و شکرگزار
حمیدرضا صادقیان

@Hamidreza_Sadeghian

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین
در این مقاله قصد داریم بهتون یاد بدیم چطوری از Python در SSIS استفاده کنیم. با این روش شما میتونید از قدرت کدنویسی Python نیز بهره ببرید.

شاد باشین و شکرگزار
مرتضی ناصری

https://data-club.ir/sql-server/sql-and-t-sql/%da%86%da%af%d9%88%d9%86%d9%87-%d8%af%d8%b1-ssis-%d8%a7%d8%b2-%da%a9%d8%af-%d9%87%d8%a7%db%8c-%d9%be%d8%a7%db%8c%d8%aa%d9%88%d9%86-%d8%a7%d8%b3%d8%aa%d9%81%d8%a7%d8%af%d9%87-%da%a9%d9%86%db%8c%d9%85

سلام خدمت دوستان عزیزم
امیدوارم حالتون عالی عالی باشه.
میخواستم پروژه ای رو بهتون معرفی کنم که مدتهاست مشغول طراحی و پیاده سازی اون هستیم.
هدف از این پروژه بهبود پروژه های BI هست .
این محصول یک ساختار دستور محور مطابق Chat GPT داره. در این محصول کاربر با وارد کردن دستورات خود به زبان فارسی یا انگلیسی ، میتواند داده های مورد نظر را دیتابیس مورد نظر استخراج کرده و در نهایت در قالب نمودار آنها را دریافت کند.
با این روش خیلی از کارهایی که در BI صورت میگیره تا شما بتونید داده مورد نظر رو مشاهده کنید تقریبا از میان میره و درگیرش نیستید.
این محصول رو در چند شرکت کانادایی و داخلی به صورت پایلوت راه اندازی کردیم و نتایج خوبی رو ازش گرفتیم.
درصورتی که احساس می کنید در مجموعه خودتون ممکنه به چنین چیزی نیاز داشته باشید، خوشحال میشم باهم صحبتی داشته باشیم

شاد باشین و شکرگزار
حمیدرضا صادقیان

سلام خدمت دوستان عزیزم
امیدوارم عالی عالی باشین
چند وقته یک خطایی رو بر روی سرور دارم مشاهده می کنم که پیداکردن و حلش خیلی برای من سخت شده بود و اطلاعات درستی ازش نداشتم
توی این مقاله کل فرآیندی که طی کردم رو نوشتم و باهاتون به اشتراک گذاشتم
امیدوارم مفید واقع بشه

شاد باشین و شکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian
https://data-club.ir/sql-server/sql-and-t-sql/%d8%a8%d8%b1%d8%b1%d8%b3%db%8c-%d8%ae%d8%b7%d8%a7%db%8c-17813

سلام دوستان عزیزم
امیدوارم که عالی عالی باشین.

چندروز پیش در حین مانیتور کردن یک مرکز بیمارستانی ، دیدم یک کد بسیار پرهزینه داره اجرا میشه. زمان اجرای این کد تقریبا دو دقیقه بود و بیش از ۱۰ میلیون Logical Read داشت.
ساختار کدش به این شکل بود :
Select * from
(
select
join ....
)
where id=888

من دیدم اول داره join ها لحاظ میشه و چون Inner join بود اومدم اون شرط بیرونی رو به داخل و درون خود Join انتقال دادم. (دقت کنیدا گفتم Inner join بود. در Outer join این نتیجه تغییر می کنه)

با اینکار باعث شد زمان اجرای کد از ۲ دقیقه به ۳۰۰ میلی ثانیه کاهش پیدا کنه و Logical Read بیش از ۱۰ میلیون به ۵۰ کاهش پیدا کرد.

راه اندازی سامانه مانیتورینگ بسیار حائز اهمیته.

خیلی وقتها خیلی تغییرات رو هم میشه با اصلاح ساختار ایندکس ها انجام داد و بهبودی های خوبی رو حاصل کرد.
در اکثر سیستم هایی که من دیدم در خیلی از جداول عملیاتی حجم ایندکس های زیادی هستند که یا تکراری هستن یا بدون استفاده . که با حذف اونها هم حجم بکاپ ها به شدت کاهش پیدا می کنه. هم سرعت کدها افزایش پیدا می کنه هم میزان Blocking ها کم میشه.

نکته بعد اینکه اگر مانیتورینگ هم راه اندازی کردین باید بدونید علائم ها چی هستند تا بتونید درست تفسیر کنید.
سامانه مانیتورینگ مثل یک برگ آزمایش میمونه. صرفا با سرچ یک کلمه در اینترنت نمیشه به نتایج مثبتی رسید.

امیدوارم این مساله دید خوبی بهتون در خصوص مانیتورینگ بده.
شاد باشین و شکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian

سلام دوستان عزیزم.
امیدوارم عالی عالی باشین.

من میخوام روزی یک ساعت به صورت رایگان در حوزه SQL Server مشاوره رایگان بدم.
اشخاص یا شرکتهایی که قصد دارن باهم صحبتی داشته باشیم به من پیام بدن. بعد از صحبت های اولیه حتما یک جلسه آنلاین تنظیم خواهم کرد و باهم صحبت می کنیم.
فقط نکات زیر رو حتما رعایت کنید :

۱- به دلیل اینکه تمایل دارم افراد بیشتری از این فضا استفاده کنند ، برای هر شخص یا سازمان این مشاوره فقط یک بار به صورت رایگان خواهد بود.
۲- خواهش میکنم صورت مساله کاملا شفاف باشه و بدونم در خصوص چه موضوعی قرار هست صحبت کنیم.
۳- زمان بندی که باهم قرار میدیم رو حتما رعایت کنید.

شاد باشین و شکرگزار
@Hamidreza_Sadeghian

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین

سوالات زیادی از من در مورد نحوه همکاری میشه ، گفتم در این پست به صورت عمومی اعلام کنم .

خدمت شما عرض کنم که من به سه صورت در حال حاضر با شرکتها قرارداد همکاری می بندم.

1- صورت اول به صورت ماهانه هست ، به این صورت که براساس تعداد سرورها و تعداد دیتابیس ها و کارهایی که باید انجام بشه ، یک رقمی رو باهم توافق میکنیم و یک حداکثر زمانی هم در قرارداد قید میشه. من در خلال هر ماه سرورهارو پایش میکنم رسیدگی می کنم و بررسی می کنم و اگه چالشی ببینم اطلاع رسانی می کنم و راه حلش هم ارائه میدم که به چه صورت میشه مسائل رخ داده رو حل کرد. کارهای ادمینی هم تماما به عهده بنده و تیم بنده هست.
همچنین در این قرارداد مواردی که مشخص میشه رو در خلال آموزش هم توضیح میدم که چیکار کنیم دیگه اون مساله رخ نده.

2- صورت دوم به صورت ساعتی هست. یک رقم ساعتی رو باهم توافق می کنیم و یک قرارداد می بندیم. براساس ساعاتی که من با شما همکاری دارم ساعات رو اعلام می کنم و براساس رقم توافق شده پرداخت انجام میشه. در این حالت تا زمانی که کاری به من ارجاع نشه من هیچ کاری انجام نخواهم داد.

3- صورت سوم هم آموزش هست که براساس یک سیلابس مشخص آموزش های مورد نظر رو انجام میدم.

در صورتی که فکر می کنید با هرکدوم از روشهای فوق من میتونم کمکی بهتون بکنم ، با کمال میل در خدمتتون هستم.

شاد باشین وشکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian

سلام خدمت دوستان عزیزم
یکی از مسائلی که موقع مانیتور کردن دیتابیس ها خیلی اهمیت داره ، این هست که شما بدونید تقدم و تاخر اجرای کدها به چه شکلی هست. فرض کنید شما در حال مانیتور کردن کدهای پرهزینه هستید.
ممکنه SP ها یا توابع تودرتویی اجرا بشه . خیلی اهمیت داره بدونید که این کدها به چه ترتیب و ساختاری اجرا شدند.
با استفاده ازExtended Events ها شما میتونید این مساله رو بهش برسید. دراین مقاله به این موضوع می پردازم.
https://data-club.ir/sql-server/performance/%d8%a8%d8%b1%d8%b1%d8%b3%db%8c-%da%af%d8%b2%db%8c%d9%86%d9%87-causality-tracking-%d8%af%d8%b1-extended-events


شاد باشین و شکرگزارحمیدرضا صادقیان@hamidreza_Sadeghian

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین
یکی از چالش هایی که کدهای ad hoc ایجاد می کند، ایجاد Plan به ازای هر کوئری هست که گاها ممکن هست حتی فقط کد مذکور یکبار ایجاد شود. که این امر میتونه در هدر رفتن فضای Plan cache تاثیر داشته باشه.
در این مقاله من در خصوص این موضوع صحبت کردم.

امیدوارم مفید واقع بشه
شاد باشین و شکر گزار

https://data-club.ir/sql-server/performance/%d8%a8%d8%b1%d8%b1%d8%b3%db%8c-%da%af%d8%b2%db%8c%d9%86%d9%87-optimize-for-ad-hoc-workload

سلام خدمت دوستان عزیزم
امیدوارم حالتون عالی باشه
یکی از مسائل مهمی که در کدنویسی ها باید رعایت بشه نوشتن صحیح کدها مخصوصا شرط ها هست که به SQL Server کمک کنه تا از ایندکس هایی که بر روی فیلدها قرار داره استفاده بهینه بکنه.
در کتاب آقای Itzik Ben-Gan بهش می گن SARGable Query . در این مقاله من به این موضوع پرداختم و با مثال در خصوصش توضیح دادم

امیدوارم مفید واقع بشه.
شاد باشین و شکرگزار
حمیدرضا صادقیان

https://data-club.ir/sql-server/performance/sargable-query-%da%86%db%8c%d8%b3%d8%aa%d8%9f

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین
در این مقاله من درخصوص نحوه بروز رسانی Statistics ها صحبت کردم.
امیدوارم مفید واقع بشه

شاد باشین و شکرگزار
حمیدرضا صادقیان

https://data-club.ir/sql-server/performance/update-statistics/

سلام خدمت دوستان عزیزم
امیدوارم که عالی عالی باشین
خدمت شما عرض می کنم که وب سایتی تخصصی در حوزه Data راه اندازی کردیم.
هدف ما این هست که در این وب سایت در حوزه های مختلف داده ،‌ تولید محتوا انجام بدیم.
این تولید محتواها در قالب فیلم های آموزشی ، پادکست ها و همچنین مقالات نوشتاری خواهد بود.
ممنون خواهم شد نظرات ارزشمندتون رو برای ما بیان کنید.
امیدوارم بتونیم در مسیر توسعه دانش ،‌گامی موثر رو برداریم.

شاد باشین و شکرگزار
حمیدرضا صادقیان

https://data-club.ir/

سلام خدمت دوستان عزیزم

امیدوارم حالتون عالی عالی باشه

یکی از مسائلی که ممکنه باهاش در محاسبات برخورد کنید نحوه رفع خطای Divide by zero هست که در ادامه روشهای گوناگون اون رو باهم بررسی می کنیم.

مثال زیر را در نظر بگیرید.

DECLARE @Product1 INT;
DECLARE @Product2 INT;
SET @Product1 = 20;
SET @Product2 = 0;
SELECT @Product1 / @Product2 AS ProductRatio;
با اجرای کد بالا خطای Divide by zero را دریافت خواهید کرد.

روش اول این هست که از تابع nullif استفاده کنید.

DECLARE@Product1INT;
DECLARE@Product2INT;
SET@Product1= 20;
SET@Product2=0;
SELECT@Product1/ NullIf(@Product2,0) AS ProductRatio;
روش دوم استفاده از Case When هست



DECLARE @Product1 INT;
DECLARE @Product2 INT;
SET @Product1 = 50;
SET @Product2 = 0;
SELECT @Product1 / case
when @product2= 0
then null
else @product2 end as ProductRatio;


روش سوم استفاده از Set ArithAbort هست



به صورت پیش فرض این دستور On هست و زمانی که یک تقسیم برصفر رخ بده ، خطا تولید میکنه. در صورتی که اونو غیرفعال کنید خروجی دستور null خواهد شد.

set arithabort off;
Set ansi_warnings off
DECLARE @Product1 INT;
DECLARE @Product2 INT;
SET @Product1 = 20;
SET @Product2 = 0;
SELECT @Product1 / @Product2 ProductRatio;
نکته : پیشنهاد میشه از روش سوم تا جای ممکن استفاده نشه که میتونه براتون مشکلات Performance ایجاد کنه. ترجیحا از دو روش ابتدایی استفاده کنید بهتره.

شاد باشین و شکرگزار

حمیدرضا صادقیان

سلام خدمت دوستان عزیزم
امیدوارم حالتون عالی عالی باشه
دیروز در یک سازمانی با کدی مواجه شدم که 72 ساعت زمان میبره اجرا بشه.

البته منطق محاسباتی پیچیده ای داره. خیلی جالبه که حتی Estimate plan رو زدم 4 دقیقه طول کشید و به دلیل پیچیدگی و تعداد plan های ایجاد شده تا 100 تا پلن رو نمایش میداد ولی دیگه مابقی صفحه سفید بود ولی اسکرول میشد 😑

در حال بهینه سازی کد فوق هستم انشالله در روزهای دیگه با نکاتی در این خصوص حتما پستی جداگانه قرار میدم.

فقط در بررسی های اولیه ، نکاتی که در این کد قابل مشاهده بود موارد زیر بود.

تفکر row Processing به جای Set-based که باعث شده بود استفاده از حلقه ها در SP های مورد نظر صورت بگیره..

استفاده های بسیار زیاد از توابع Scalar که حتی در نسخه 2022 قابلیت تبدیل به inline شدن هم نداشتند.


فعلا این موارد اولیه بررسی بود.

در آینده بیشتر بهش خواهم پرداخت


شاد باشین و شکرگزار

حمیدرضا صادقیان

سلام خدمت دوستان عزیزم
امیدوارم حالتون عالی عالی باشه
لینک گروه پرسش وپاسخ رو خدمتتون ارسال می کنم.
شاد باشین و شکرگزار
حمیدرضا صادقیان
https://t.me/+uIc1qhv58gU0NWQ0

سلام به دوستان عزیزم
داشتم به ساختار LINQ در سی شارپ دقت می کردم ، خیلی جالبه که نحوه نوشتارش براساس Logical Processing خود زبان T-SQL هست. ترتیب نوشتار در زبان T-SQL به شکل زیر هست
1- Select
2- From
3- Where
4- Group by
5- having
6- order
ولی چیزی که در logical Processing رخ میده به این شکل هست
1- from
2- where
3- group by
4- having
5- select
6- order
خیلی برام جالب بود که دقیقا LINQ هم داره با این مدل نوشته میشه. این نکته از این جهت برام جالب بود که اگه این مدلی بهش نگاه بشه یادگیریش خیلی راحت خواهد بود و شاید این سوال رفع شده باشه که چرا در LINQ مثل زبان T-SQL دستور رو نمی نویسیم.

شاد باشین وشکرگزار
حمیدرضا صادقیان

#LINQ #TSQL #LogicalProcessing

سلام خدمت دوستان عزیزم
امیدوارم حالتون عالی عالی باشه
داشتم سیستمها رو مانیتور می کردم ، دیدم که بعضی از Index ها Fragment بالایی دارند. با اینکه من جاب Index Maintenance هم دارم. اول رفتم جاب رو دیدم که ببینم نکنه اجرا نشده ، دیدم خیر داره اجرا میشه.
اومدم دستی ایندکس رو Rebuild کردم و وضعیتشو مانیتور کردم . دیدم که به شدت داره Fragment ایجاد میشه و توی 10 دقیقه دوباره 30 درصد Fragment ایجاد شد.
ساختار ایندکس رو بررسی کردم دیدم داخل کلید ایندکس یک فیلد داریم که از نوع Nvarchar هست و مدام این فیلد داره مقدارش Update میشه. با توجه به اینکه از نوع Nvarchar هست پس بسته به دیتایی که داره حجم اشغال میکنه. مقادیر رو بررسی کردم دیدم طول رشته هایی که داخلش بروز میشه متفاوت هست.
کاری که کردم این بود که مقدار Fill factor رو از 95 به 70 تغییر دادم و الان بعد از 24 ساعت تازه 20 درصد Fragment ایجاد شده است.
برای اینکه این مشکل اصولی حل بشه باید ساختار این فیلد عوض بشه که یا طولش ثابت بشه یا اینکه مدل ذخیره سازیش عوض بشه.
ولی در حال حاضر نیز با کاهش Fill Factor این مساله حل شد.
امیدوارم این نکته براتون مفید بوده باشه.
شاد باشین و شکرگزار
حمیدرضا صادقیان
@Hamidreza_Sadeghian
#Fillfactor #Fragment #Index #PerformanceTuning