فینپای | FinPy

#کتابچه_آموزشی

Investment Model Validation - CFA Institute

▫️اعتبارسنجی یا Validation مهمترین بخش در توسعه یه مدل مبتنی بر ماشین لرنینگ برای سرمایه گذاری هست. چون اگر مدل توسعه داده شده به درستی اعتبار سنجی بشه با اطمینان بیشتری میشه سرمایه بهش اختصاص داد. این کتابچه که مروری بر نحوه اعتبارسنجی مدلهای سرمایه گذاری داشته، به تازگی توسط موسسه CFA منتشر شده. اگرچه روش ها و سنجه های اعتبارسنجی معرفی شده، لزوما جامعترین و یا بهترین نیستند ولی ارزش خوندن داره. اگر دنبال منبع جامعتر و به روزتری در این خصوص هستید، مطالعه بخش چهار این کتاب رو که در مورد بکتست هست، البته همراه با برخی پیشنیازهاش که در فصلهای قبلی کتاب اومده پیشنهاد میشه. در کنار اینها حتما مقاله زیر رو هم بررسی کنید:

Backtest Overfitting in the Machine Learning Era: A Comparison of Out-of-Sample Testing Methods in a Synthetic Controlled Environment

@FinPy

#معرفی_کتاب

▫️ پیش بینی هایی که توسط مدل های ماشین لرنینگ انجام میشه، اگه با یه درجه اطمینان همراه باشن، قابل اتکا تر خواهند بود. این درجه اطمینان برای مدل ها میتونه از طریق Conformal Prediction تولید بشه که تو یه سری حوزه ها از جمله فایننس اهمیت زیادی داره. این کتاب جامع ترین مرجع برای یادگیری اصول و مبانی Conformal Prediction هست. اگر حتی علاقه ای به این موضوع ندارید، حداقل بخشی که مربوط به کالیبراسیون کلاسیفایرها هست رو بخونید چون توی Bet Sizing در پوزیشن هایی که بر اساس پیش بینی این مدلها در بازار انجام میشه، دونستنش ضروریه.

Practical Guide to Applied Conformal Prediction in Python


@FinPy

انتخاب k برای k-fold کراس ولیدیشن

▫️یکی از کاربردهای کراس ولیدیشن، تخمین عملکرد (Performance Estimation) مدلهای ماشین لرنینگ هست و شاید اولین سوالی که برای کاربر پیش میاد اینه که k رو چند بزارم. مثلا اگر k رو ۵ بزاریم، دیتا به ۵ قسمت تقسیم و ۵ بار مدل ترین میشه. هر بار، مدل روی ۸۰٪ دیتا ترین و روی ۲۰٪ باقیمانده ارزیابی میشه. بنابراین خروجی کراس ولیدیشن در این حالت ۵ تا عدد مثلا Accuracy خواهد بود که یه میانگینی دارند.

▫️برای اینکه میانگین این معیار ارزیابی به واقعیت نزدیکتر، یا به اصطلاح بایاس کمتری داشته باشه، به k بزرگتری نیاز داریم. محدوده پیشنهادی برای k با هدف تخمین عملکرد، ۱۰ تا ۲۰ هست و هر چه دیتای شما کمتر باشه، مثل چیزی که در مسایل مالی باهاش روبرو هستیم، انتخاب باید به سمت ۲۰ نزدیکتر باشه. حد ماکزیمم هم برای این گذاشته شده که وقتی k بزرگتر میشه فولدهای ترین کورولیشن زیادی با هم خواهند داشت بنابراین تخمین حاصل از کراس ولیدیشن اعتبار خودش رو روی دیتایی که مدل هیچ وقت ندیده (unseen data) از دست خواهد داد. مثلا با انتخاب ۵۰، مدل ۵۰ بار، هر بار با ۹۸٪ دیتا ترین و با ۲٪ باقیمانده تست خواهد شد!

@FinPy

پیش بینی جهت بازار

▫️تشخیص صحیح جهت حرکت قیمت که از منظر ML یه مساله باینری کلاسیفیکیشنه، مهمترین رکن موفقیت در بازارهای مالی هست. فرض کنید یه دیتاست با فیچرهایی که میتونه در پیش بینی جهت، کارآمد باشه رو داریم و میخواییم بدونیم حرکت a% درصد بعدی قیمت، صعودی خواهد بود یا نزولی. اگر مدل رو روی همه مشاهدات دیتاست (همه نقاط زمانی) ترین کنیم، به دقت خوبی نخواهیم رسید، چون همه مشاهدات موجود در دیتاست ارزش یکسانی ندارند. وقتی مخلوطی از مشاهدات ارزشمند و بی ارزش رو به مدل میدیم، مدل نمیتونه فرآیند یادگیری رو به خوبی انجام بده چون سعی داره از مشاهدات بی ارزش هم یاد بگیره و همین موضوع، دقت اش رو کم میکنه.

▫️نمونه برداری با هدف کاهش مشاهدات (down-sampling) یکی از راهکارهای ممکن برای حل این مشکله. مثلا مشاهداتی که مرتبط با وقوع یه رخداد خاص در بازار هستند رو نگه میداریم و بقیه رو دور میریزیم. رخداد میتونه هر چیزی مثل عبور والیتیلیتی یا آنتروپی از یه ترشلد باشه. توی شکل یه سری رخداد با نقاط قرمز مشخص شدن که آموزش مدل و پیش بینی فقط در اون نقاط (فیچرها و لیبل مرتبط) انجام میشه و نه در همه نقاط سری زمانی قیمت.

@FinPy