مقیاس گذاری/ عادی سازی/ استاندارد سازی: یک سوال فراگیر

یکی از سؤال های پرسیده شده هنگام برخورد با چندین ویژگی این است که چگونه می توانید آنها را به مقیاس های مشابه خلاصه یا تبدیل کنید. همانطور که احتمالاً می دانید ، بسیاری از الگوریتم های یادگیری ماشین خواستار ویژگی های ورودی در مقیاس های مشابه هستند. اما ، اگر اینطور نباشند؟آیا می توانیم فقط با داده های خام کار کنیم به این امید که تجزیه و تحلیل ما درست باشد؟خوب ، در بعضی موارد ، جواب "بله" است.

• When you use classification trees there is no need to scale the features, since the algorithms evolve answering questions like feature_k>ارزش؟بنابراین فرقی نمی کند که مقادیر هر ویژگی در یک محدوده یا دیگری باشد.
• این مشکل در الگوریتم هایی رخ می دهد که تکامل به میزان تغییر (روش های مبتنی بر بهینه سازی نزول شیب ، به عنوان مثال) یا هنگام تلاش برای به حداکثر رساندن برخی از جنبه ها (به عنوان مثال ، برای جلوگیری از اضافه وزن اندازه گیری های بزرگتر) بستگی دارد یا زمان آن بستگی دارد. مسافت ها درگیر هستند (به شماره 2 مراجعه کنید. در نزدیکترین همسایگان) ، که تحت تأثیر مقیاس ویژگی های مورد استفاده قرار می گیرند. در این موارد ، کار با ویژگی ها در مقیاس های مشابه بسیار مهم است. بنابراین ، چگونه می توانیم ویژگی ها را تغییر دهیم؟

استاندارد سازی (عادی سازی نمره Z)

این شامل تغییر هر ویژگی است که میانگین مقدار و تقسیم بر انحراف استاندارد را کم می کند:

هنگامی که Z 0 است ، مشاهده به معنای نمونه است. هنگامی که z 1 است ، مشاهده یک انحراف استاندارد به دور از میانگین است.

1. این گلزنی Z می تواند به عنوان یک تحول مقطعی (متداول ترین تفسیر) انجام شود ، که در آن میانگین و انحراف استاندارد بر روی مقادیر در افراد در یک نقطه زمانی معین محاسبه می شود (به عنوان مثال ویژگی های حرکت ، نوسانات یا سایر موارد، از چندین دارایی در یک تاریخ معین). با این تحول ، میانگین نمره Z برای هر ویژگی در هر تاریخ یکسان خواهد بود.
2. راه دیگر برای تفسیر این تحول در هر فرد در طول زمان است. در زیر با مثال قبلی ، با این تحول ، هر دارایی در هر آمار دارای یک سطح متوسط (0) است. بعضی اوقات ویژگی ها فقط متمرکز هستند (میانگین تفریق) به منظور ارزیابی اینکه آیا سطح ویژگی بالاتر یا پایین تر از میانگین (تبدیل ipsatization) است.
3. و با این وجود روش دیگری برای محاسبه آن (بیشتر با داده های طولی) به منظور حفظ تکامل سطح متوسط در طول زمان ، تغییر در طول زمان و در افراد است. به عبارت دیگر ، برای تبدیل متغیرها باید انحراف متوسط و بزرگ بزرگ (گرفتن تمام داده های هر متغیر را در افراد و زمان) محاسبه کنید.

مزایای امتیاز دهی Z سادگی و امکان رد کردن مسافت های خارج از کشور ("Winsorising") در هنگام افراط و تحول Z است. همچنین همبستگی نمونه بین ویژگی ها را بدون تغییر نگه می دارد.

نقطه ضعف اصلی از دست دادن اطلاعات در مورد میانگین و سطح انحراف استاندارد در نقاط زمانی مختلف هنگام استفاده از عادی سازی مقطعی است. بدیهی است ، اگر ویژگی های اصلی به طور معمول توزیع نشوند ، موارد تبدیل شده نیز نخواهد بود.

تحول POMS / MIN-MAX

POMS (نسبت حداکثر امتیاز دهی) یا مقیاس گذاری حداقل حداکثر شامل نجات همه ویژگی ها به محدوده 0-1 با استفاده از تحول زیر است:

مجدداً با استفاده از این مقیاس ، میانگین و سطح انحراف سطح انحراف را از دست می دهیم ، مگر اینکه شما در بین افراد و نقاط زمانی محاسبه کنید ، با مقادیر حداقل و حداکثر. علاوه بر این ، کنترل Outners مشکل ساز است ، زیرا حداقل و حداکثر همیشه 0 و 1 خواهد بود ، مهم نیست که پراکندگی داده های خام باشد.

می توانید این نوع تحول را در شبکه های عصبی مشاهده کنید.

تحول رتبه بندی

با این تحول ، شما فقط هر ویژگی را به توزیع یکنواخت تبدیل می کنید.

هر مقدار x y = k می شود ، x kth بزرگترین مقدار ویژگی x است.

این تحول طیف خاصی از مقادیر را تعریف می کند و تأثیر Outliers را صاف می کند. می توان چندین رتبه بندی را با روش Kemeny-Young جمع کرد.

مشکل اصلی این تحول این است که همبستگی و مسافت های اصلی را در بین و در بین ویژگی ها تحریف می کند.

روشهای دیگر

تحولات پیچیده تر برای به دست آوردن نرمال بودن در توزیع ویژگی ها عبارتند از به اصطلاح تحولات قدرت ، مانند تبدیل جعبه-cox (برای مقادیر مثبت) و تبدیل یو-جانسون ، که برای انتخاب پارامترهای مناسب به یک فرآیند حداکثر احتمال نیاز دارند. در مورد این و روش های دیگر می توانید اطلاعات زیادی در اینترنت پیدا کنید.

تحولات قبلی و موارد دیگر را می توان با کتابخانه عالی Scikit-Lea در بسته پیش پردازش آزمایش کرد. آن را امتحان کنید!

امیدوارم از پست لذت برده باشید. دریغ نکنید که روش مقیاس بندی مورد علاقه خود را با ما به اشتراک بگذارید.