گرادیان بوستینگ (Gradient Boosting) چیست؟

گرادیان بوستینگ یک تکنیک یادگیری ماشینی (ML) است که برای وظایف رگرسیون و طبقه‌بندی استفاده می‌شود و می‌تواند دقت پیش‌بینی و سرعت مدل‌های یادگیری ماشینی را بهبود بخشد.

مرور کلی

گرادیان بوستینگ یک الگوریتم یادگیری ماشینی (ML) است که برای وظایف رگرسیون و طبقه‌بندی به کار می‌رود. گرادیان بوستینگ به دلیل توانایی‌اش در مدیریت روابط پیچیده در داده‌ها و محافظت در برابر بیش‌برازش (overfitting) محبوبیت زیادی پیدا کرده است. با استفاده از این تکنیک، دانشمندان داده می‌توانند دقت پیش‌بینی و سرعت مدل‌های یادگیری ماشینی خود را بهبود بخشند. در این مقاله، درباره گرادیان بوستینگ، نحوه به اشتراک گذاشتن مزایای استفاده از این تکنیک و سه مورد استفاده رایج آن خواهید آموخت.

درباره گرادیان بوستینگ

گرادیان بوستینگ یک تکنیک یادگیری گروهی (ensemble) است که مجموعه‌ای از مدل‌های ضعیف را به یک مدل پیش‌بینی دقیق‌تر و کارآمدتر ترکیب می‌کند. این مدل‌های ضعیف معمولاً درخت‌های تصمیم هستند، به همین دلیل این الگوریتم‌ها اغلب به عنوان درخت‌های تصمیم گرادیان بوستینگ (GBDTs) شناخته می‌شوند. الگوریتم‌های گرادیان بوستینگ به صورت تکراری عمل می‌کنند و مدل‌های جدید را به طور متوالی اضافه می‌کنند، به طوری که هر افزودنی جدید با هدف رفع خطاهای مدل‌های قبلی انجام می‌شود. پیش‌بینی نهایی مجموعه، مجموع پیش‌بینی‌های فردی تمام مدل‌ها را نشان می‌دهد.

گرادیان بوستینگ الگوریتم گرادیان نزولی و روش بوستینگ را ترکیب می‌کند، که نام آن به هر یک از این اجزا اشاره دارد. این فرآیند آموزشی از رویکرد «قدرت در تعداد» استفاده می‌کند و به دانشمندان داده اجازه می‌دهد تا توابع زیان قابل تمایز دلخواه را بهینه‌سازی کنند. گرادیان بوستینگ برای حل مسائل پیچیده رگرسیون و طبقه‌بندی استفاده می‌شود. در رگرسیون، نتیجه نهایی میانگین تمام یادگیرهای ضعیف را نشان می‌دهد. در مسائل طبقه‌بندی، نتیجه نهایی مدل می‌تواند به عنوان کلاسی محاسبه شود که اکثریت آرای مدل‌های یادگیر ضعیف را به خود اختصاص داده است.

بوستینگ در مقابل بگینگ

بوستینگ و بگینگ دو نوع اصلی یادگیری گروهی هستند. روش‌های یادگیری گروهی با رویکرد جمعی خود متمایز می‌شوند و گروهی از یادگیرهای پایه را تجمیع می‌کنند تا پیش‌بینی‌های دقیق‌تری نسبت به هر یک از اجزای تشکیل‌دهنده به تنهایی تولید کنند. در روش‌های بوستینگ، مدل‌های یادگیر ضعیف به صورت متوالی آموزش داده می‌شوند، به طوری که هر مدل فردی پس از ایفای نقش خود در کل مجموعه، مدل بعدی وارد می‌شود. در مقابل، تکنیک‌های بگینگ یادگیرهای پایه را به صورت موازی آموزش می‌دهند.

موارد استفاده

گرادیان بوستینگ تعادل خوبی از دقت، کارایی و مقیاس‌پذیری ارائه می‌دهد که می‌تواند به طور گسترده در موارد زیر به کار رود:

• طبقه‌بندی: پیش‌بینی دسته‌ها یا کلاس‌ها (مانند تشخیص هرزنامه، تشخیص تقلب).
• رگرسیون: پیش‌بینی مقادیر عددی (مانند پیش‌بینی قیمت سهام، پیش‌بینی فروش).
• رتبه‌بندی: رتبه‌بندی موارد بر اساس اهمیت یا ارتباط آنها (مانند نتایج جستجو، توصیه‌ها).

سایر مدل‌های بوستینگ

تکنیک‌های بوستینگ دیگر، مانند AdaBoost و XGBoost، نیز روش‌های یادگیری گروهی محبوبی هستند. در ادامه نحوه عملکرد آنها توضیح داده شده است.

XGBoost

XGBoost نسخه‌ای تقویت‌شده از گرادیان بوستینگ است که برای سرعت محاسباتی بهینه و مقیاس‌پذیری طراحی شده است. XGBoost از چندین هسته CPU برای امکان یادگیری موازی در طول آموزش مدل استفاده می‌کند.

AdaBoost

AdaBoost یا بوستینگ تطبیقی، مجموعه‌ای از یادگیرهای ضعیف را به داده‌ها تطبیق می‌دهد. این یادگیرهای ضعیف معمولاً تصمیم‌های تک‌شاخه (decision stumps) هستند، یعنی درخت تصمیمی با یک تقسیم و دو گره انتهایی. این تکنیک به صورت بازگشتی عمل می‌کند، نقاط داده‌ای که به اشتباه طبقه‌بندی شده‌اند را شناسایی می‌کند و به طور خودکار آنها را تنظیم می‌کند تا خطاهای آموزشی را کاهش دهد. AdaBoost این فرآیند را تا زمانی که قوی‌ترین پیش‌بینی‌کننده را تولید کند، تکرار می‌کند.

مزایای درخت‌های تصمیم گرادیان بوستینگ

درخت‌های تصمیم گرادیان بوستینگ (GBDTs) از محبوب‌ترین پیاده‌سازی‌های گرادیان بوستینگ هستند. این رویکرد که در اکثر موارد استفاده گرادیان بوستینگ به کار می‌رود، مزایای خاصی نسبت به سایر تکنیک‌های مدل‌سازی دارد.

پیاده‌سازی کاربرپسند

درخت‌های تصمیم گرادیان بوستینگ نسبتاً آسان برای پیاده‌سازی هستند. بسیاری از آنها از ویژگی‌های دسته‌ای پشتیبانی می‌کنند، نیازی به پیش‌پردازش داده ندارند و فرآیند مدیریت داده‌های گمشده را ساده می‌کنند.

کاهش سوگیری

در یادگیری ماشینی، سوگیری یک خطای سیستماتیک است که می‌تواند باعث شود مدل‌ها پیش‌بینی‌های نادرست یا ناعادلانه‌ای انجام دهند. الگوریتم‌های بوستینگ، از جمله گرادیان بوستینگ، به صورت متوالی چندین یادگیر ضعیف را در مدل پیش‌بینی بزرگ‌تر ادغام می‌کنند. این تکنیک می‌تواند با افزودن هر یادگیر ضعیف اضافی و بهبودهای تکراری، در کاهش سوگیری بسیار مؤثر باشد.

بهبود دقت

بوستینگ به درخت‌های تصمیم اجازه می‌دهد تا به صورت متوالی یاد بگیرند و درخت‌های جدیدی را متناسب با خطاهای درخت‌های قبلی که در مدل بزرگ‌تر گنجانده شده‌اند، تطبیق دهند. این ترکیب پیش‌بینی‌های دقیق‌تری نسبت به هر یک از مدل‌های یادگیر ضعیف به تنهایی تولید می‌کند. علاوه بر این، درخت‌های تصمیم می‌توانند هر دو نوع داده عددی و دسته‌ای را مدیریت کنند، که آنها را گزینه‌ای مناسب برای بسیاری از مسائل می‌سازد.

آموزش سریع‌تر بر روی مجموعه‌های داده بزرگ

روش‌های بوستینگ به ویژگی‌هایی اولویت می‌دهند که دقت پیش‌بینی مدل را در طول آموزش افزایش می‌دهند. این انتخاب‌پذیری تعداد ویژگی‌های داده را کاهش می‌دهد و مدل‌های محاسباتی کارآمدی ایجاد می‌کند که می‌توانند به راحتی مجموعه‌های داده بزرگ را مدیریت کنند. الگوریتم‌های بوستینگ همچنین می‌توانند برای تسریع بیشتر آموزش مدل موازی‌سازی شوند.

گرادیان بوستینگ در عمل

مدل‌های گرادیان بوستینگ در طیف گسترده‌ای از وظایف مدل‌سازی پیش‌بینی و یادگیری ماشینی استفاده می‌شوند. این الگوریتم‌ها قابلیت‌های حل مسئله با عملکرد بالا را ارائه می‌دهند و نقش مهمی در بسیاری از کاربردهای واقعی ایفا می‌کنند.

مدل‌سازی پیش‌بینی در خدمات مالی

مدل‌های گرادیان بوستینگ به طور مکرر در خدمات مالی استفاده می‌شوند. آنها نقش مهمی در حمایت از سرمایه‌گذاری‌ها و انجام پیش‌بینی‌ها ایفا می‌کنند. مثال‌ها شامل بهینه‌سازی پرتفوی، پیش‌بینی قیمت سهام، ریسک‌های اعتباری و سایر نتایج مالی بر اساس داده‌های تاریخی و شاخص‌های مالی است.

تحلیل‌های مراقبت‌های بهداشتی

ارائه‌دهندگان مراقبت‌های بهداشتی از الگوریتم‌های گرادیان بوستینگ برای پشتیبانی از تصمیم‌گیری بالینی، مانند تشخیص بیماری، استفاده می‌کنند. گرادیان بوستینگ همچنین دقت پیش‌بینی را بهبود می‌بخشد و به ارائه‌دهندگان مراقبت‌های بهداشتی امکان می‌دهد تا ریسک را طبقه‌بندی کنند و جمعیت‌های بیمار خاصی را که ممکن است از یک مداخله خاص بهره‌مند شوند، هدف قرار دهند.

تحلیل احساسات

گرادیان بوستینگ در بسیاری از وظایف پردازش زبان طبیعی، از جمله تحلیل احساسات، مفید است. این الگوریتم‌ها می‌توانند حجم زیادی از داده‌های متنی از رسانه‌های اجتماعی، نقدهای آنلاین، وبلاگ‌ها، نظرسنجی‌