چگونه بارگذاری داده‌ها را برای بهبود عملکرد به صورت موازی انجام دهیم؟

تیم داده‌های شما در صبح روز دوشنبه متوجه می‌شود که کار ETL روزانه ۵۰۰ گیگابایتی که قرار بود تا ساعت ۶ صبح تکمیل شود، هنوز در ظهر در حال اجراست. داشبوردهای تحلیلی داده‌های قدیمی را نشان می‌دهند، سهامداران کسب‌وکار به اعتبار داده‌ها شک دارند و فرآیند تک‌نخی فعلی که برای ۵۰ گیگابایت خوب کار می‌کرد، اکنون تحت حجم داده‌های رو به رشد شکست می‌خورد.

این راهنما تکنیک‌های عملی بارگذاری موازی را پوشش می‌دهد که فرآیندهای چندساعته را به عملیات چند دقیقه‌ای تبدیل می‌کنند. شما با استراتژی‌های تقسیم‌بندی، الگوهای بهینه‌سازی منابع و رویکردهای مانیتورینگ آشنا خواهید شد که به مهندسان داده کمک می‌کند تا حتی با داده‌های در مقیاس ترابایت عملکرد بارگذاری زیر یک ساعت داشته باشند.

چرا عملکرد بارگذاری داده مهم است؟

عملکرد ضعیف بارگذاری سه مشکل اصلی ایجاد می‌کند که با گذر زمان تشدید می‌شوند:

• اختلال در کسب‌وکار: زمانی که کارهای شبانه از پنجره زمانی خود عقب می‌مانند، رخ می‌دهد. مدیران اجرایی با داده‌های قدیمی تصمیم‌گیری می‌کنند، تحلیلگران گزارش‌های ناقص را توضیح می‌دهند و برنامه‌های کاربردی مشتری محور اطلاعات قدیمی را نمایش می‌دهند که اعتماد را کاهش می‌دهد.

• تأثیر مالی: با رشد داده‌ها چند برابر می‌شود. صورتحساب‌های ابری هنگامی که کارهای ۲ ساعته به ۱۲ ساعت کشیده می‌شوند افزایش می‌یابند، در حالی که تیم‌های مهندسی از نوآوری به مراقبت از پایپ‌لاین شکسته منتقل می‌شوند.

• خرابی معماری: زمانی که فرآیندهای تک‌نخی که گیگابایت‌ها را مدیریت می‌کردند برای ترابایت‌ها ناکافی می‌شوند رخ می‌دهد. سازمان‌ها با یک انتخاب مواجه هستند: پذیرش عملکرد ضعیف یا سرمایه‌گذاری در پردازش موازی که قابلیت مقیاس‌پذیری دارد.

استراتژی‌های اصلی بارگذاری موازی چیست؟

چهار رویکرد اساسی بارگذاری موازی داده‌ها را امکان‌پذیر می‌کنند، هر کدام به گلوگاه‌های عملکردی مختلف و ویژگی‌های مقیاس‌پذیری خاص خود می‌پردازند.

۱. تقسیم‌بندی افقی

داده‌ها را در بین چندین کارگر با استفاده از مرزهای منطقی مانند بازه‌های زمانی، مناطق جغرافیایی یا واحدهای کسب‌وکار تقسیم می‌کند. هر کارگر به طور همزمان یک زیرمجموعه مستقل از داده‌ها را پردازش می‌کند و نتایج نهایی پس از پردازش ترکیب می‌شوند. این روش با تعداد کارگران به صورت خطی مقیاس می‌یابد و برای داده‌های بزرگ با مرزهای طبیعی تقسیم‌بندی مناسب است.

۲. تقسیم‌بندی عمودی

ستون‌ها یا گروه‌های ستونی مختلف را به صورت موازی پردازش می‌کند، که به‌ویژه برای جداول عریض با صدها ستون و اعمال تغییرات مختلف روی ستون‌های متفاوت موثر است. سیستم‌های پایگاه داده می‌توانند خانواده‌های ستونی مختلف را همزمان بارگذاری کنند و زمان کل پردازش را برای بارهای کاری تحلیلی سنگین کاهش دهند.

۳. موازی‌سازی پایپ‌لاین

عملیات استخراج، تبدیل و بارگذاری را به جای اجرای متوالی همپوشانی می‌دهد. در حالی که یک کارگر داده‌ها را از منابع استخراج می‌کند، کارگر دیگر داده‌های استخراج‌شده قبلی را تبدیل می‌کند و سومی تغییرات تکمیل‌شده را به مقصد بارگذاری می‌کند. این رویکرد حداکثر استفاده از منابع را تضمین می‌کند و زمان کل پردازش را کاهش می‌دهد.

۴. ثبت تغییرات داده (CDC)

حجم بارگذاری را با پخش فقط رکوردهای تغییر یافته کاهش می‌دهد و کارایی پردازش موازی را به‌طور چشمگیری افزایش می‌دهد. CDC به‌روزرسانی‌های افزایشی را فعال می‌کند که فقط دلتاها را پردازش می‌کنند، نه کل مجموعه داده‌ها، و به کارگران موازی اجازه می‌دهد روی تغییرات اخیر تمرکز کنند.

۵. موازی‌سازی مبتنی بر منابع

استفاده از CPU، حافظه، شبکه و I/O را با تطبیق الگوهای پردازش با قابلیت‌های سخت‌افزاری موجود بهینه می‌کند. سیستم‌های چند هسته‌ای می‌توانند چندین رشته استخراج را اجرا کنند در حالی که فرآیندهای جداگانه تبدیل و بارگذاری را انجام می‌دهند. عملیات شبکه‌ای از اتصالات همزمان سود می‌برند و فرآیندهای I/O از الگوهای دسترسی موازی دیسک بهره می‌گیرند.

چگونه بارگذاری موازی در پایگاه داده را پیاده‌سازی کنیم؟

بارگذاری موازی پایگاه داده نیازمند هماهنگی بین مدیریت اتصال، استراتژی‌های تراکنش و بهینه‌سازی منابع است تا حداکثر توان عملیاتی بدون فشار بر سیستم‌های منبع یا مقصد حاصل شود.

بهینه‌سازی درج دسته‌ای

جایگزینی درج ردیفی با عملیات دسته‌ای که می‌تواند هزاران رکورد را در هر تراکنش پردازش کند. اندازه‌های دسته را بین ۱۰۰۰ تا ۱۰،۰۰۰ رکورد بسته به اندازه رکورد و حافظه موجود تنظیم کنید. از ابزارهای بارگذاری دسته‌ای اختصاصی پایگاه داده مانند دستور COPY در PostgreSQL، LOAD DATA در MySQL یا عملیات bulk insert در SQL Server استفاده کنید که از سربار پردازش کوئری معمولی عبور می‌کنند.

مدیریت اتصال (Connection Pooling)

اتصالات همزمان پایگاه داده را به‌طور کارآمد مدیریت کنید و از اتمام اتصالات جلوگیری کنید. برای هر هسته CPU، ۲–۴ اتصال نگه دارید تا حداکثر توان عملیاتی بدون تجاوز از محدودیت اتصال پایگاه داده حاصل شود. الگوهای استفاده مجدد از اتصال را پیاده‌سازی کنید تا سربار ایجاد اتصال کاهش یابد و بار در چندین جلسه پایگاه داده توزیع شود.

دسته‌بندی تراکنش‌ها

فرکانس commit را با ریسک rollback متعادل کنید و عملیات مرتبط را در تراکنش‌هایی با اندازه مناسب گروه‌بندی کنید. تراکنش‌های بزرگ سربار commit را کاهش می‌دهند اما هزینه rollback و مدت قفل را افزایش می‌دهند. تراکنش‌های کوچک ریسک rollback را کاهش می‌دهند اما سربار commit را افزایش می‌دهند. اندازه تراکنش‌ها باید ۱–۵ ثانیه کار یا ۱۰۰۰–۵۰۰۰ رکورد بسته به پیچیدگی رکورد باشد.

مدیریت شاخص‌ها

مدیریت شاخص‌ها در زمان بارگذاری می‌تواند عملکرد را به‌طور چشمگیری تحت تأثیر قرار دهد. شاخص‌های غیر بحرانی را قبل از بارگذاری دسته‌ای غیرفعال کنید و پس از تکمیل بارگذاری داده‌ها به‌طور موازی بازسازی کنید. برای سناریوهای append-only، ابتدا داده‌ها را بارگذاری کنید سپس شاخص‌ها را ایجاد کنید. برای سناریوهای دارای به‌روزرسانی سنگین، شاخص‌های بحرانی را حفظ کنید اما پذیرای بارگذاری کندتر برای عملکرد سریع‌تر کوئری در طول فرآیند بارگذاری باشید.

بهترین تکنیک‌های بارگذاری موازی مبتنی بر فایل چیست؟

بارگذاری موازی مبتنی بر فایل چالش‌های پردازش فایل‌های بزرگ، چند مجموعه فایل و گلوگاه‌های انتقال شبکه که در اتصال مستقیم پایگاه داده وجود ندارد را پوشش می‌دهد.

پردازش چندرشته‌ای فایل

پردازش چندرشته‌ای فایل فایل‌های بزرگ را به‌طور کارآمد مدیریت می‌کند:

• فایل‌های بزرگ را به بخش‌هایی تقسیم کنید که چندین رشته بتوانند همزمان پردازش کنند

• نقاط تقسیم طبیعی مانند خطوط را شناسایی کنید تا یکپارچگی داده‌ها حفظ شود

• هر بخش را به‌طور مستقل با رشته‌های جداگانه پردازش کنید، سپس نتایج را به ترتیب صحیح ترکیب کنید

• به‌ویژه برای فایل‌های CSV، آرایه‌های JSON و دیگر فرمت‌های متن ساختاریافته مناسب است

خواندن بر اساس بخش (Chunk-based Reading)

خواندن بر اساس بخش استفاده از حافظه و عملکرد را بهینه می‌کند:

• فایل‌های بزرگ را به بخش‌های قابل مدیریت جریان دهید به جای بارگذاری کل فایل در حافظه

• اندازه بخش‌ها را بین ۶۴MB تا ۲۵۶MB بر اساس حافظه و ویژگی‌های شبکه تنظیم کنید

• I/O همپوشان را پیاده‌سازی کنید، به طوری که یک رشته بخش بعدی را بخواند در حالی که رشته دیگر بخش جاری را پردازش می‌کند

• استفاده از منابع را با فعال نگه داشتن همزمان I/O و پردازش حداکثر می‌کند

عملیات فشرده‌سازی موازی

فشرده‌سازی و استخراج موازی داده‌ها را سرعت می‌بخشد:

• از چندین رشته برای عملیات فشرده‌سازی هنگام خروجی داده‌ها و استخراج هنگام ورودی استفاده کنید

• کتابخانه‌های فشرده‌سازی مدرن از عملیات موازی بهره می‌برند و چند هسته CPU را به‌طور مؤثر استفاده می‌کنند

• می‌تواند بر عملکرد کلی هنگام کار با داده‌های فشرده تأثیر قابل توجهی داشته باشد

• نسبت‌های فشرده‌سازی را بر اساس زمان پردازش و محدودیت‌های شبکه و ذخیره‌سازی متعادل کنید

بهینه‌سازی انتقال شبکه

بهینه‌سازی انتقال شبکه کارایی جابجایی داده را بهبود می‌بخشد:

• از چند اتصال همزمان برای انتقال فایل‌ها زمانی که توسط منابع و مقصد پشتیبانی می‌شود استفاده کنید

• قابلیت resume را پیاده‌سازی کنید تا انتقال‌های شکست‌خورده از نقاط بررسی از سر گرفته شوند

• استفاده از شبکه‌های تحویل محتوا یا سرویس‌های تسریع انتقال برای عملیات ابری را مدنظر قرار دهید

• مصرف پهنای باند را برای بهینه‌سازی تعداد اتصالات و استراتژی‌های انتقال مانیتور کنید

چگونه بارگذاری انباره داده‌های ابری را بهینه کنیم؟

هر انباره داده ابری عمده قابلیت‌های بارگذاری موازی خاص خود را ارائه می‌دهد که نیازمند رویکردهای بهینه‌سازی پلتفرم-محور برای عملکرد حداکثری است.

بارگذاری موازی Snowflake

معماری Snowflake بارگذاری بسیار موازی را از طریق چندین استراتژی بهینه‌سازی امکان‌پذیر می‌کند. از دستور COPY INTO با چند فایل به جای یک فایل بزرگ استفاده کنید تا موازی‌سازی خودکار فعال شود. Snowflake می‌تواند ده‌ها فایل را به‌طور همزمان پردازش کند وقتی به‌درستی پیکربندی شود.

• اندازه انباره‌ها را متناسب با بار کاری بارگذاری تنظیم کنید. انباره‌های بزرگ‌تر منابع محاسباتی بیشتری فراهم می‌کنند که مستقیماً به عملکرد بارگذاری سریع‌تر تبدیل می‌شود.

• از انباره‌های اختصاصی برای عملیات بارگذاری استفاده کنید تا از رقابت منابع با کوئری‌های تحلیلی جلوگیری شود.

• Snowpipe را برای بارگذاری مداوم داده‌های جریان فعال کنید. Snowpipe به‌طور خودکار موازی‌سازی را مدیریت می‌کند و منابع محاسباتی را بر اساس نرخ ورود داده‌ها مقیاس می‌دهد. این رویکرد به‌ویژه برای سناریوهای با حجم کوچک و فرکانس بالا مناسب است.

بارگذاری موازی BigQuery

BigQuery از بارگذاری موازی از طریق درج‌های جریان و بارگذاری دسته‌ای پشتیبانی می‌کند.

• برای سناریوهای جریان، از چند رشته برای ارسال همزمان درخواست‌های درج جریان استفاده کنید. BigQuery می‌تواند هزاران عملیات همزمان جریان را پردازش کند وقتی به‌طور مناسب بین پارتیشن‌های جدول توزیع شود.

• برای بارگذاری دسته‌ای، داده‌های بزرگ را به چند فایل کوچک‌تر تقسیم کنید که BigQuery بتواند به‌طور موازی پردازش کند. سرویس به‌طور خودکار پردازش فایل‌ها را هنگام ارائه چند فایل در بارگذاری‌ها موازی می‌کند.

• از جداول پارتیشن‌بندی شده برای بارگذاری موازی در پارتیشن‌های مختلف همزمان استفاده کنید. چندین کار بارگذاری می‌توانند بدون مسدود کردن یکدیگر روی پارتیشن‌های مختلف هدف‌گیری کنند.

بارگذاری موازی Azure Synapse

Azure Synapse چندین مکانیزم بارگذاری موازی از طریق PolyBase و بهینه‌سازی دستور COPY ارائه می‌دهد.

• PolyBase بارگذاری موازی از منابع داده خارجی از جمله Azure Data Lake و Blob Storage را امکان‌پذیر می‌کند.

• چند رشته خواننده برای پردازش فایل‌های داده به‌طور موازی پیکربندی کنید.

• دستور COPY از پردازش موازی فایل پشتیبانی می‌کند وقتی داده‌ها در چند فایل در ذخیره‌سازی ابری تقسیم شده باشند. از چند فایل کوچک‌تر به جای یک فایل بزرگ استفاده کنید تا حداکثر موازی‌سازی حاصل شود. Synapse به‌طور خودکار پردازش فایل‌ها را بین منابع محاسباتی موجود توزیع می‌کند.

• کلیدهای توزیع را مناسب پیکربندی کنید تا پردازش موازی در طول بارگذاری فعال شود. جداول توزیع‌شده بر اساس هش می‌توانند داده‌ها را به‌طور موازی بین گره‌های توزیع بارگذاری کنند وقتی داده‌ها به‌درستی تقسیم‌بندی شده باشند.

چه استراتژی‌های مانیتورینگ و تنظیم از ایجاد گلوگاه جلوگیری می‌کنند؟

بارگذاری مؤثر موازی نیازمند مانیتورینگ مداوم و بهینه‌سازی تکراری است تا گلوگاه‌های عملکردی شناسایی و رفع شوند. ویژگی‌های عملکرد با رشد حجم داده‌ها، تغییر پیکربندی سیستم و تغییر الگوهای بار کاری در طول زمان تغییر می‌کنند.

مانیتورینگ منابع

استفاده از CPU، مصرف حافظه، نرخ‌های I/O دیسک و پهنای باند شبکه در تمام سیستم‌ها را رصد کنید:

• استفاده بالای CPU نشان‌دهنده گلوگاه‌های تبدیل است؛ CPU پایین با I/O بالا نشان‌دهنده گلوگاه‌های دیسک است

• عمق صف برای عملیات I/O و استفاده از Connection Pool برای عملیات پایگاه داده را مانیتور کنید

• اشباع شبکه می‌تواند نرخ انتقال داده را محدود کند حتی اگر ظرفیت پردازشی کافی باشد

• از ابزارهای مانیتورینگ سیستم برای شناسایی منابع محدودکننده عملکرد کلی استفاده کنید

بهینه‌سازی عملکرد

قبل از بهینه‌سازی، خطوط پایه را تعیین کنید و پس از تغییرات، بهبودها را اندازه‌گیری کنید:

• شاخص‌های کلیدی از جمله رکوردهای پردازش شده در هر ثانیه و زمان پردازش end-to-end را پیگیری کنید

• تمرکز بهینه‌سازی را بر روی محدودترین منابع قرار دهید، زیرا آنها عملکرد کلی را تعیین می‌کنند

• تغییرات پیکربندی و تأثیر آنها بر عملکرد را مستندسازی کنید

• تغییرات را ابتدا در محیط غیرتولیدی آزمایش کنید قبل از اعمال در سیستم‌های حیاتی

استراتژی‌های مقیاس‌گذاری

رویکردهای مقیاس‌گذاری مناسب را بر اساس تحلیل گلوگاه‌ها انتخاب کنید:

• مقیاس‌گذاری عمودی: از طریق نمونه‌های بزرگ‌تر بهبود فوری فراهم می‌کند اما محدودیت‌های طبیعی دارد

• مقیاس‌گذاری افقی: با اضافه کردن کارگران محدودیت نظری ندارد اما نیازمند تغییرات معماری است

• استراتژی‌های همگام‌سازی افزایشی: حجم داده‌ها را کاهش می‌دهد و جریان‌های پردازش موازی کارآمدتر را فعال می‌کند

• پردازش فقط داده‌های تغییر یافته: به جای کل مجموعه داده‌ها حجم پردازش را به‌طور چشمگیری کاهش می‌دهد