دیتا مش یک رویکرد سازمانی غیرمتمرکز برای مدیریت دادههاست که بسیاری از مشکلات و چالشهای رشد سازمانها را در مسیر تبدیل شدن به سازمانهای دادهمحور برطرف میکند.
مرور کلی
سازمانهای امروزی از تعداد رو به افزایشی از منابع، دادههای بیشتری تولید میکنند. بسیاری از آنها در تلاش برای همگام شدن با این روند و بهرهبرداری سریعتر از ارزش دادههایشان با چالش مواجه شدهاند. یکی از راهحلهایی که در سالهای اخیر ظهور کرده، دیتا مش است. این رویکرد سازمانی غیرمتمرکز برای مدیریت دادهها، بسیاری از مشکلات و چالشهای رشد سازمانها را در مسیر تبدیل شدن به سازمانهای دادهمحور برطرف میکند.
بیایید بررسی کنیم که دیتا مش چیست و چگونه استفاده از این رویکرد میتواند موانع پیادهسازی یک برنامه داده خودخدمت (self-service) موفق را در مقیاس بزرگ برطرف کند.
دیتا مش چیست؟
دیتا مش بر طراحی مبتنی بر حوزه (domain-oriented) و خودخدمت برای مدیریت دادهها تأکید دارد. این رویکرد جدید برای سازماندهی تیمهای داده ارائه میدهد و چالشهای کلیدی در مقیاسپذیری معماریهای متمرکز داده مانند انبارهای داده (data warehouses) و دریاچههای داده (data lakes) را برطرف میکند.
در دیتا مش، تیمها بهصورت فعال دادههای مربوط به حوزههای تجاری خاص خود را مدیریت میکنند. این تیمها همچنین خطوط لولهای را میسازند و نگهداری میکنند که محصولات دادهای را به مصرفکنندگان در سراسر سازمان ارائه میدهند. هر تیم داده حوزه بهصورت مستقل مصرف، ذخیرهسازی، تبدیل و خروجی دادههای خود را مدیریت میکند. این خودمختاری به تعهد قوی به استانداردهای مدیریت جهانی (universal governance standards) وابسته است که سازگاری و استانداردهای داده را در تمام حوزهها و محصولات دادهای تضمین میکند.
چهار اصل اساسی رویکرد دیتا مش
رویکرد دیتا مش نشاندهنده یک تغییر پارادایم بزرگ است و پیادهسازی موفق آن به چهار اصل راهنما وابسته است:
مالکیت مبتنی بر حوزه (Domain-driven Ownership)
بهطور سنتی، معماری متمرکز انبار داده، مالکیت داده را به تیم انبار داده واگذار میکند. رویکرد دیتا مش در عوض مالکیت داده را به تیمهای حوزه منتقل میکند. این تیمها اکنون دادهها را دریافت، پاکسازی، تبدیل، مدیریت و اداره میکنند تا محصولات دادهای نهایی را ایجاد کنند که بهراحتی با سایر تیمها به اشتراک میگذارند. این ساختار کارآمد است زیرا تیمهای حوزه دارای عمیقترین دانش درباره دادههای حوزه تجاری خود هستند و بنابراین آن را بهطور مؤثرتری مدیریت میکنند. در نتیجه، قرار دادن مالکیت داده در اختیار تیمهای حوزه، چابکی داده سازمانی را افزایش میدهد.
داده بهعنوان محصول (Data as a Product)
سازمانها باید دادهها را بهعنوان “محصولات” و افرادی که از آنها استفاده میکنند را بهعنوان “مشتریان” در نظر بگیرند تا رویکردی کاربرمحور و ارزشمحور به مدیریت داده را ترویج دهند. تیمهای حوزه نهتنها این محصولات را ایجاد میکنند، بلکه آنها را نگهداری میکنند تا دقت، بهروز بودن و کیفیت بالا را تضمین کنند.
زیرساخت خودخدمت (Self-service Infrastructure)
موفقیت رویکرد دیتا مش به یک پلتفرم مشترک و مجموعه ابزار کاربرپسند وابسته است که حتی برای افرادی بدون پیشزمینه فنی در زیرساخت داده قابل دسترسی باشد. تیمهای حوزه باید بهصورت مستقل محصولات دادهای خود را بسازند و نگهداری کنند. بدون زیرساخت خودخدمت، تیمهای حوزه به منابع زیرساختی محدود وابسته میشوند و ابزارهای لازم برای مالکیت واقعی دادههای خود را ندارند. دیتا مش نسبت به چارچوبهای سنتی مؤثرتر مقیاسپذیر میشود، زیرا نیازی به دانش کامل حوزه توسط تیم مهندسی داده متمرکز ندارد. تیمهای حوزه تخصص خود را ارائه میدهند. این رویکرد غیرمتمرکز مقیاسپذیری سریع را تسهیل میکند و دسترسی سریع به دادههای قابل اقدام را امکانپذیر میسازد.
مدیریت فدرال (Federated Governance)
حفظ کنترلهای دسترسی و حفاظتهای دادهای ثابت در رویکرد دیتا مش غیرمتمرکز همچنان حیاتی است. در رویکرد متمرکز سنتی، تیمهای انبار داده مسئول کیفیت داده هستند. این ترتیب مشکلاتی ایجاد میکند، زیرا این تیمها اغلب فاقد آشنایی با دادههای تیمهای منبع هستند. انتقال به دیتا مش غیرمتمرکز با قرار دادن مسئولیت حفظ دادههای باکیفیت در اختیار افرادی که بیشترین آشنایی را با آن دارند، کیفیت داده را بهبود میبخشد. مدیریت فدرال استانداردهای متادیتا و مستندات را تعیین میکند که هر حوزه برای محصولات دادهای خود اعمال میکند. مدیریت همچنین ادغام یکپارچه محصولات دادهای از حوزههای مختلف را تضمین میکند. ایجاد تعادل بین حفظ استانداردهای سیاست مدیریت جهانی و اعطای آزادی به تیمهای حوزه برای تفسیر و پیادهسازی این استانداردها هنگام ایجاد و اشتراکگذاری محصولات دادهای خود ضروری است.
