برای بررسی عمیقتر، بیایید ابتدا شش عاملی را که فابریک داده را از یک اکوسیستم یکپارچگی داده استاندارد متمایز میکند، بحث کنیم:
- کاتالوگ داده غنیشده. کاتالوگ داده شما شامل و تحلیل تمام انواع متاداده (ساختاری، توصیفی و مدیریتی) خواهد بود تا زمینهای برای اطلاعات شما فراهم کند.
- گراف دانش. برای کمک به شما و الگوریتمهای AI/ML در تفسیر معنای دادههایتان، شما یک گراف دانش خواهید ساخت و مدیریت خواهید کرد که روابط بین موجودیتهای داده شما (مفاهیم، اشیاء، رویدادها و غیره) را به صورت رسمی نشان میدهد. این باید با معناشناسی داده یکپارچه تقویت شود، که معنای اجزای داده را توصیف میکند.
- فعالسازی متاداده. شما از متاداده دستی (غیرفعال) به متاداده خودکار (فعال) تغییر خواهید کرد. مدیریت متاداده فعال از یادگیری ماشینی برای امکان ایجاد و پردازش متاداده در مقیاس عظیم استفاده میکند.
- موتور توصیه. بر اساس متاداده فعال شما، الگوریتمهای AI/ML به طور مداوم تحلیل، یادگیری و ارائه توصیهها و پیشبینیهایی درباره اکوسیستم یکپارچگی و مدیریت داده شما خواهند داشت.
- آمادهسازی و جمعآوری داده. تمام روشهای آمادهسازی و تحویل داده رایج پشتیبانی خواهند شد، شامل پنج الگوی کلیدی یکپارچگی داده: ETL، ELT، جریان داده، یکپارچگی برنامه و مجازیسازی داده.
- DataOps. تیم DevOps شما را با مهندسان داده و دانشمندان داده گرد هم آورید تا اطمینان حاصل کنید که فابریک شما نیازهای کاربران فناوری اطلاعات و تجاری را پشتیبانی میکند.
همانطور که در دیاگرام بالا نیز دیده میشود، با تأمین داده از منابع به مصرفکنندگان، فابریک داده دادهها را از منابع سیستمی متنوع در سراسر سازمان شما، از جمله منابع داده عملیاتی و مخازن داده مانند انبار داده، دریاچههای داده و دیتامارتها گرد میآورد. این یکی از دلایلی است که فابریک داده برای طراحی مش داده مناسب است. فابریک داده همچنین معماری مدیریت داده پایهای است که تحویل بهینه محصولات داده به تیمهای حوزه را امکانپذیر میکند.
فابریک داده مقیاس دادههای بزرگ را برای فرآیندهای دستهای و دادههای جریانی در زمان واقعی پشتیبانی میکند و قابلیتهای یکسانی را در ابر، چندابری هیبریدی، داخلی و دستگاههای لبهای ارائه میدهد. این باعث ایجاد سیالیت در محیطهای داده میشود و مجموعه دادهای کامل، دقیق و بهروز را برای تحلیل، سایر برنامهها و فرآیندهای تجاری فراهم میکند. همچنین با ارائه اجزا و اتصالدهندههای از پیش بستهبندیشده برای اتصال همه چیز، زمان و هزینه را کاهش میدهد. به این ترتیب، نیازی به کدگذاری دستی هر اتصال ندارید.
معماری فابریک داده خاص شما به نیازها و موقعیت داده خاص شما بستگی دارد. اما، طبق تحقیقات شرکت Forrester، شش لایه رایج برای فابریکهای داده سازمانی مدرن وجود دارد:
- مدیریت داده مدیریت و امنیت را فراهم میکند.
- جمعآوری داده اتصالات بین دادههای ساختاریافته و غیرساختاریافته را شناسایی میکند.
- پردازش داده فقط دادههای مرتبط را استخراج میکند.
- سازماندهی داده دادهها را پاکسازی، تبدیل و یکپارچه میکند.
- کشف داده راههای جدیدی برای یکپارچهسازی منابع داده مختلف شناسایی میکند.
- دسترسی به داده به کاربران امکان میدهد دادهها را از طریق ابزارهای تحلیلی و هوش تجاری بر اساس مجوزهای دسترسی کاوش کنند.
پیادهسازی فابریک داده
در حال حاضر هیچ ابزار یا پلتفرم مستقل واحدی وجود ندارد که بتوانید از آن برای ایجاد کامل معماری فابریک داده استفاده کنید. شما باید ترکیبی از راهحلها را به کار ببرید، مانند استفاده از یک ابزار مدیریت داده برتر برای اکثر نیازهایتان و سپس تکمیل معماری خود با ابزارهای دیگر و/یا راهحلهای کدگذاریشده سفارشی.
برای مثال، پیادهسازی معماری فابریک داده با یک پلتفرم یکپارچگی به عنوان سرویس (iPaaS) نیازمند رویکردی جامع است که بر ایجاد یک لایه یکپارچه و استاندارد از خدمات داده تأکید دارد، در حالی که کیفیت داده، مدیریت و دسترسی خودکار را در اولویت قرار میدهد.
طبق تحقیقات شرکت Gartner، چهار ستون برای پیادهسازی باید در نظر گرفته شود:
- جمعآوری و تحلیل تمام انواع متاداده
- تبدیل متاداده غیرفعال به متاداده فعال
- ایجاد و مدیریت گرافهای دانش که دادهها را با معناشناسی غنی میکنند
- اطمینان از یک پایه یکپارچگی داده قوی
علاوه بر این ستونها، شما باید عناصر معمول یک راهحل یکپارچگی داده قوی را در اختیار داشته باشید. این شامل مکانیزمهایی برای جمعآوری، مدیریت، ذخیره و دسترسی به دادههایتان است. همچنین، داشتن یک چارچوب مدیریت داده مناسب که شامل مدیریت متاداده، ردیابی داده و بهترین روشهای یکپارچگی داده باشد.
