دیتا مارت (Data Mart) چیست؟

دیتا مارت چیست؟

دیتا مارت یک سیستم ذخیره‌سازی داده است که اطلاعات خاصی را برای یک واحد تجاری سازمان ذخیره می‌کند. این سیستم شامل بخش کوچک و انتخاب‌شده‌ای از داده‌هایی است که شرکت در یک سیستم ذخیره‌سازی بزرگ‌تر نگهداری می‌کند. شرکت‌ها از دیتا مارت برای تحلیل کارآمدتر اطلاعات خاص یک دپارتمان استفاده می‌کنند. این سیستم داده‌های خلاصه‌شده‌ای را ارائه می‌دهد که ذینفعان کلیدی می‌توانند از آن برای تصمیم‌گیری سریع و آگاهانه استفاده کنند.

به عنوان مثال، یک شرکت ممکن است داده‌هایی از منابع مختلف مانند اطلاعات تأمین‌کنندگان، سفارش‌ها، داده‌های حسگرها، اطلاعات کارکنان و سوابق مالی را در انبار داده یا دریاچه داده خود ذخیره کند. با این حال، اطلاعات مرتبط با دپارتمان بازاریابی، مانند بررسی‌های شبکه‌های اجتماعی و سوابق مشتریان، در یک دیتا مارت ذخیره می‌شود.

دیتا مارت در مقایسه با سایر سیستم‌های ذخیره‌سازی داده چگونه است؟

شرکت‌ها از انواع مختلفی از سیستم‌های ذخیره‌سازی داده برای مدیریت و تحلیل داده‌ها استفاده می‌کنند. بیایید به برخی از انواع رایج ذخیره‌سازی داده نگاه کنیم تا زمینه‌ای که شرکت‌ها از دیتا مارت‌ها استفاده می‌کنند را درک کنیم.

پایگاه داده

پایگاه داده یک سیستم ذخیره‌سازی سازمان‌یافته است که سیستم‌های کامپیوتری برای ذخیره، جستجو، بازیابی و تحلیل اطلاعات از آن استفاده می‌کنند. انواع مختلفی از پایگاه‌های داده وجود دارد، مانند پایگاه‌های داده رابطه‌ای. یک پایگاه داده رابطه‌ای اطلاعات را در جدول‌هایی متشکل از سطرها و ستون‌ها ذخیره می‌کند. داده‌ها در جدول‌های مختلف از طریق یک شناسه منحصربه‌فرد به نام کلید به هم متصل می‌شوند. کلیدها مقادیر غیرتکراری در ستون‌های خاص هستند.

دیتا مارت در مقابل پایگاه داده

دیتا مارت به عنوان عنصر جلویی برای داده‌های یک دپارتمان عمل می‌کند. شما می‌توانید از دیتا مارت برای بازیابی و تحلیل اطلاعات استفاده کنید. در حالی که یک پایگاه داده اطلاعات را جمع‌آوری، مدیریت و ذخیره می‌کند. سپس می‌توانید از ابزارهایی برای پردازش، قالب‌بندی و انتقال اطلاعات ذخیره‌شده به یک دیتا مارت استفاده کنید.

انبار داده

انبار داده یک سیستم پایگاه داده گسترده است که اطلاعات را برای کل کسب‌وکار ذخیره می‌کند. این سیستم اطلاعات خام را از منابع مختلف مانند نرم‌افزارهای تجاری و فیدهای شبکه‌های اجتماعی جمع‌آوری کرده و آن‌ها را به داده‌های ساختاریافته در قالب جدولی پردازش می‌کند. کسب‌وکارها می‌توانند یک انبار داده سازمانی را به ابزارهای هوش تجاری متصل کنند تا تصمیمات هوشمندانه‌تری بگیرند.

دیتا مارت در مقابل انبار داده

دیتا مارت بسیاری از ویژگی‌های انبار داده را دارد. تفاوت آن‌ها در این است که انبار داده شامل داده‌های کل سازمان در موضوعات مختلف است. در حالی که دیتا مارت اطلاعاتی را ذخیره می‌کند که به یک موضوع خاص نزدیک است. به عنوان مثال، یک انبار داده ممکن است اطلاعات دپارتمان‌های بازاریابی، منابع انسانی، تدارکات و پشتیبانی مشتری را ذخیره کند. اما یک دیتا مارت ممکن است فقط داده‌های تراکنشی مرتبط با یک دپارتمان را ذخیره کند. جذابیت ساخت یک دیتا مارت در این است که دپارتمان‌هایی که دیتا مارت‌های خود را مدیریت می‌کنند، کنترل کامل بر بارگذاری و مدیریت داده‌های خود دارند.

بسیاری از سازمان‌ها از فناوری‌هایی مانند اشتراک داده برای انتشار دیتا مارت‌های خود به یک انبار داده مرکزی استفاده می‌کنند. با این کار، آن‌ها می‌توانند با توزیع مالکیت و جداسازی بارهای کاری، چابک‌تر عمل کنند. به طور مشابه، اشتراک داده به دیتا مارت‌های دپارتمانی اجازه می‌دهد تا داده‌های به اشتراک گذاشته‌شده از انبار داده یا سایر دیتا مارت‌ها را مصرف کنند.

دریاچه داده (Data Lake)

دریاچه داده یک سیستم ذخیره‌سازی داده است که اطلاعات خام و غیرساختاریافته را نگه می‌دارد. این سیستم اطلاعات را در فایل‌ها و پوشه‌ها ذخیره نمی‌کند. در عوض، اطلاعات پردازش‌نشده را در یک سلسله‌مراتب تخت روی فضای ذخیره‌سازی عظیم ذخیره می‌کند. دریاچه‌های داده انواع مختلفی از اطلاعات خام را ذخیره می‌کنند، از جمله اسناد متنی، تصاویر، ویدئوها و صوت‌ها.

تحلیلگران داده از دریاچه‌های داده برای انجام تحلیل‌های پیش‌بینی از داده‌های غیرساختاریافته استفاده می‌کنند. به عنوان مثال، یک دریاچه داده ممکن است متون بررسی‌های شبکه‌های اجتماعی را ذخیره کند که کسب‌وکارها می‌توانند برای تحلیل احساسات استفاده کنند. تحلیلگران داده می‌توانند از تحلیل احساسات برای شناسایی روندهای نظرات منفی درباره یک شرکت استفاده کنند.

دیتا مارت در مقابل دریاچه داده

از آنجایی که دریاچه‌های داده اطلاعات پردازش نشده را ذخیره می‌کنند، برخی از اطلاعات ممکن است تکراری باشند یا برای شرکت معنی‌دار نباشند. در همین حال، یک دیتا مارت داده‌های پردازش شده‌ای را ذخیره می‌کند که نیاز خاصی را برآورده می‌کند. یک دریاچه داده می‌تواند منبع یک دیتا مارت باشد. کسب و کارها با بررسی داده‌های تاریخی در دیتا مارت‌ها روندهای داده را تعیین می‌کنند، اما از دریاچه‌های داده برای تجزیه و تحلیل عمیق اطلاعات ذخیره شده استفاده می‌کنند.

OLAP

پردازش تحلیلی آنلاین (OLAP) روشی برای نمایش داده‌ها در ابعاد متعدد است. به عنوان مثال، تحلیلگران داده از مکعب OLAP برای نمایش همزمان درآمد فروش بر اساس ماه‌ها، شهرها و محصولات استفاده می‌کنند. ساختارهای داده OLAP گسترده هستند، با فیلدهایی که به عنوان واقعیت یا بعد طبقه‌بندی شده‌اند و منجر به تکرار داده می‌شوند. این در مقابل پایگاه‌های داده رابطه‌ای معمولی است که ساختارهای باریک و تکرار کم داده را ترجیح می‌دهند.

دیتا مارت در مقابل مکعب OLAP

OLAP یک استراتژی خاص ذخیره‌سازی اطلاعات است که داده‌ها را به جداول گسترده غیرنرمال تبدیل می‌کند. OLAP نمایش‌های پیچیده داده‌های چندبعدی را ساده می‌کند. برخی از دیتا مارت‌ها ممکن است از OLAP برای ساختاردهی اطلاعات خود استفاده کنند، اما برخی دیگر از ساختارهای نرمال شده معمولی استفاده می‌کنند. تحلیلگران تجاری از ساختارهای OLAP برای تجسم اطلاعات از یک دیتا مارت بهره می‌برند.

ذخیره‌گاه داده عملیاتی

ذخیره‌گاه داده عملیاتی (ODS) یک فضای ذخیره‌سازی اطلاعات است که به عنوان یک واسطه بین منابع داده و انبار داده عمل می‌کند. تحلیلگران داده از ODS برای ارائه گزارش‌دهی تقریباً بلادرنگ در مورد داده‌های تراکنشی استفاده می‌کنند. ODS از پرس و جوهای ساده پشتیبانی می‌کند و فقط مقدار محدودی از اطلاعات را ارائه می‌دهد. به عنوان مثال، ODS ممکن است سوابق فروش را فقط برای ۱۲ ساعت گذشته ذخیره کند.

دیتا مارت در مقابل ODS

دیتا مارت اطلاعات موضوع‌محور را از یک انبار داده استخراج می‌کند، اما ODS اطلاعات را به انبار داده برای پردازش ارسال می‌کند. دیتا مارت‌ها اطلاعات تاریخی را ارائه می‌دهند که می‌توانید تحلیل کنید، اما ODS نمای به‌روز از عملیات جاری را ارائه می‌دهد. به عنوان مثال، می‌توانید از یک دیتا مارت برای شناسایی الگوهای فروش در سه‌ماهه گذشته استفاده کنید، اما از ODS برای به‌روزرسانی‌های ساعتی ارقام فروش استفاده کنید.

چرا یک دیتا مارت مهم است؟

این‌ها برخی از دلایل خوبی هستند که شرکت‌ها ممکن است از دیتا مارت استفاده کنند.

1. بازیابی کارآمدتر داده‌ها: با استفاده از یک دیتا مارت، شرکت‌ها می‌توانند به طور کارآمدتری به اطلاعات خاص دسترسی پیدا کنند. در مقایسه با یک انبار داده، یک دیتا مارت حاوی اطلاعات مرتبط و دقیق است که یک بخش اغلب به آن دسترسی پیدا می‌کند. بنابراین، مدیران کسب و کار نیازی به جستجو در کل انبار داده برای تولید گزارش‌های عملکرد یا نمودارها ندارند.
2. تسریع در تصمیم‌گیری: شرکت‌ها می‌توانند با استفاده از یک دیتا مارت، زیرمجموعه‌ای از داده‌ها را از یک انبار داده ایجاد کنند. سپس کارمندان داخل بخش می‌توانند داده‌ها را تجزیه و تحلیل کرده و بر اساس مجموعه یکسانی از اطلاعات تصمیم بگیرند.
3. کنترل مؤثرتر اطلاعات: یک دیتا مارت به کارمندان دسترسی‌های بسیار دقیق و جزئی می‌دهد. این بدان معناست که شرکت می‌تواند به شخص خاصی اجازه مشاهده یا بازیابی داده‌های خاص را بدهد. این امر به شرکت‌ها کمک می‌کند تا حاکمیت داده را بهبود بخشند و سیاست‌های دسترسی به اطلاعات را اعمال کنند. به عنوان مثال، می‌توانید از دیتا مارت‌ها برای فراهم کردن دسترسی کاربران به کارمندان برای اطلاعات خاص در یک انبار داده استفاده کنید.
4. مدیریت انعطاف‌پذیر داده‌ها: یک دیتا مارت کوچکتر است و جداول کمتری نسبت به یک انبار داده دارد. این بدان معناست که مهندسان داده می‌توانند اطلاعات را در یک دیتا مارت مدیریت و تغییر دهند بدون اینکه تغییرات عمده‌ای در پایگاه داده ایجاد کنند.

دیتا مارت چگونه کار می‌کند؟

دیتا مارت اطلاعات خام را به محتوای ساختاریافته و معنادار برای یک دپارتمان تجاری خاص تبدیل می‌کند. برای این کار، مهندسان داده یک دیتا مارت را تنظیم می‌کنند تا اطلاعات را یا از انبار داده یا مستقیماً از منابع داده خارجی دریافت کند.

هنگامی که به یک انبار داده متصل است، دیتا مارت انتخابی از اطلاعات مرتبط با یک واحد تجاری را بازیابی می‌کند. اغلب، اطلاعات شامل داده‌های خلاصه‌شده است و داده‌های غیرضروری یا دقیق را کنار می‌گذارد.

ETL

استخراج، تبدیل و بارگذاری (ETL) فرآیندی برای یکپارچه‌سازی و انتقال اطلاعات از منابع داده مختلف به یک پایگاه داده فیزیکی واحد است. دیتا مارت‌ها از ETL برای بازیابی اطلاعات از منابع خارجی زمانی که از یک انبار داده نمی‌آید، استفاده می‌کنند. این فرآیند شامل مراحل زیر است:

• استخراج: جمع‌آوری اطلاعات خام از منابع مختلف
• تبدیل: ساختاردهی اطلاعات به یک قالب مشترک
• بارگذاری: انتقال داده‌های پردازش شده به پایگاه داده

ابزارهای ETL اطلاعات را از منابع خارجی مانند صفحات گسترده، برنامه‌ها و اسناد متنی کپی می‌کنند. سپس دیتا مارت اطلاعات را پردازش، سازماندهی و در یک فرم ساختاریافته ذخیره می‌کند.

تجزیه و تحلیل

تحلیلگران تجاری از ابزارهای نرم‌افزاری برای بازیابی، تجزیه و تحلیل و نمایش داده‌ها از دیتا مارت استفاده می‌کنند. به عنوان مثال، آن‌ها از اطلاعات ذخیره شده در دیتا مارت‌ها برای تجزیه و تحلیل هوش تجاری، داشبوردهای گزارش‌دهی و برنامه‌های کاربردی ابری استفاده می‌کنند.هر دیتا مارت به تعداد کمی از کاربران خدمات می‌دهد. به عنوان مثال، مدیر بازاریابی و بازاریابان ارشد به یک دیتا مارت دسترسی دارند، بنابراین تولید گزارش‌ها و نمودارها یا انجام تجزیه و تحلیل پیش‌بینی‌کننده زمان کمتری می‌برد.

انواع دیتا مارت‌ها کدامند؟

در زیر انواع مختلف دیتا مارت‌ها آورده شده است.

دیتا مارت وابسته

یک دیتا مارت وابسته فضای ذخیره‌سازی خود را با زیرمجموعه‌ای از اطلاعات از یک انبار داده متمرکز پر می‌کند. انبار داده تمام اطلاعات را از منابع داده جمع‌آوری می‌کند. سپس، دیتا مارت اطلاعات موضوعی خاص را از انبار داده پرس و جو و بازیابی می‌کند.

مزایا و معایب

بیشتر کارهای مدیریت و اداره داده‌ها در انبار داده انجام می‌شود. این بدان معناست که تحلیلگران کسب‌وکار نیازی به مهارت بالای مدیریت پایگاه داده برای استفاده از اطلاعات دیتا مارت ندارند. اگرچه دیتا مارت‌های وابسته بازیابی اطلاعات را بسیار آسان‌تر می‌کنند، اما یک نقطه شکست واحد را ارائه می‌دهند. اگر انبار داده از کار بیفتد، تمام دیتا مارت‌های متصل نیز از کار خواهند افتاد.

دیتا مارت مستقل

یک دیتا مارت مستقل به یک انبار داده مرکزی یا هیچ دیتا مارت دیگری متکی نیست. هر دیتا مارت اطلاعات را از منابع خود به جای انبار داده جمع‌آوری می‌کند. دیتا مارت‌های مستقل برای شرکت‌های کوچکتر مناسب هستند، اما فقط بخش‌های خاصی نیاز به دسترسی و تجزیه و تحلیل اطلاعات دارند.

مزایا و معایب

شرکت‌ها می‌توانند دیتا مارت‌های مستقل را با سهولت نسبی راه‌اندازی کنند. با این حال، مدیریت آن‌ها ممکن است دشوار باشد. این به این دلیل است که تحلیلگران کسب‌وکار باید کارهای مدیریتی پایگاه داده را در هر دیتا مارت انجام دهند. به اشتراک گذاشتن داده‌ها بین دیتا مارت‌های مختلف با استفاده از استراتژی‌هایی مانند اشتراک داده آسان است؛ دپارتمان‌ها می‌توانند داده‌های دپارتمان دیگر را بخوانند و حتی آن را با داده‌های خود تقویت کنند. با این حال، باید یک استراتژی قوی کاتالوگ‌سازی داده در نظر گرفته شود تا هر دپارتمان بداند چه چیزی را مشاهده می‌کند.

دیتا مارت ترکیبی

دیتا مارت‌های ترکیبی اطلاعات را از یک انبار داده و از منابع خارجی جمع‌آوری می‌کنند. این امر به شرکت‌ها انعطاف‌پذیری می‌دهد تا منابع داده مستقل را قبل از هدایت داده‌ها به انبار داده آزمایش کنند.به عنوان مثال، فرض کنید یک محصول جدید را عرضه می‌کنید و می‌خواهید داده‌های فروش اولیه آن را تجزیه و تحلیل کنید. دیتا مارت از اطلاعات فروش که مستقیماً از نرم‌افزار تجارت الکترونیک می‌آید استفاده می‌کند و سوابق فروش سایر محصولات را از دیتا مارت بازیابی می‌کند. پس از اینکه محصول به یک عنصر دائمی در فروشگاه شما تبدیل شد، جزئیات تراکنش را به انبار داده منتقل می‌کنید.

ساختارهای یک دیتا مارت چیست؟

دیتا مارت‌ها از ساختارهای زیر برای ذخیره و نمایش اطلاعات استفاده می‌کنند.

ستاره‌ای

ساختار ستاره‌ای یک جدول واقعیت در مرکز خود دارد و به چندین جدول ابعاد شاخه می‌زند. این منجر به یک اتصال ستاره‌ای شکل می‌شود. جدول واقعیت یک جدول داده است که حاوی داده‌های خلاصه شده است که می‌توانید از آن برای اهداف تحلیلی استفاده کنید. در همین حال، جداول ابعاد اطلاعات توصیفی را در یک جدول واقعیت نگهداری می‌کنند. هر جدول ابعاد با یک کلید خارجی به جدول واقعیت پیوند می‌خورد. کلید خارجی یک شناسه منحصر به فرد است، مانند شناسه محصول یا شناسه تأمین‌کننده.

به عنوان مثال، یک جدول واقعیت برای تراکنش‌های فروش دارای ستون‌های زیر است:

• شناسه فروش
• شناسه محصول
• شناسه تأمین‌کننده
• مبلغ فروش

یک جدول ابعاد برای محصولات اطلاعات زیر را ذخیره می‌کند:

• شناسه محصول
• نام محصول
• هزینه محصول

جدول ابعاد تأمین‌کننده دارای ستون‌های زیر است:

• شناسه تأمین‌کننده
• نام تأمین‌کننده
• شهر

مزایا

در یک ساختار ستاره‌ای، جدول ابعاد برای عدم گسترش به جداول اضافی، غیرنرمال می‌شود. این بدان معناست که جدول ابعاد ممکن است حاوی داده‌های تکراری باشد اما سرعت جستجو و بازیابی را بهبود می‌بخشد. همچنین فضای کمتری برای ذخیره جداول ابعاد نیاز است.تحلیلگران تجاری می‌توانند از یک دیتا مارت با ساختار ستاره‌ای برای ساده‌سازی پرس و جوهای پیچیده استفاده کنند. هنگامی که آن‌ها به دنبال یک رکورد فروش خاص می‌گردند، سیستم مدیریت داده در جدول واقعیت جستجو می‌کند. هنگامی که سیستم دیتا مارت رکورد صحیح را پیدا می‌کند، از شناسه محصول و شناسه تأمین‌کننده برای پرس و جو از داده‌ها از جداول ابعاد مربوطه استفاده می‌کند.

غیرنرمال شده

یک ساختار غیرنرمال شده تمام داده‌های مرتبط را در یک جدول واحد ذخیره می‌کند. این ساختار اتصالات پیچیده‌ای بین جداول واقعیت و جداول ابعاد ندارد. تحلیلگران داده از یک دیتا مارت غیرنرمال شده استفاده می‌کنند زیرا سرعت پرس و جو را بهبود می‌بخشد. به عنوان مثال، جستجو برای یک رکورد فروش در یک جدول غیرنرمال شده واحد به شرح زیر انجام می‌شود:

• شناسه فروش
• محصول
  • نام محصول
  • هزینه محصول
  • نام مدل
  • وزن
  • اندازه
• تأمین‌کننده
  • نام تأمین‌کننده
  • شهر
• مبلغ فروش

یک دیتا مارت غیرنرمال شده به دلیل رویکرد تک جدولی خود برای گزارش‌دهی در زمان واقعی مناسب است. با این حال، غیرنرمال کردن دیتا مارت منجر به تکرار داده‌ها می‌شود. به عنوان مثال، ممکن است نام یک محصول یکسان در چندین رکورد ظاهر شود. این امر منجر به فضای ذخیره‌سازی اضافی و هزینه‌های پیاده‌سازی گران می‌شود.

مراحل پیاده‌سازی یک دیتا مارت چیست؟

مهندسان داده ابری یک دیتا مارت را با انجام مراحل زیر راه‌اندازی می‌کنند:

1. پلتفرم داده بومی ابری خود را راه‌اندازی می‌کنند.
2. دیتا مارت را با داده‌های تجاری پر می‌کنند. آن‌ها اطمینان حاصل می‌کنند که داده‌ها فرمت صحیح را دارند و برای کاربران تجاری مرتبط هستند.
3. دیتا مارت را طوری تنظیم می‌کنند که چندین کاربر بتوانند به داده‌های آن دسترسی داشته باشند. به عنوان مثال، آن‌ها یک داشبورد گزارش‌دهی را در دیتا مارت نصب می‌کنند.
4. هنگامی که دیتا مارت در حال اجرا است، به نظارت، بهینه‌سازی و رفع مشکلات ادامه می‌دهند.