دیتا مارت (Data Mart) چیست؟

دیتا مارت چیست؟

دیتا مارت یک سیستم ذخیره‌سازی داده است که حاوی اطلاعات مختص به واحد تجاری یک سازمان است. این سیستم شامل بخش کوچکی و منتخب از داده‌هایی است که شرکت در یک سیستم ذخیره‌سازی بزرگ‌تر نگهداری می‌کند. شرکت‌ها از دیتا مارت برای تجزیه و تحلیل کارآمدتر اطلاعات مربوط به بخش‌های خاص استفاده می‌کنند. دیتا مارت داده‌های خلاصه شده‌ای را ارائه می‌دهد که ذینفعان کلیدی می‌توانند از آن برای تصمیم‌گیری سریع و آگاهانه استفاده کنند.به عنوان مثال، یک شرکت ممکن است داده‌ها را از منابع مختلف، مانند اطلاعات تأمین‌کننده، سفارش‌ها، داده‌های حسگر، اطلاعات کارمندان و سوابق مالی در انبار داده یا دریاچه داده خود ذخیره کند. با این حال، شرکت اطلاعات مربوط به، به عنوان مثال، بخش بازاریابی، مانند نظرات رسانه‌های اجتماعی و سوابق مشتریان را در یک دیتا مارت ذخیره می‌کند.

دیتا مارت چگونه با سایر انواع سیستم‌های ذخیره‌سازی داده مقایسه می‌شود؟

شرکت‌ها از چندین نوع مختلف سیستم‌های ذخیره‌سازی داده برای مدیریت و تجزیه و تحلیل داده‌ها استفاده می‌کنند. بیایید نگاهی به برخی از انواع رایج ذخیره‌سازی داده بیندازیم تا زمینه‌ای را که شرکت‌ها در آن از دیتا مارت استفاده می‌کنند، درک کنیم.

پایگاه داده

پایگاه داده یک فضای ذخیره‌سازی سازمان‌یافته است که سیستم‌های کامپیوتری از آن برای ذخیره، جستجو، بازیابی و تجزیه و تحلیل اطلاعات استفاده می‌کنند. انواع مختلفی از پایگاه‌های داده وجود دارد، مانند پایگاه‌های داده رابطه‌ای. یک پایگاه داده رابطه‌ای اطلاعات را در جداولی متشکل از سطرها و ستون‌ها ذخیره می‌کند. داده‌های موجود در جداول مختلف توسط یک شناسه منحصر به فرد به نام کلید به هم متصل می‌شوند. کلیدها مقادیر غیرتکراری در ستون‌های خاص هستند.

دیتا مارت در مقابل پایگاه داده

دیتا مارت به عنوان عنصر رو به جلوی داده‌های یک بخش عمل می‌کند. می‌توانید از یک دیتا مارت برای بازیابی و تجزیه و تحلیل اطلاعات استفاده کنید. در همین حال، یک پایگاه داده اطلاعات را جمع‌آوری، مدیریت و ذخیره می‌کند. سپس می‌توانید از ابزارها برای پردازش، قالب‌بندی و انتقال اطلاعات ذخیره شده به یک دیتا مارت استفاده کنید.

انبار داده

انبار داده یک سیستم پایگاه داده گسترده است که اطلاعات کل یک کسب و کار را ذخیره می‌کند. این سیستم اطلاعات خام را از منابع مختلف، مانند نرم‌افزار تجاری و فیدهای رسانه‌های اجتماعی، جمع‌آوری کرده و آن را به داده‌های ساختاریافته‌ای که در قالب جدولی ذخیره می‌شوند، پردازش می‌کند. کسب و کارها می‌توانند یک انبار داده سازمانی را به ابزارهای هوش تجاری متصل کنند تا تصمیمات هوشمندانه‌تری بگیرند.

دیتا مارت در مقابل انبار داده

دیتا مارت بسیاری از ویژگی‌های یک انبار داده را به اشتراک می‌گذارد. تفاوت آن‌ها در این است که یک انبار داده حاوی داده‌های سراسری درباره موضوعات مختلف است. در همین حال، یک دیتا مارت اطلاعاتی را ذخیره می‌کند که ارتباط نزدیکی با یک موضوع خاص دارد. به عنوان مثال، یک انبار داده ممکن است اطلاعات مربوط به بخش‌های بازاریابی، منابع انسانی، تدارکات و پشتیبانی مشتری را ذخیره کند. با این حال، یک دیتا مارت ممکن است فقط داده‌های تراکنشی مربوط به یک بخش واحد را ذخیره کند. جذابیت ساخت یک دیتا مارت این است که بخش‌هایی که دیتا مارت‌های خود را مدیریت می‌کنند، کنترل کاملی بر بارگذاری و مدیریت داده‌های خود دارند.بسیاری از سازمان‌ها از فناوری‌هایی مانند اشتراک‌گذاری داده برای انتشار دیتا مارت‌های خود در یک انبار داده مرکزی استفاده می‌کنند. با انجام این کار، آن‌ها می‌توانند با توزیع مالکیت و جداسازی حجم‌های کاری، چابک‌تر شوند. به طور مشابه، اشتراک‌گذاری داده به دیتا مارت‌های بخش‌های مختلف اجازه می‌دهد تا داده‌های به اشتراک گذاشته شده از یک انبار داده یا سایر دیتا مارت‌ها را مصرف کنند.

دریاچه داده

دریاچه داده یک فضای ذخیره‌سازی داده است که اطلاعات خام و بدون ساختار را در خود جای می‌دهد. این سیستم اطلاعات را در فایل‌ها و پوشه‌ها ذخیره نمی‌کند. در عوض، اطلاعات پردازش نشده را در یک ساختار سلسله مراتبی مسطح بر روی فضای ذخیره‌سازی عظیم ذخیره می‌کند. دریاچه‌های داده انواع مختلفی از اطلاعات خام، از جمله اسناد متنی، تصاویر، فیلم‌ها و صدا را ذخیره می‌کنند.تحلیلگران داده از دریاچه‌های داده برای انجام تجزیه و تحلیل پیش‌بینی‌کننده از داده‌های بدون ساختار استفاده می‌کنند. به عنوان مثال، یک دریاچه داده ممکن است متن‌های نظرات رسانه‌های اجتماعی را ذخیره کند که کسب و کارها می‌توانند از آن برای تجزیه و تحلیل احساسات استفاده کنند. تحلیلگران داده می‌توانند از تجزیه و تحلیل احساسات برای تشخیص روندهای نظر منفی برای یک شرکت استفاده کنند.

دیتا مارت در مقابل دریاچه داده

از آنجایی که دریاچه‌های داده اطلاعات پردازش نشده را ذخیره می‌کنند، برخی از اطلاعات ممکن است تکراری باشند یا برای شرکت معنی‌دار نباشند. در همین حال، یک دیتا مارت داده‌های پردازش شده‌ای را ذخیره می‌کند که نیاز خاصی را برآورده می‌کند. یک دریاچه داده می‌تواند منبع یک دیتا مارت باشد. کسب و کارها با بررسی داده‌های تاریخی در دیتا مارت‌ها روندهای داده را تعیین می‌کنند، اما از دریاچه‌های داده برای تجزیه و تحلیل عمیق اطلاعات ذخیره شده استفاده می‌کنند.

OLAP

پردازش تحلیلی برخط (OLAP) روشی برای نمایش داده‌ها در ابعاد متعدد است. به عنوان مثال، تحلیلگران داده از یک مکعب OLAP برای نمایش همزمان درآمد فروش بر اساس ماه‌ها، شهرها و محصولات استفاده می‌کنند. ساختارهای داده OLAP گسترده هستند و فیلدها به عنوان حقایق یا ابعاد طبقه‌بندی می‌شوند و منجر به تکرار داده‌ها می‌شوند. این در تضاد با پایگاه‌های داده رابطه‌ای معمولی است که ساختارهای باریک و تکرار کم داده را ترجیح می‌دهند.

دیتا مارت در مقابل مکعب OLAP

OLAP یک استراتژی خاص ذخیره‌سازی اطلاعات است که داده‌ها را به جداول گسترده غیرنرمال تبدیل می‌کند. OLAP نمایش‌های پیچیده داده‌های چندبعدی را ساده می‌کند. برخی از دیتا مارت‌ها ممکن است از OLAP برای ساختاردهی اطلاعات خود استفاده کنند، اما برخی دیگر از ساختارهای نرمال شده معمولی استفاده می‌کنند. تحلیلگران تجاری از ساختارهای OLAP برای تجسم اطلاعات از یک دیتا مارت بهره می‌برند.

ذخیره‌گاه داده عملیاتی

ذخیره‌گاه داده عملیاتی (ODS) یک فضای ذخیره‌سازی اطلاعات است که به عنوان یک واسطه بین منابع داده و انبار داده عمل می‌کند. تحلیلگران داده از ODS برای ارائه گزارش‌دهی تقریباً بلادرنگ در مورد داده‌های تراکنشی استفاده می‌کنند. ODS از پرس و جوهای ساده پشتیبانی می‌کند و فقط مقدار محدودی از اطلاعات را ارائه می‌دهد. به عنوان مثال، ODS ممکن است سوابق فروش را فقط برای ۱۲ ساعت گذشته ذخیره کند.

دیتا مارت در مقابل ODS

یک دیتا مارت اطلاعات موضوع‌محور را از یک انبار داده استخراج می‌کند، اما یک ODS اطلاعات را برای پردازش به انبار داده ارسال می‌کند. دیتا مارت‌ها اطلاعات تاریخی را ارائه می‌دهند که می‌توانید آن‌ها را تجزیه و تحلیل کنید، اما یک ODS نمای به‌روز شده‌ای از عملیات جاری را ارائه می‌دهد. به عنوان مثال، می‌توانید از یک دیتا مارت برای شناسایی الگوهای فروش در سه ماهه گذشته استفاده کنید، اما به‌روزرسانی‌های ساعتی ارقام فروش را از ODS دریافت کنید.

چرا یک دیتا مارت مهم است؟

در زیر برخی از دلایل خوبی آورده شده است که شرکت‌ها ممکن است از یک دیتا مارت استفاده کنند.

بازیابی کارآمدتر داده‌ها

با استفاده از یک دیتا مارت، شرکت‌ها می‌توانند به طور کارآمدتری به اطلاعات خاص دسترسی پیدا کنند. در مقایسه با یک انبار داده، یک دیتا مارت حاوی اطلاعات مرتبط و دقیق است که یک بخش اغلب به آن دسترسی پیدا می‌کند. بنابراین، مدیران کسب و کار نیازی به جستجو در کل انبار داده برای تولید گزارش‌های عملکرد یا نمودارها ندارند.

تسریع در تصمیم‌گیری

شرکت‌ها می‌توانند با استفاده از یک دیتا مارت، زیرمجموعه‌ای از داده‌ها را از یک انبار داده ایجاد کنند. سپس کارمندان داخل بخش می‌توانند داده‌ها را تجزیه و تحلیل کرده و بر اساس مجموعه یکسانی از اطلاعات تصمیم بگیرند.

کنترل مؤثرتر اطلاعات

یک دیتا مارت به کارمندان دسترسی‌های بسیار دقیق و جزئی می‌دهد. این بدان معناست که شرکت می‌تواند به شخص خاصی اجازه مشاهده یا بازیابی داده‌های خاص را بدهد. این امر به شرکت‌ها کمک می‌کند تا حاکمیت داده را بهبود بخشند و سیاست‌های دسترسی به اطلاعات را اعمال کنند. به عنوان مثال، می‌توانید از دیتا مارت‌ها برای فراهم کردن دسترسی کاربران به کارمندان برای اطلاعات خاص در یک انبار داده استفاده کنید.

مدیریت انعطاف‌پذیر داده‌ها

یک دیتا مارت کوچکتر است و جداول کمتری نسبت به یک انبار داده دارد. این بدان معناست که مهندسان داده می‌توانند اطلاعات را در یک دیتا مارت مدیریت و تغییر دهند بدون اینکه تغییرات عمده‌ای در پایگاه داده ایجاد کنند.

دیتا مارت چگونه کار می‌کند؟

یک دیتا مارت اطلاعات خام را به محتوای ساختاریافته و معنی‌دار برای یک بخش تجاری خاص تبدیل می‌کند. برای انجام این کار، مهندسان داده یک دیتا مارت را تنظیم می‌کنند تا اطلاعات را یا از یک انبار داده یا مستقیماً از منابع داده خارجی دریافت کند.

هنگامی که به یک انبار داده متصل می‌شود، دیتا مارت مجموعه‌ای از اطلاعات مرتبط با یک واحد تجاری را بازیابی می‌کند. اغلب، این اطلاعات حاوی داده‌های خلاصه شده است و داده‌های غیرضروری یا جزئی را حذف می‌کند.

ETL

استخراج، تبدیل و بارگذاری (ETL) فرآیندی برای یکپارچه‌سازی و انتقال اطلاعات از منابع داده مختلف به یک پایگاه داده فیزیکی واحد است. دیتا مارت‌ها از ETL برای بازیابی اطلاعات از منابع خارجی زمانی که از یک انبار داده نمی‌آید، استفاده می‌کنند. این فرآیند شامل مراحل زیر است:

• استخراج: جمع‌آوری اطلاعات خام از منابع مختلف
• تبدیل: ساختاردهی اطلاعات به یک قالب مشترک
• بارگذاری: انتقال داده‌های پردازش شده به پایگاه داده

ابزارهای ETL اطلاعات را از منابع خارجی مانند صفحات گسترده، برنامه‌ها و اسناد متنی کپی می‌کنند. سپس دیتا مارت اطلاعات را پردازش، سازماندهی و در یک فرم ساختاریافته ذخیره می‌کند.

تجزیه و تحلیل

تحلیلگران تجاری از ابزارهای نرم‌افزاری برای بازیابی، تجزیه و تحلیل و نمایش داده‌ها از دیتا مارت استفاده می‌کنند. به عنوان مثال، آن‌ها از اطلاعات ذخیره شده در دیتا مارت‌ها برای تجزیه و تحلیل هوش تجاری، داشبوردهای گزارش‌دهی و برنامه‌های کاربردی ابری استفاده می‌کنند.هر دیتا مارت به تعداد کمی از کاربران خدمات می‌دهد. به عنوان مثال، مدیر بازاریابی و بازاریابان ارشد به یک دیتا مارت دسترسی دارند، بنابراین تولید گزارش‌ها و نمودارها یا انجام تجزیه و تحلیل پیش‌بینی‌کننده زمان کمتری می‌برد.

انواع دیتا مارت‌ها کدامند؟

در زیر انواع مختلف دیتا مارت‌ها آورده شده است.

دیتا مارت وابسته

یک دیتا مارت وابسته فضای ذخیره‌سازی خود را با زیرمجموعه‌ای از اطلاعات از یک انبار داده متمرکز پر می‌کند. انبار داده تمام اطلاعات را از منابع داده جمع‌آوری می‌کند. سپس، دیتا مارت اطلاعات موضوعی خاص را از انبار داده پرس و جو و بازیابی می‌کند.

مزایا و معایب

بیشتر کارهای مدیریت و администрирование داده در انبار داده انجام می‌شود. این بدان معناست که تحلیلگران تجاری برای استفاده از اطلاعات دیتا مارت نیازی به مهارت‌های بالای مدیریت پایگاه داده ندارند. اگرچه دیتا مارت‌های وابسته بازیابی اطلاعات را بسیار آسان‌تر می‌کنند، اما یک نقطه ضعف واحد را ارائه می‌دهند. اگر انبار داده با مشکل مواجه شود، تمام دیتا مارت‌های متصل نیز با مشکل مواجه خواهند شد.

دیتا مارت مستقل

یک دیتا مارت مستقل به یک انبار داده مرکزی یا هیچ دیتا مارت دیگری متکی نیست. هر دیتا مارت اطلاعات را از منابع خود به جای انبار داده جمع‌آوری می‌کند. دیتا مارت‌های مستقل برای شرکت‌های کوچکتر مناسب هستند، اما فقط بخش‌های خاصی نیاز به دسترسی و تجزیه و تحلیل اطلاعات دارند.

مزایا و معایب

شرکت‌ها می‌توانند دیتا مارت‌های مستقل را با سهولت نسبی راه‌اندازی کنند. با این حال، مدیریت آن‌ها ممکن است دشوار باشد. دلیل این امر این است که تحلیلگران تجاری باید کارهای администрирование پایگاه داده را در هر دیتا مارت انجام دهند. به اشتراک گذاشتن داده‌ها بین دیتا مارت‌های مختلف با استفاده از استراتژی‌هایی مانند اشتراک‌گذاری داده مستقیم است؛ بخش‌ها می‌توانند داده‌های بخش دیگر را بخوانند و حتی آن را با داده‌های خود تکمیل کنند. با این حال، باید یک استراتژی قوی فهرست‌بندی داده‌ها برای اطمینان از اینکه هر بخش می‌داند به دنبال چه چیزی است، اجرا شود.

دیتا مارت ترکیبی

دیتا مارت‌های ترکیبی اطلاعات را از یک انبار داده و از منابع خارجی جمع‌آوری می‌کنند. این امر به شرکت‌ها انعطاف‌پذیری می‌دهد تا منابع داده مستقل را قبل از هدایت داده‌ها به انبار داده آزمایش کنند.به عنوان مثال، فرض کنید یک محصول جدید را عرضه می‌کنید و می‌خواهید داده‌های فروش اولیه آن را تجزیه و تحلیل کنید. دیتا مارت از اطلاعات فروش که مستقیماً از نرم‌افزار تجارت الکترونیک می‌آید استفاده می‌کند و سوابق فروش سایر محصولات را از دیتا مارت بازیابی می‌کند. پس از اینکه محصول به یک عنصر دائمی در فروشگاه شما تبدیل شد، جزئیات تراکنش را به انبار داده منتقل می‌کنید.

ساختارهای یک دیتا مارت چیست؟

دیتا مارت‌ها از ساختارهای زیر برای ذخیره و نمایش اطلاعات استفاده می‌کنند.

ستاره‌ای

ساختار ستاره‌ای یک جدول واقعیت در مرکز خود دارد و به چندین جدول ابعاد شاخه می‌زند. این منجر به یک اتصال ستاره‌ای شکل می‌شود. جدول واقعیت یک جدول داده است که حاوی داده‌های خلاصه شده است که می‌توانید از آن برای اهداف تحلیلی استفاده کنید. در همین حال، جداول ابعاد اطلاعات توصیفی را در یک جدول واقعیت نگهداری می‌کنند. هر جدول ابعاد با یک کلید خارجی به جدول واقعیت پیوند می‌خورد. کلید خارجی یک شناسه منحصر به فرد است، مانند شناسه محصول یا شناسه تأمین‌کننده.

به عنوان مثال، یک جدول واقعیت برای تراکنش‌های فروش دارای ستون‌های زیر است:

• شناسه فروش
• شناسه محصول
• شناسه تأمین‌کننده
• مبلغ فروش

یک جدول ابعاد برای محصولات اطلاعات زیر را ذخیره می‌کند:

• شناسه محصول
• نام محصول
• هزینه محصول

جدول ابعاد تأمین‌کننده دارای ستون‌های زیر است:

• شناسه تأمین‌کننده
• نام تأمین‌کننده
• شهر

مزایا

در یک ساختار ستاره‌ای، جدول ابعاد برای عدم گسترش به جداول اضافی، غیرنرمال می‌شود. این بدان معناست که جدول ابعاد ممکن است حاوی داده‌های تکراری باشد اما سرعت جستجو و بازیابی را بهبود می‌بخشد. همچنین فضای کمتری برای ذخیره جداول ابعاد نیاز است.تحلیلگران تجاری می‌توانند از یک دیتا مارت با ساختار ستاره‌ای برای ساده‌سازی پرس و جوهای پیچیده استفاده کنند. هنگامی که آن‌ها به دنبال یک رکورد فروش خاص می‌گردند، سیستم مدیریت داده در جدول واقعیت جستجو می‌کند. هنگامی که سیستم دیتا مارت رکورد صحیح را پیدا می‌کند، از شناسه محصول و شناسه تأمین‌کننده برای پرس و جو از داده‌ها از جداول ابعاد مربوطه استفاده می‌کند.

غیرنرمال شده

یک ساختار غیرنرمال شده تمام داده‌های مرتبط را در یک جدول واحد ذخیره می‌کند. این ساختار اتصالات پیچیده‌ای بین جداول واقعیت و جداول ابعاد ندارد. تحلیلگران داده از یک دیتا مارت غیرنرمال شده استفاده می‌کنند زیرا سرعت پرس و جو را بهبود می‌بخشد. به عنوان مثال، جستجو برای یک رکورد فروش در یک جدول غیرنرمال شده واحد به شرح زیر انجام می‌شود:

• شناسه فروش
• محصول
  • نام محصول
  • هزینه محصول
  • نام مدل
  • وزن
  • اندازه
• تأمین‌کننده
  • نام تأمین‌کننده
  • شهر
• مبلغ فروش

یک دیتا مارت غیرنرمال شده به دلیل رویکرد تک جدولی خود برای گزارش‌دهی در زمان واقعی مناسب است. با این حال، غیرنرمال کردن دیتا مارت منجر به تکرار داده‌ها می‌شود. به عنوان مثال، ممکن است نام یک محصول یکسان در چندین رکورد ظاهر شود. این امر منجر به فضای ذخیره‌سازی اضافی و هزینه‌های پیاده‌سازی گران می‌شود.

مراحل پیاده‌سازی یک دیتا مارت چیست؟

مهندسان داده ابری یک دیتا مارت را با انجام مراحل زیر راه‌اندازی می‌کنند:

1. پلتفرم داده بومی ابری خود را راه‌اندازی می‌کنند.
2. دیتا مارت را با داده‌های تجاری پر می‌کنند. آن‌ها اطمینان حاصل می‌کنند که داده‌ها فرمت صحیح را دارند و برای کاربران تجاری مرتبط هستند.
3. دیتا مارت را طوری تنظیم می‌کنند که چندین کاربر بتوانند به داده‌های آن دسترسی داشته باشند. به عنوان مثال، آن‌ها یک داشبورد گزارش‌دهی را در دیتا مارت نصب می‌کنند.
4. هنگامی که دیتا مارت در حال اجرا است، به نظارت، بهینه‌سازی و رفع مشکلات ادامه می‌دهند.