مدیریت داده (Data Management) چیست؟

مدیریت داده چیست؟

مدیریت داده فرآیند جمع‌آوری، ذخیره‌سازی، ایمن‌سازی و استفاده از داده‌های یک سازمان است. در حالی که سازمان‌ها امروزه منابع داده‌ای مختلفی دارند، برای استخراج هوش تجاری برای برنامه‌ریزی استراتژیک، باید داده‌ها را تجزیه و تحلیل و یکپارچه کنند. مدیریت داده شامل تمام سیاست‌ها، ابزارها و رویه‌هایی است که قابلیت استفاده از داده‌ها را در چارچوب قوانین و مقررات بهبود می‌بخشد.

چرا مدیریت داده مهم است؟

داده‌ها به عنوان یک منبع ارزشمند برای سازمان‌های مدرن در نظر گرفته می‌شوند. با دسترسی به حجم زیاد و انواع مختلف داده‌ها، سازمان‌ها سرمایه‌گذاری قابل توجهی در زیرساخت‌های ذخیره‌سازی و مدیریت داده انجام می‌دهند. آنها از سیستم‌های مدیریت داده برای اجرای کارآمدتر عملیات هوش تجاری و تجزیه و تحلیل داده استفاده می‌کنند. در زیر به برخی از مزایای مدیریت داده اشاره می‌کنیم:

افزایش درآمد و سود

تجزیه و تحلیل داده‌ها بینش عمیق‌تری در مورد تمام جنبه‌های یک کسب و کار ارائه می‌دهد. شما می‌توانید این بینش‌ها را برای بهینه‌سازی عملیات تجاری و کاهش هزینه‌ها به کار بگیرید. تجزیه و تحلیل داده‌ها همچنین می‌تواند تأثیر آینده تصمیمات را پیش‌بینی کند و تصمیم‌گیری و برنامه‌ریزی تجاری را بهبود بخشد. از این رو، سازمان‌ها با بهبود تکنیک‌های مدیریت داده خود، رشد قابل توجه درآمد و سود را تجربه می‌کنند.

کاهش ناسازگاری داده‌ها

سیلوی داده مجموعه‌ای از داده‌های خام در یک سازمان است که تنها یک بخش یا گروه می‌تواند به آن دسترسی داشته باشد. سیلوهای داده‌ای ناسازگاری‌هایی ایجاد می‌کنند که قابلیت اطمینان نتایج تجزیه و تحلیل داده‌ها را کاهش می‌دهد. راهکارهای مدیریت داده، داده‌ها را یکپارچه کرده و یک دیدگاه متمرکز از داده‌ها برای بهبود همکاری بین بخش‌ها ایجاد می‌کنند.

رعایت مقررات

قوانینی مانند مقررات عمومی حفاظت از داده‌ها (GDPR) و قانون حفظ حریم خصوصی مصرف‌کننده کالیفرنیا (CCPA) به مصرف‌کنندگان کنترل بر داده‌های خود را می‌دهند. افراد می‌توانند در صورت مشاهده موارد زیر از سازمان‌ها، به دنبال راهکارهای قانونی باشند:

• جمع‌آوری داده‌ها بدون رضایت
• اعمال کنترل ضعیف بر مکان و استفاده از داده‌ها
• نگهداری داده‌ها علی‌رغم درخواست‌های حذف

از این رو، سازمان‌ها به یک سیستم مدیریت داده نیاز دارند که ضمن حفظ دقت، منصفانه، شفاف و محرمانه باشد.

حوزه‌های تمرکز مدیریت داده کدامند؟

عملکرد مدیریت داده علاوه بر حاکمیت داده برای کنترل دسترسی به داده‌ها، شامل جمع‌آوری و توزیع داده‌های با کیفیت بالا نیز می‌شود.

مدیریت کیفیت داده

کاربران داده انتظار دارند که داده‌ها برای هر مورد استفاده، به اندازه کافی قابل اعتماد و سازگار باشند.

مدیران کیفیت داده، کیفیت داده‌های یک سازمان را اندازه‌گیری و بهبود می‌بخشند. آنها داده‌های موجود و جدید را بررسی کرده و تأیید می‌کنند که با استانداردها مطابقت دارند. آنها همچنین ممکن است فرآیندهای مدیریت داده‌ای را تنظیم کنند که از ورود داده‌های بی‌کیفیت به سیستم جلوگیری کند. استانداردهای کیفیت داده معمولاً موارد زیر را اندازه‌گیری می‌کنند:

• آیا اطلاعات کلیدی گم شده است یا داده کامل است؟ (به عنوان مثال، مشتری اطلاعات تماس کلیدی را حذف می‌کند)
• آیا داده‌ها با قوانین اولیه بررسی داده مطابقت دارند؟ (به عنوان مثال، شماره تلفن باید ۱۰ رقم باشد)
• چند بار داده‌های یکسان در سیستم ظاهر می‌شوند؟ (به عنوان مثال، ورودی‌های داده تکراری از یک مشتری)
• آیا داده‌ها دقیق هستند؟ (به عنوان مثال، مشتری آدرس ایمیل اشتباه وارد می‌کند)
• آیا کیفیت داده در سراسر سیستم یکسان است؟ (به عنوان مثال، فرمت تاریخ تولد در یک مجموعه داده dd/mm/yyyy است اما در مجموعه داده دیگر mm/dd/yyyy است)

توزیع و سازگاری داده

نقاط پایانی برای توزیع داده

برای اکثر سازمان‌ها، داده‌ها باید به (یا نزدیک) نقاط پایانی مختلفی که داده‌ها در آن مورد نیاز است، توزیع شوند. این نقاط شامل سیستم‌های عملیاتی، دریاچه‌های داده و انبارهای داده می‌شوند. توزیع داده به دلیل تأخیرهای شبکه ضروری است. هنگامی که داده‌ها برای استفاده عملیاتی مورد نیاز هستند، ممکن است تأخیر شبکه برای تحویل به موقع آن کافی نباشد. ذخیره یک کپی از داده‌ها در یک پایگاه داده محلی مشکل تأخیر شبکه را حل می‌کند.

توزیع داده همچنین برای تجمیع داده‌ها ضروری است. انبارهای داده و دریاچه‌های داده، داده‌ها را از منابع مختلف تجمیع می‌کنند تا یک دیدگاه تلفیقی از اطلاعات ارائه دهند. انبارهای داده برای تجزیه و تحلیل و تصمیم‌گیری استفاده می‌شوند، در حالی که دریاچه‌های داده یک مرکز تلفیقی هستند که از آن می‌توان داده‌ها را برای موارد استفاده مختلف استخراج کرد.

سازوکارهای تکثیر داده و تأثیر آن بر سازگاری

سازوکارهای توزیع داده می‌توانند تأثیر بالقوه‌ای بر سازگاری داده داشته باشند و این یک ملاحظه مهم در مدیریت داده است.

• سازگاری قوی ناشی از تکثیر همزمان داده‌ها است. در این رویکرد، هنگامی که مقدار داده‌ای تغییر می‌کند، تمام برنامه‌ها و کاربران مقدار تغییر یافته داده را مشاهده خواهند کرد. اگر مقدار جدید داده هنوز تکثیر نشده باشد، دسترسی به داده تا زمانی که تمام نسخه‌ها به روز شوند، مسدود می‌شود. تکثیر همزمان، سازگاری را بر عملکرد و دسترسی به داده‌ها اولویت می‌دهد. تکثیر همزمان بیشتر برای داده‌های مالی استفاده می‌شود.
• سازگاری نهایی ناشی از تکثیر ناهمزمان داده‌ها است. هنگامی که داده تغییر می‌کند، نسخه‌ها در نهایت به روز می‌شوند (معمولاً در عرض چند ثانیه)، اما دسترسی به نسخه‌های قدیمی مسدود نمی‌شود. برای بسیاری از موارد استفاده، این یک مشکل نیست. به عنوان مثال، پست‌ها، لایک‌ها و نظرات رسانه‌های اجتماعی نیازی به سازگاری قوی ندارند. به عنوان مثال دیگر، اگر مشتری شماره تلفن خود را در یک برنامه تغییر دهد، این تغییر می‌تواند به صورت ناهمزمان اعمال شود.

مقایسه به‌روزرسانی‌های جریانی با دسته‌ای

• جریان‌های داده تغییرات داده را به محض وقوع اعمال می‌کنند. این رویکرد در صورت نیاز به دسترسی به داده‌های تقریباً بی‌درنگ ترجیح داده می‌شود. داده‌ها به محض تغییر، استخراج، تبدیل و به مقصد تحویل داده می‌شوند.
• به‌روزرسانی‌های دسته‌ای زمانی مناسب‌تر هستند که داده‌ها قبل از تحویل باید به صورت دسته‌ای پردازش شوند. خلاصه کردن یا انجام تجزیه و تحلیل آماری داده‌ها و تحویل فقط نتیجه، نمونه‌ای از این امر است. به‌روزرسانی‌های دسته‌ای همچنین می‌توانند سازگاری داخلی داده‌ها را در یک نقطه زمانی خاص حفظ کنند، اگر تمام داده‌ها در یک زمان خاص استخراج شوند. به‌روزرسانی‌های دسته‌ای از طریق فرآیند استخراج، تبدیل، بارگذاری (ETL یا ELT) معمولاً برای دریاچه‌های داده، انبارداری داده و تجزیه و تحلیل استفاده می‌شود.

مدیریت داده‌های بزرگ

داده‌های بزرگ حجم زیادی از داده‌ها هستند که یک سازمان با سرعت بالا در یک دوره زمانی کوتاه جمع‌آوری می‌کند. فیدهای خبری ویدیویی در رسانه‌های اجتماعی و جریان‌های داده از حسگرهای هوشمند نمونه‌هایی از داده‌های بزرگ هستند. مقیاس و پیچیدگی عملیات، چالش‌هایی را در مدیریت داده‌های بزرگ ایجاد می‌کند. به عنوان مثال، یک سیستم داده‌های بزرگ، داده‌هایی مانند موارد زیر را ذخیره می‌کند:

• داده‌های ساختاریافته که به خوبی در قالب جدولی نمایش داده می‌شوند.
• داده‌های بدون ساختار مانند اسناد، تصاویر و فیلم‌ها.
• داده‌های نیمه‌ساختاریافته که دو نوع قبلی را ترکیب می‌کنند.

ابزارهای مدیریت داده‌های بزرگ باید داده‌ها را برای تجزیه و تحلیل پردازش و آماده کنند. ابزارها و تکنیک‌های مورد نیاز برای داده‌های بزرگ معمولاً عملکردهای زیر را انجام می‌دهند: یکپارچه‌سازی داده، ذخیره‌سازی داده و تجزیه و تحلیل داده.

معماری داده و مدل‌سازی داده

معماری داده

معماری داده دارایی‌های داده‌ای یک سازمان را توصیف می‌کند و یک طرح کلی برای ایجاد و مدیریت جریان داده ارائه می‌دهد. طرح مدیریت داده شامل جزئیات فنی مانند پایگاه‌های داده عملیاتی، دریاچه‌های داده، انبارهای داده و سرورهایی است که برای اجرای استراتژی مدیریت داده مناسب‌تر هستند.

مدل‌سازی داده

مدل‌سازی داده فرآیند ایجاد مدل‌های داده مفهومی و منطقی است که گردش کار و روابط بین انواع مختلف داده را به تصویر می‌کشد. مدل‌سازی داده معمولاً با نمایش مفهومی داده‌ها آغاز می‌شود و سپس در چارچوب فناوری‌های انتخابی دوباره نمایش داده می‌شود. مدیران داده در مرحله طراحی داده، انواع مختلفی از مدل‌های داده را ایجاد می‌کنند.

حاکمیت داده

حاکمیت داده شامل سیاست‌ها و رویه‌هایی است که یک سازمان برای مدیریت امنیت، یکپارچگی و استفاده مسئولانه از داده‌ها اجرا می‌کند. این امر استراتژی مدیریت داده را تعریف می‌کند و تعیین می‌کند چه کسی به چه داده‌هایی می‌تواند دسترسی داشته باشد. سیاست‌های حاکمیت داده همچنین مسئولیت نحوه دسترسی و استفاده تیم‌ها و افراد از داده‌ها را تعیین می‌کند. عملکردهای حاکمیت داده معمولاً شامل موارد زیر است:

رعایت مقررات

سیاست‌های حاکمیت داده خطر جریمه‌ها یا اقدامات نظارتی را کاهش می‌دهد. آنها بر آموزش کارکنان تمرکز دارند تا رعایت قوانین در همه سطوح اتفاق بیفتد. به عنوان مثال، یک سازمان با یک تیم توسعه خارجی برای بهبود سیستم‌های داده خود همکاری می‌کند. مدیران حاکمیت داده تأیید می‌کنند که قبل از ارائه تمام داده‌های شخصی به تیم خارجی برای استفاده در اهداف آزمایشی، حذف شده‌اند.

امنیت داده و کنترل دسترسی

حاکمیت داده از دسترسی غیرمجاز به داده‌ها جلوگیری کرده و از خراب شدن آن محافظت می‌کند. این شامل تمام جنبه‌های حفاظت مانند موارد زیر است:

• جلوگیری از انتقال یا حذف تصادفی داده‌ها
• ایمن‌سازی دسترسی شبکه برای کاهش خطر حملات شبکه
• تأیید اینکه مراکز داده فیزیکی که داده‌ها را ذخیره می‌کنند، الزامات امنیتی را برآورده می‌کنند.
• حفظ امنیت داده‌ها حتی زمانی که کارمندان از دستگاه‌های شخصی خود به آنها دسترسی پیدا می‌کنند.
• احراز هویت کاربر، مجوزدهی و تنظیم و اعمال مجوزهای دسترسی به داده‌ها.
• اطمینان از اینکه داده‌های ذخیره شده با قوانین کشور محل ذخیره‌سازی داده مطابقت دارند.

برخی از چالش‌های مدیریت داده کدامند؟

در زیر به برخی از چالش‌های رایج مدیریت داده اشاره شده است:

مقیاس و عملکرد

سازمان‌ها به نرم‌افزار مدیریت داده‌ای نیاز دارند که حتی در مقیاس بزرگ نیز کارآمد عمل کند. آنها باید به طور مداوم زیرساخت‌های مدیریت داده را نظارت و پیکربندی مجدد کنند تا حتی با رشد نمایی داده‌ها، زمان پاسخگویی بهینه را حفظ کنند.

تغییر الزامات

مقررات انطباق پیچیده هستند و با گذشت زمان تغییر می‌کنند. به طور مشابه، الزامات مشتری و نیازهای تجاری نیز به سرعت در حال تغییر هستند. اگرچه سازمان‌ها انتخاب بیشتری در پلتفرم‌های مدیریت داده‌ای که می‌توانند از آنها استفاده کنند دارند، اما باید به طور مداوم تصمیمات مربوط به زیرساخت را ارزیابی کنند تا حداکثر چابکی فناوری اطلاعات، انطباق قانونی و کاهش هزینه‌ها را حفظ کنند.

آموزش کارکنان

شروع فرآیند مدیریت داده در هر سازمانی می‌تواند چالش برانگیز باشد. حجم زیاد داده‌ها می‌تواند طاقت فرسا باشد و ممکن است سیلوهای بین‌بخشی نیز وجود داشته باشد. برنامه‌ریزی یک استراتژی جدید مدیریت داده و پذیرش سیستم‌ها و فرآیندهای جدید توسط کارکنان زمان و تلاش می‌طلبد.

برخی از بهترین شیوه‌های مدیریت داده کدامند؟

بهترین شیوه‌های مدیریت داده، اساس یک استراتژی داده موفق را تشکیل می‌دهند. در زیر به برخی از بهترین شیوه‌های رایج اشاره شده است:

همکاری تیمی

کاربران تجاری و تیم‌های فنی باید برای اطمینان از برآورده شدن الزامات داده‌ای یک سازمان همکاری کنند. تمام پردازش و تجزیه و تحلیل داده‌ها باید الزامات هوش تجاری را در اولویت قرار دهد. در غیر این صورت، داده‌های جمع‌آوری شده بدون استفاده باقی می‌مانند و منابع در پروژه‌های مدیریت داده‌ای که به خوبی برنامه‌ریزی نشده‌اند، هدر می‌روند.

اتوماسیون

یک استراتژی موفق مدیریت داده، اتوماسیون را در بیشتر وظایف پردازش و آماده‌سازی داده ادغام می‌کند. انجام دستی وظایف تبدیل داده خسته‌کننده است و همچنین باعث ایجاد خطا در سیستم می‌شود. حتی تعداد محدودی از وظایف دستی، مانند اجرای کارهای دسته‌ای هفتگی، می‌تواند باعث ایجاد گلوگاه در سیستم شود. نرم‌افزار مدیریت داده می‌تواند از مقیاس‌بندی سریع‌تر و کارآمدتر پشتیبانی کند.

رایانش ابری

کسب و کارها به راهکارهای مدرن مدیریت داده نیاز دارند که مجموعه وسیعی از قابلیت‌ها را در اختیار آنها قرار دهد. یک راهکار ابری می‌تواند تمام جنبه‌های مدیریت داده را در مقیاس بزرگ و بدون به خطر انداختن عملکرد مدیریت کند. به عنوان مثال، AWS طیف گسترده‌ای از عملکردها مانند پایگاه‌های داده، دریاچه‌های داده، تجزیه و تحلیل، دسترسی‌پذیری داده، حاکمیت داده و امنیت را از یک حساب کاربری واحد ارائه می‌دهد.