شبکه داده چیست؟
شبکه داده یک چارچوب معماری است که چالشهای پیشرفته امنیت داده را از طریق مالکیت توزیعشده و غیرمتمرکز حل میکند. سازمانها منابع داده متعددی از بخشهای مختلف کسبوکار دارند که باید برای تجزیه و تحلیل یکپارچه شوند. یک معماری شبکه داده به طور مؤثر منابع داده ناهمگون را متحد میکند و آنها را از طریق دستورالعملهای اشتراک و حاکمیت داده متمرکز مدیریتشده به هم پیوند میدهد. بخشهای تجاری میتوانند کنترل نحوه دسترسی به دادههای به اشتراک گذاشته شده، اینکه چه کسی به آن دسترسی دارد و به چه فرمتهایی دسترسی دارد را حفظ کنند. شبکه داده پیچیدگیهایی را به معماری اضافه میکند، اما با بهبود دسترسی، امنیت و مقیاسپذیری داده، کارایی را نیز به همراه دارد.
شبکه داده چه چالشهایی را حل میکند؟
حتی اگر سازمانها به حجم دادههای در حال افزایش دسترسی داشته باشند، باید دادهها را مرتب، فیلتر، پردازش و تجزیه و تحلیل کنند تا از آنها مزایای عملی به دست آورند. سازمانها اغلب از یک تیم مرکزی از مهندسان و دانشمندان برای مدیریت دادهها استفاده میکنند. این تیم از یک پلتفرم داده متمرکز برای اهداف زیر استفاده میکند:
- جذب دادهها از همه واحدهای تجاری مختلف (یا حوزههای تجاری).
- تبدیل دادهها به یک فرمت سازگار، قابل اعتماد و مفید. برای مثال، تیم میتواند اطمینان حاصل کند که همه تاریخها در سیستم به یک فرمت رایج هستند یا گزارشهای روزانه را خلاصه کند.
- آمادهسازی دادهها برای مصرفکنندگان داده، مانند تولید گزارش برای انسان یا تهیه فایلهای XML برای برنامهها. درباره XML بیشتر بخوانید »
با افزایش حجم داده، سازمانها با هزینههای فزایندهای برای حفظ چابکی قبلی خود مواجه میشوند. سیستم یکپارچه به دلایل زیر به سختی مقیاسپذیر است.
تیم داده سیلو شده
تیم داده مرکزی دارای دانشمندان و مهندسان متخصص داده با دانش محدود کسبوکار و دامنه است. با این حال، آنها همچنان باید دادهها را برای مجموعه متنوعی از نیازهای عملیاتی و تحلیلی بدون درک واضح از انگیزه ارائه دهند.
پاسخگویی آهسته به تغییر
مهندسان داده معمولاً خطوط لولهای را پیادهسازی میکنند که دادهها را جذب میکنند و آن را طی چندین مرحله قبل از ذخیره آن در یک دریاچه داده مرکزی تبدیل میکنند. هرگونه تغییر درخواستی نیاز به اصلاح کل خط لوله دارد. تیم مرکزی باید این تغییرات را ضمن مدیریت اولویتهای متضاد و با دانش محدود دامنه کسبوکار انجام دهد.
کاهش دقت
واحدهای تجاری از مصرفکنندگان داده و تیمهای داده مرکزی جدا هستند. در نتیجه، آنها انگیزه ارائه دادههای معنادار، صحیح و مفید را ندارند.
مزایای شبکه داده چیست؟
با گذشت زمان، یک معماری پلتفرم داده میتواند منجر به مصرفکنندگان داده ناامید، تولیدکنندگان داده جدا و یک تیم مدیریت داده بیش از حد شود. معماری شبکه داده تلاش میکند تا این چالشها را با توانمندسازی واحدهای تجاری برای داشتن خودمختاری و مالکیت بالا در دامنه داده خود حل کند. مزایای معماری شبکه داده در زیر آمده است.
پردازش دموکراتیک داده
یک شبکه داده، کنترل داده را به متخصصان دامنه که محصولات داده معنادار را در یک چارچوب حاکمتی غیرمتمرکز ایجاد میکنند، منتقل میکند. مصرفکنندگان داده نیز درخواست دسترسی به محصولات داده را میدهند و تأییدیهها یا تغییرات را مستقیماً از صاحبان داده میخواهند. در نتیجه، همه سریعتر به دادههای مرتبط دسترسی پیدا میکنند و دسترسی سریعتر، چابکی کسبوکار را بهبود میبخشد.
انعطافپذیری بیشتر
زیرساخت داده متمرکز پیچیدهتر است و برای نگهداری و اصلاح نیاز به همکاری دارد. در عوض، شبکه داده، پیادهسازی فنی سیستم مرکزی را به حوزههای تجاری سازماندهی میکند. این امر خطوط لوله داده مرکزی را حذف میکند و گلوگاههای عملیاتی و فشارهای فنی روی سیستم را کاهش میدهد.
مقرون به صرفه بودن
معماری داده توزیعشده از پردازش دستهای دور میشود و در عوض، پذیرش جریان داده بیدرنگ را ترویج میکند. شما دید بهتری در تخصیص منابع و هزینههای ذخیرهسازی پیدا میکنید که منجر به بودجهبندی بهتر و کاهش هزینهها میشود.
درباره معماریهای داده بیشتر بخوانید.
بهبود کشف داده
یک مدل شبکه داده از تشکیل siloهای داده در اطراف تیمهای مهندسی مرکزی جلوگیری میکند. همچنین خطر قفل شدن داراییهای داده در سیستمهای مختلف دامنه کسبوکار را کاهش میدهد. در عوض، چارچوب مدیریت داده مرکزی، دادههای موجود در سازمان را مدیریت و ثبت میکند. برای مثال، تیمهای دامنه به طور خودکار دادههای خود را در یک رجیستری مرکزی ثبت میکنند.
تقویت امنیت و انطباق
معماریهای شبکه داده، سیاستهای امنیتی داده را هم در داخل و هم بین دامنهها اجرا میکنند. آنها نظارت و حسابرسی متمرکز فرآیند اشتراک داده را فراهم میکنند. برای مثال، میتوانید الزامات دادههای log و trace را در همه دامنهها اعمال کنید. حسابرسان شما میتوانند میزان استفاده و فراوانی دسترسی به دادهها را مشاهده کنند.
موارد استفاده از شبکه داده چیست؟
یک شبکه داده میتواند از همه انواع موارد استفاده از دادههای بزرگ پشتیبانی کند. در زیر چند نمونه آوردهایم.
تجزیه و تحلیل داده
بخشهای تجاری متعدد، دادههای قابل اعتماد و با کیفیت بالا را برای حجمهای کاری تجزیه و تحلیل داده شما فراهم میکنند. تیمهای شما میتوانند از دادهها برای ایجاد داشبوردهای هوش تجاری سفارشی که عملکرد پروژه، نتایج بازاریابی و دادههای عملیاتی را نشان میدهند، استفاده کنند. دانشمندان داده میتوانند پروژههای یادگیری ماشین را برای به دست آوردن مزایای کامل خودکارسازی تسریع کنند.
مراقبت از مشتری
یک شبکه داده نمای جامع از مشتریان را برای تیمهای پشتیبانی و بازاریابی فراهم میکند. برای مثال، تیمهای پشتیبانی میتوانند دادههای مرتبط را بیرون بکشند و میانگین زمان رسیدگی را کاهش دهند، و تیمهای بازاریابی میتوانند اطمینان حاصل کنند که در کمپینهای خود، گروههای جمعیتی مناسب مشتری را هدف قرار میدهند.
گزارشدهی قانونی
نیاز به حجم، به موقع بودن و دقت در دادههایی که اهداف قانونی را برآورده میکنند، چالشهایی را برای تنظیمکنندهها و شرکتهای تحت نظارت ایجاد میکند. همه طرفین میتوانند از کاربرد فناوریهای شبکه داده بهرهمند شوند. برای مثال، سازمانها میتوانند دادههای گزارشدهی را به یک شبکه داده که به طور مرکزی توسط تنظیمکنندهها اداره میشود، ارسال کنند.
دادههای شخص ثالث
شما میتوانید فناوری شبکه داده را برای موارد استفادهای که نیاز به مجموعه دادههای شخص ثالث و عمومی دارند، اعمال کنید. شما میتوانید دادههای خارجی را به عنوان یک دامنه جداگانه در نظر بگیرید و آن را در شبکه پیادهسازی کنید تا از سازگاری با مجموعه دادههای داخلی اطمینان حاصل کنید.
اصول معماری شبکه داده چیست؟
سازمان شما باید چهار اصل زیر را برای پذیرش پارادایم شبکه داده پیادهسازی کند.
معماری توزیعشده مبتنی بر دامنه
رویکرد شبکه داده پیشنهاد میکند که مسئولیت مدیریت داده حول وظایف یا دامنههای تجاری سازماندهی شود. تیمهای دامنه مسئول جمعآوری، تبدیل و ارائه دادههای مرتبط با یا ایجاد شده توسط وظایف تجاری خود هستند. به جای اینکه دادههای دامنه از منابع داده به یک پلتفرم داده مرکزی جریان یابد، یک تیم خاص مجموعه دادههای خود را به روشی آسان برای مصرف میزبانی و ارائه میدهد. برای مثال، یک خردهفروش میتواند یک دامنه پوشاک با دادههایی درباره محصولات پوشاک خود و یک دامنه رفتار وبسایت داشته باشد که حاوی تجزیه و تحلیل رفتار بازدیدکنندگان سایت است.
داده به عنوان یک محصول
برای موفقیتآمیز بودن پیادهسازی شبکه داده، هر تیم دامنه باید تفکر محصول را در مجموعه دادههایی که ارائه میدهد، اعمال کند. آنها باید داراییهای داده خود را به عنوان محصولات خود و بقیه تیمهای تجاری و داده سازمان را به عنوان مشتریان خود در نظر بگیرند.
برای بهترین تجربه کاربر، محصولات داده دامنه باید دارای ویژگیهای اساسی زیر باشند.
- قابل کشف: هر محصول داده خود را با یک کاتالوگ داده متمرکز برای کشف آسان ثبت میکند.
- قابل آدرسدهی: هر محصول داده باید دارای یک آدرس منحصر به فرد باشد که به مصرفکنندگان داده کمک میکند به صورت برنامهنویسی به آن دسترسی داشته باشند. آدرس معمولاً از استانداردهای نامگذاری که به صورت مرکزی در سازمان تعیین شده است، پیروی میکند.
- قابل اعتماد: محصولات داده، اهداف سطح سرویس قابل قبولی را در مورد میزان نزدیکی دادهها به واقعیت رویدادهایی که ثبت میکنند، تعریف میکنند. برای مثال، دامنه سفارشها میتواند دادهها را پس از تأیید آدرس و شماره تلفن مشتری منتشر کند.
- خود توصیفگر: همه محصولات داده دارای نحو و معناشناسی کاملاً توصیف شدهای هستند که از قراردادهای نامگذاری استاندارد تعیین شده توسط سازمان پیروی میکنند.
زیرساخت داده سلف سرویس
یک معماری داده توزیعشده مستلزم آن است که هر دامنه خط لوله داده خود را برای پاک کردن، فیلتر کردن و بارگذاری محصولات داده خود تنظیم کند. یک شبکه داده مفهوم یک پلتفرم داده سلف سرویس را برای جلوگیری از تکرار تلاشها معرفی میکند. مهندسان داده فناوریهایی را راهاندازی میکنند تا همه واحدهای تجاری بتوانند محصولات داده خود را پردازش و ذخیره کنند. بنابراین، زیرساخت سلف سرویس، تقسیم مسئولیت را امکانپذیر میکند. تیمهای مهندسی داده، فناوری را مدیریت میکنند در حالی که تیمهای تجاری، دادهها را مدیریت میکنند.
حاکمیت داده فدرال
معماریهای شبکه داده، امنیت را به عنوان یک مسئولیت مشترک در داخل سازمان پیادهسازی میکنند. رهبری استانداردهای و سیاستهای جهانی را تعیین میکند که میتوانید در همه دامنهها اعمال کنید. در عین حال، معماری داده غیرمتمرکز، درجه بالایی از خودمختاری را در استانداردهای و اجرای سیاست در داخل دامنه فراهم میکند.
چگونه میتوانید یک شبکه داده را در سازمان خود بسازید؟
شبکه داده یک مفهوم نوظهور است که فقط پس از همهگیری، مورد توجه قرار گرفت. سازمانها در حال آزمایش فناوریهای مختلف هستند زیرا تلاش میکنند یک شبکه داده را برای موارد استفاده خاص بسازند. با این حال، پذیرش سازمانی شبکه داده سازمانی هنوز نادر است. هیچ مسیر مشخصی برای پیادهسازی شبکه داده وجود ندارد، اما در اینجا چند پیشنهاد وجود دارد.
دادههای موجود خود را تجزیه و تحلیل کنید
قبل از ساخت یک شبکه داده، باید دادههای موجود خود را فهرست کنید و حوزههای تجاری مرتبط را شناسایی کنید. پیروی از قوانین هماهنگسازی خاص، کلید همبستگی مؤثر دادهها بین دامنهها است. برای مثال، باید استانداردهای جهانی را برای قالببندی نوع فیلد، فیلدهای فراداده و قراردادهای آدرس محصول داده تعریف کنید.
سیاستهای حاکمیت داده جهانی را پیادهسازی کنید
حاکمیت داده فدرال مستلزم آن است که تیم فناوری اطلاعات مرکزی شما استانداردهای گزارشدهی، احراز هویت و انطباق را برای شبکه داده شناسایی کند. همچنین میتوانید کنترلهای دسترسی دقیق را تعریف کنید که صاحبان محصول داده هنگام میزبانی مجموعه دادههای خود اعمال میکنند. در حالی که تولیدکنندگان داده، کیفیت داده را تعریف و اندازهگیری میکنند، سیاستهای حاکمتی مرکزی به راهنمایی تصمیمات آنها کمک میکنند.
پلتفرم داده سلف سرویس خود را بسازید
پلتفرم داده سلف سرویس شما باید عمومی باشد، به طوری که هر کسی بتواند محصولات داده دامنه جدید را روی آن بسازد. همچنین باید پیچیدگی فنی زیربنایی را پنهان کند و اجزای زیرساختی را به صورت سلف سرویس ارائه دهد. در اینجا برخی از قابلیتهای موجود است:
- رمزگذاری دادهها
- طرح محصول داده
- حاکمیت و کنترل دسترسی
- کشف محصول داده، مانند ثبت کاتالوگ یا انتشار
- ثبت و نظارت بر محصول داده
- ذخیرهسازی برای بهبود عملکرد
همچنین میتوانید خودکارسازی، مانند پیکربندیها و اسکریپتها را برای کاهش زمان سرب برای ایجاد محصولات داده بسازید.
فناوریهای مناسب را انتخاب کنید
سیستمهای ذخیرهسازی سنتی موجود شما، مانند انبارهای داده و دریاچههای داده، میتوانند شبکه داده شما را نیز تغذیه کنند. شما فقط باید نحوه استفاده آنها را از سیستمهای یکپارچه به مخازن داده غیرمتمرکز متعدد تغییر دهید. یک شبکه داده همچنین پذیرش پلتفرمهای ابری و فناوریهای متمرکز بر ابر را امکانپذیر میکند. زیرساخت ابری هزینههای عملیاتی و تلاش مورد نیاز برای ساخت یک شبکه داده را کاهش میدهد. شما باید یک ارائهدهنده ابر با خدمات مدیریت داده غنی برای پشتیبانی از معماری شبکه داده خود انتخاب کنید. همچنین باید الزامات ادغام داده با سیستمهای قدیمی را در نظر بگیرید.
یک تغییر فرهنگی در سطح سازمان را آغاز کنید
امروزه ما فناوریها و ابزارهای لازم برای ساخت آسان یک شبکه داده با محصولات داده متعدد را داریم. تغییر به سمت اتحاد پردازش دستهای و جریانی اکنون با ابزارهایی مانند Amazon EMR آسانتر از همیشه است. با این حال، مقیاسبندی شبکه داده شما فراتر از پروژههای کوچک، مستلزم تغییر پارادایم از معماریهای داده متمرکز گذشته است. این امر به زبان جدیدی نیاز دارد که بر موارد زیر تأکید دارد:
- کشف و استفاده از دادهها به جای استخراج و بارگذاری
- پردازش دادههای بیدرنگ به جای پردازش دستهای با حجم بالا در تاریخ بعدی
- مالکیت توزیعشده محصول داده به جای معماری پلتفرم داده مرکزی
در حال حاضر، فناوری داده اغلب تصمیمات معماری را هدایت میکند. یک شبکه داده این جریان را معکوس میکند و محصولات داده دامنه را در مرکز قرار میدهد تا آنها به جای آن تصمیمات فناوری را هدایت کنند.
تفاوت بین شبکه داده و دریاچه داده چیست؟
دریاچه داده مخزنی است که در آن میتوانید تمام دادههای ساختاریافته و بدون ساختار خود را بدون هیچ پیش پردازشی و در هر مقیاسی ذخیره کنید. در پلتفرمهای داده متمرکز، دریاچه داده فناوری اصلی برای ذخیره دادهها از همه منابع ممکن است. یک شبکه داده یک پارادایم مدیریت داده است که از دریاچههای داده به روشی متفاوت استفاده میکند. دریاچه داده دیگر محور کل معماری نیست. در عوض، میتوانید از آن برای پیادهسازی محصولات داده یا به عنوان بخشی از زیرساخت سلف سرویس استفاده کنید.
تفاوت بین شبکه داده و ساختار داده چیست؟
ساختار داده یکی دیگر از معماریهای مدرن است که از یادگیری ماشین و خودکارسازی برای ادغام سرتاسر محیطهای ابری مختلف و خطوط لوله داده استفاده میکند. میتوانید آن را به عنوان یک لایه فناوری روی زیرساخت زیربنایی خود در نظر بگیرید که به طور منسجم دادهها را ادغام و به کاربران غیر فنی ارائه میدهد. برای مثال، تصمیمگیرندگان از ساختار داده برای مشاهده همه دادههای خود در یک مکان و ایجاد ارتباط بین مجموعه دادههای ناهمگون استفاده میکنند. هر دو ساختار داده و شبکه داده اهداف مشابهی دارند – مدیریت داده متحد و مؤثر. برای مثال، فرض کنید شما یک دریاچه داده مرکزی دارید و از خدمات AWS برای جذب داده استفاده میکنید. در عین حال، شما زیرساخت قدیمی برای تبدیل دادهها دارید. ساختار داده شما هر دو سیستم را ادغام میکند و یک نمای واحد بدون تغییر خط لوله موجود ارائه میدهد.بنابراین، یک ساختار داده از فناوری برای کار با زیرساخت موجود شما استفاده میکند. از سوی دیگر، پیادهسازی شبکه داده مستلزم تغییر زیرساخت زیربنایی خود است. شما باید مدل فشار و جذب مدیریت داده خود را به یک مدل ارائه و دریافت در سراسر حوزههای تجاری خود تغییر دهید.