شکست‌های مدل‌سازی داده، سازمان‌ها را با پیامدهای فاجعه‌بار روبه‌رو می‌کند: پیاده‌سازی‌های ناموفق سالانه به طور متوسط ۱۴ میلیون دلار به ازای هر سازمان هزینه دارند، در حالی که کیفیت پایین داده به‌تنهایی ۲۰٪ از درآمد را می‌بلعد. زمانی‌که تیم‌های داده مدل‌های SQL ضعیف طراحی‌شده را به ارث می‌برند مدل‌هایی که بیش از ۲۴ ساعت برای […]
متخصصان داده امروزه با انتخابی غیرممکن روبرو هستند هنگام مدیریت اطلاعات سازمانی: ادامه مبارزه با سیستم‌های پایگاه داده گران‌قیمت و غیرانعطاف‌پذیر که نیاز به تخصص تخصصی دارند، یا پذیرش محدودیت‌های فرمت‌های ذخیره‌سازی ساده که فاقد پیچیدگی لازم برای عملیات‌های داده مدرن هستند. این معضل به ویژه حاد می‌شود زمانی که با مسائل افزونگی داده سروکار […]
تیم‌های داده اغلب مقدار قابل‌توجهی از زمان خود را صرف کار با پرس‌وجوهای پیچیده‌ی SQL می‌کنند که می‌توانند صدها خط را دربر گیرند، که این امر اشکال‌زدایی را دشوار کرده و همکاری را مختل می‌سازد. این چالش زمانی حتی حادتر می‌شود که با ساختارهای داده‌ای سلسله‌مراتبی یا تبدیل‌های چندمرحله‌ای سروکار داریم که نیاز دارند نتایج […]
بهترین انتخاب بین dbt و Airflow انتخاب معماری بنیادی میان dbt و Apache Airflow فراتر از انتخاب یک ابزار ساده است—این انتخاب تعیین می‌کند که آیا زیرساخت داده‌ی شما به یک مزیت رقابتی تبدیل می‌شود یا به یک گلوگاه که چابکی کسب‌وکار و پتانسیل نوآوری را محدود می‌کند.dbt مهندسی تحلیل‌گر (analytics engineering) را با تبدیل […]
هر چند وقت یک‌بار باید پایپ‌لاین ETL اجرا می‌شوند: دسته‌ای (Batch) یا بلادرنگ (Real-Time)؟ انتخاب تعداد دفعات اجرای یک پایپ‌لاین پردازش ETL یعنی ایجاد توازن بین تازگی داده در برابر هزینه محاسباتی و ریسک عملیاتی. حتی تیم‌های با بودجه‌ی خوب نیز هر هفته با این مصالحه روبرو می‌شوند. همگام‌سازی مداوم همیشه پاسخ نیست. هر اجرای […]
بررسی اجمالی تقاضا برای مهندسان داده به‌سرعت در حال افزایش است. بر اساس گزارش مشاغل نوظهور لینکدین، نرخ رشد استخدام برای موقعیت‌های مهندسی داده بین سال‌های ۲۰۱۵ تا ۲۰۲۰ نزدیک به ۳۵ درصد افزایش یافته است. کسب گواهینامه مهندسی داده می‌تواند نقش مهمی در به‌دست آوردن شغل ایده‌آل شما ایفا کند. گواهینامه‌های مهندسی داده مهارت‌های […]
آپاچی فلینک چیست؟ آپاچی فلینک یک موتور توزیع‌شده و متن‌باز برای پردازش حالت‌دار روی مجموعه‌های داده نامحدود (جریان‌ها) و محدود (دسته‌ها) است. برنامه‌های پردازش جریان به گونه‌ای طراحی شده‌اند که به طور مداوم، با حداقل زمان توقف، اجرا شوند و داده‌ها را به محض ورود پردازش کنند. آپاچی فلینک برای پردازش با تأخیر کم، انجام […]
