چرا ETL سنتی در محیطهای Serverless مشکل دارد؟ پایپلاینهای ETL سنتی و ابزارهای ETL برای سرورهای ثابت و همیشه-روشن طراحی شدهاند؛ جایی که میتوانستید حافظه، دیسک و طول زمان اجرای برنامه را کنترل کنید. مرحله Transform روی سختافزار اختصاصی و قبل از رسیدن داده به Data Warehouse انجام میشود که باعث کوپلینگ شدید بین ظرفیت […]
چه زمانی واقعاً منشع و اصالت داده (Data Lineage) اهمیت دارد؟ شما به ندرت به Data Lineage فکر میکنید تا وقتی چیزی خراب شود. یک رکورد بد میتواند در داشبوردهای شما موج ایجاد کند، همبستگیهای جعلی بسازد که تصمیمگیرندگان را گمراه کند و پیامهای مضطرب «از کجا آمد؟» بهوجود آورد. دیباگ و تحلیل ریشه علت: […]
