آپاچی اسپارک یک سیستم پردازش توزیعشده منبعباز است که برای بارهای کاری دادههای بزرگ استفاده میشود. این سیستم از حافظه نهان در حافظه (in-memory caching) و اجرای بهینه پرسوجوها بهره میبرد تا پرسوجوهای تحلیلی سریع را برای دادههای با هر اندازهای فراهم کند. اسپارک رابطهای برنامهنویسی (API) را برای زبانهای جاوا، اسکالا، پایتون و R […]
دادههای ساختاریافته دادههایی هستند که دارای فرمت استاندارد برای دسترسی کارآمد، توسط نرمافزار و انسانها هستند. این دادهها معمولاً جدولی با ردیفها و ستونهایی هستند که ویژگیهای داده را به وضوح تعریف میکنند. رایانهها میتوانند به دلیل ماهیت کمی دادههای ساختاریافته، آنها را به طور موثر برای استخراج بینش پردازش کنند. به عنوان مثال، یک […]
پردازش دستهای روشی است که کامپیوترها برای انجام دورهای کارهای دادهای با حجم بالا و تکراری استفاده میکنند. برخی از وظایف پردازش داده، مانند پشتیبانگیری، فیلتر کردن و مرتبسازی، به دلیل مصرف بالای منابع محاسباتی و ناکارآمدی در اجرای تراکنشهای دادهای فردی، بهصورت دستهای پردازش میشوند. سیستمهای دادهای این وظایف را در دستهها، اغلب در […]
تحلیل عملیاتی چیست؟ تحلیل عملیاتی راهحلی است که با استفاده از چندین گزارش دادهای متفاوت، دیدی از سلامت سیستم شما ارائه میدهد. آن را مانند مراجعه به پزشک عمومی، دندانپزشک و متخصص قلب برای دریافت دیدی کامل از سلامت خود در نظر بگیرید. همه این سیستمهای مختلف (پزشکان) گزارشهای خود (یافتهها) را ترکیب میکنند تا […]
تشخیص ناهنجاری چیست؟ تشخیص ناهنجاری به بررسی نقاط داده خاص و شناسایی موارد نادر و مشکوک میپردازد، زیرا به نظر میرسد با الگوی رفتاری تثبیتشده متفاوت هستند. تشخیص ناهنجاری چیز جدیدی نیست، اما با افزایش دادهها، ردیابی دستی غیرعملی است. چرا تشخیص ناهنجاری مهم است؟ تشخیص ناهنجاری به ویژه در صنایعی مانند امور مالی، خردهفروشی […]
استخراج، تبدیل و بارگذاری (Extract Transform Load) چیست؟ استخراج، تبدیل و بارگذاری (ETL) فرآیند ترکیب دادهها از منابع مختلف در یک مخزن بزرگ و مرکزی به نام انبار داده است. ETL از مجموعهای از قوانین تجاری برای پاکسازی و سازماندهی دادههای خام و آمادهسازی آنها برای ذخیرهسازی، تحلیل داده و یادگیری ماشین (ML) استفاده میکند. […]
پایپلاین داده مجموعهای از مراحل پردازش برای آمادهسازی دادههای سازمانی برای تجزیه و تحلیل است. سازمانها حجم زیادی از دادهها را از منابع مختلف مانند برنامهها، دستگاههای اینترنت اشیا (IoT) و سایر کانالهای دیجیتال دارند. با این حال، دادههای خام بیفایده هستند؛ باید برای هوش تجاری جابجا، مرتب، فیلتر، تغییر فرمت و تجزیه و تحلیل […]
جستجوی سند چیست؟ جستجوی سند، جستجویی است که عمدتاً بر روی متن آزاد بدون ساختار (نه فقط اسناد) کار میکند. چه به دنبال یک صفحه وب باشید، چه محصولی را پیدا کنید یا با محتوای تنظیمشده کار کنید، از یک موتور جستجو برای انجام آن استفاده میکنید. به یک صفحه وب میروید و در کادر […]
یکپارچهسازی داده چیست؟ یکپارچهسازی داده فرآیند دستیابی به دسترسی و تحویل مداوم برای همه انواع داده در یک سازمان است. تمام بخشهای یک سازمان حجم زیادی از دادهها را با ساختارها، قالبها و کارکردهای مختلف جمعآوری میکنند. یکپارچهسازی داده شامل تکنیکهای معماری، ابزارها و روشهایی است که این دادههای ناهمگون را برای تجزیه و تحلیل […]
پردازش تحلیلی آنلاین چیست؟ پردازش تحلیلی آنلاین (OLAP) یک فناوری نرمافزاری است که میتوانید از آن برای تجزیه و تحلیل دادههای تجاری از دیدگاههای مختلف استفاده کنید. سازمانها دادهها را از منابع دادهای متعدد، مانند وبسایتها، برنامهها، کنتورهای هوشمند و سیستمهای داخلی جمعآوری و ذخیره میکنند. OLAP این دادهها را ترکیب و در دستهبندیهایی گروهبندی […]
