انبار داده چیست و مدل داده چه نقشی در آن دارد؟

انبار داده چیست؟

انبار داده چیست؟ انبار داده یا data warehouse سیستمی است که داده‌های ساخت‌یافته را برای تحلیل و گزارش‌گیری ذخیره می‌کند. داده‌ها قبل از ورود به انبار داده پردازش می‌شوند تا کیفیت و یکپارچگی آن‌ها حفظ شود.

در datawarehouse تمرکز اصلی بر عملکرد بالا در کوئری‌های تحلیلی است. به همین دلیل، ساختار داده در آن بسیار مهم است.

مدل داده چیست؟

در پاسخ به این سؤال که مدل داده چیست، باید گفت مدل داده یا دیتا مدل نحوه سازمان‌دهی داده‌ها و ارتباط بین آن‌ها را مشخص می‌کند. Data Model قلب معماری انبار داده است.

یکی از رایج‌ترین دیتا مدل‌ها، مدل ستاره‌ای است که از جداول فکت و دایمنشن تشکیل می‌شود.

فکت چیست و Fact Table چه کاربردی دارد؟

فکت چیست؟ فکت‌ها داده‌های عددی و قابل اندازه‌گیری هستند. اطلاعاتی مانند مبلغ فروش یا تعداد سفارش‌ها در Fact Table ذخیره می‌شوند. Fact Table معمولاً شامل کلیدهایی برای ارتباط با جداول دایمنشن است.

دایمنشن چیست و Dimension Table چیست؟

دایمنشن چیست؟ دایمنشن‌ها اطلاعات توصیفی هستند که به فکت‌ها معنا می‌دهند. داده‌هایی مانند زمان، مشتری یا محصول در Dimension Table قرار می‌گیرند. ترکیب Fact Table و Dimension Table پایه اصلی تحلیل در انبار داده است.

چرا انبار داده پاسخگوی نیازهای جدید نبود؟

با وجود قدرت بالای انبار داده، این معماری محدودیت‌هایی دارد. هر تغییری در منبع داده نیازمند تغییر در Data Model است. این موضوع باعث کاهش سرعت توسعه می‌شود.

همچنین هزینه پیاده‌سازی و نگهداری data warehouse بالا است. انبار داده برای داده‌های بدون ساختار مناسب نیست. این محدودیت‌ها باعث شد سازمان‌ها به سمت راهکارهای انعطاف‌پذیرتر حرکت کنند و به این سؤال برسند که دریاچه داده چیست.

دریاچه داده چیست و چه ویژگی‌هایی دارد؟

دریاچه داده چیست؟

دریاچه داده چیست یا data lake معماری‌ای است که داده‌ها را بدون تغییر و در قالب خام ذخیره می‌کند. در datalake، داده‌ها می‌توانند ساخت‌یافته یا بدون ساختار باشند.

این معماری برای پروژه‌های علم داده و یادگیری ماشین بسیار مناسب است، زیرا محدودیتی در نوع داده وجود ندارد.

مزایا و چالش‌های datalake

دریاچه داده هزینه ذخیره‌سازی پایینی دارد و بسیار مقیاس‌پذیر است. اما نبود ساختار مشخص و حاکمیت داده می‌تواند باعث کاهش کیفیت تحلیل شود. به همین دلیل، بسیاری از سازمان‌ها متوجه شدند که datalake به‌تنهایی کافی نیست.

چرا به معماری Lakehouse نیاز پیدا کردیم؟

ضعف‌های دریاچه داده باعث شد سازمان‌ها دوباره به ساختار تحلیلی فکر کنند. نبود مفاهیمی مانند Fact Table و Dimension Table در datalake، تحلیل‌های BI را دشوار می‌کرد.

در این نقطه، ایده ترکیب دریاچه داده و انبار داده شکل گرفت. سازمان‌ها به معماری‌ای نیاز داشتند که هم انعطاف data lake را داشته باشد و هم قدرت تحلیلی data warehouse را. پاسخ این نیاز، Lakehouse بود.

Lakehouse چیست و چگونه کار می‌کند؟

Lakehouse چیست؟

حال می‌توانیم دقیق بگوییم Lakehouse چیست. Lakehouse معماری‌ای است که قابلیت‌های انبار داده و دریاچه داده را در یک پلتفرم واحد ارائه می‌دهد. به بیان ساده، data lakehouse چیست یعنی دریاچه داده‌ای که امکانات تحلیلی انبار داده را دارد.

در Lakehouse، داده‌ها یک‌بار ذخیره می‌شوند اما برای اهداف مختلف قابل استفاده هستند. هم علم داده و هم BI از یک منبع مشترک استفاده می‌کنند.

Lakehouse چگونه ضعف‌ها را جبران می‌کند؟

Lakehouse امکان تعریف دیتا مدل و Data Model را فراهم می‌کند، در حالی که انعطاف‌پذیری datalake را حفظ می‌کند. پشتیبانی از ساختارهایی مانند Fact Table و Dimension Table باعث می‌شود تحلیل‌های کلاسیک نیز به‌راحتی انجام شوند.

به همین دلیل، پاسخ به سؤال Lakehouse چیست برابر است با یک معماری یکپارچه، مقیاس‌پذیر و آینده‌محور.