فهرست مطالب

فناوري داده‌هاي فشرده براي محاسبات كلود cloud

آنتوني- ام- ميدلتون

1-5- مقدمه

- تكنولوژي‌هاي داده فشرده براي محاسبات كلود

- تطابق داده‌ها

- شكاف داده‌ها

مشخه‌هايي از سيستم‌هاي محاسباتي داده‌هاي فشرده

روش پردازش

مشخصه‌هاي مشترك

محاسبات شبكه

قابليت اجرا محاسبات كلود

معماري‌هاي سيستم داده‌هاي فشرده

Map Reduce گوگل

هادوپ Hadoop

Lexis Nexis Hpcc

ECL

مقايسه هادوپ و HPCC

ارزايبي مقايسه‌ايي دسته بندي ترابايت

Pig و ECL

 

 

فصل 5: فناوري داده‌هاي فشرده براي محاسبات كلود cloud

آنتوني- ام- ميدلتون

1-5- مقدمه

به عنوان يك نتيجه از انفجار اطلاعات مداوم با بسياري از سازمان‌ها غرق در داده‌ها شدند و در نتيجه شكاف داده يا ناتواني براي پردازش اين اطلاعات و استفاده از آن به طور موثر با يك سرعت مهيج در حال افزايش است. محاسبه داده متمركز يك مثال محاسباتي جديد را معرفي مي‌نمايد (كوزس، اندرسون، البرت، گورتون، گراسيو 2009) كه مي‌توان شكاف داده‌ها را با استفاده از پردازش موازي قابل مقايسه مورد خطاب قرار دهد و به دولت و سازمان‌هاي تجاري و محيط‌هاي تحقيق اجازه دهد تا مقادير عظيمي از داده‌ها را پيش ببرد و نظرات قبلي كاربردهاي اجرايي غير عملي و اجرا نشدني است. محاسبات كلود فرصتي براي سازماندهي كردن با منابع دروني محدود شده ارائه مي‌دهد تا كاربردها محاسباتي داده‌ها فشرده مقياس بالا در يك حالت اثربخش اجرا شود. درگيري‌هاي اساسي از محاسبات داده فشرده در حال مديريت و پيش برد حجم داده ها در حال رشد به طور تشريحي هستند، به طور چشم‌گير چرخه‌ها تحليلي داده هاي وابسته در حال كاهش هستند كه كاربردهاي به موقع و عملي را و الگوريتم‌هاي جديد در حال توسعه را پشتيباني نمايند كه مي‌توانند مقياس‌گذاري كند تا مقدار عظيمي از داده‌ها را جست‌و جو و پيش ببرد.محققين در Lexis Nexis معقتند كه جواب به اين درگير‌ها مهاري نرم‌افزار و سخت افزار سيستم‌ها كامپيوتري جامع است كه براي پردازش موازي از كاربردها محاسباتي داده‌ها فشرده طراحي شده است. اين فصل درگيري‌هايي از محاسبات داده‌هاي فشرده را كاوش مي‌كند و يك مقايسه جامع از معماري‌هاي سيستم موجود از نظر تجاري ارائه مي‌دهد كه شامل: ابر كامپيوتر تحليلي داده هاي Lexis Nexis (DAS) مي‌شود كه به گروه محاسباتي كارايي بالاي Lexis Nexis (HPCC) و Hadoop، يك منشأ باز انجام براساس معماري ميكريديوس گوگل برمي‌گردد. محاسبات كلود بر توانايي تأكيد مي‌كند تا منابع محاسباتي را چنان يد بدون يك سرمايه‌گذاري صادقانه جامع در پيدايش نياز است و هزينه هاي عملكرد مداوم همراه شده مقياس گذاري نمايد. (ناپر و بينيتنسي و 2009، ريس 2009، ولت والنسن پتر، 2009) خدمات محاسباتي كلود به طور معمولي به 3 مدل طبقه‌بندي مي‌شود:

(1) پيدايش (زير سازه) به عنوان يك خدمت (Iaas) خدمت شامل تهيه‌ي نرم افزار و سخت افزار براي پردازش،‌ذخيره سازي داده ها، شبكه‌ها و هر زير ساخت مورد نياز براي پيشرفت سيستم‌هاي در حال اجرا مي‌شود و كاربردهايي كه به طور معمول در يك مركز داده توسط كاربر مديريت مي‌شود نيازمند است. (2) پايگاهي به عنوان يك سرويس (Paas).سرويس شامل: زبانها و ابزار برنامه‌ريزي فشرده مي‌شود و يك پايگاه تحول كاربردي كه توسط ارائه دهنده سرويس گروه بندي شده تا پيشرفت و تحويل كاربردي كه توسط ارائه دهنده سرويس گروه‌بندي شده تا پيشرفت و تحويل كاربردهاي كار بر نهايي را پشتيباني نمايد و (3) نرم‌‌افزاري به عنوان يك سرويس (Saas). كاربردهاي نرم افزاري گروه‌بندي شده توسط ارائه‌دهنده سرويس براي جايگزيني كار به نهايي ارائه و مديريت مي‌شود تا اين كاربردها را با كاربردهاي براساس وب به كار اندازد (لنك، كليفر، نيميس، تاي و سندهولم 2009، مل و گرانس، 2009، واكيورو، رودرو، سرينفر، كاكرس و ليندنر، 2009، ويگا، 2009) كاربردهاي محاسباتي داده هاي فشرده با استفاده از مدل aas (اجراي شوند و به تهيه گروه‌هاي قابل مقايسه از پرداززش گره، براي محاسبات موازي داده‌ها اجازه‌ دهد تا از معماري نرم افزاري متنوع استفاده مايد يا مدل Paas يك پردازش كامل را ارائه دهد و محيط پيشرفت كاربردي شامل هر دو جزء پايگاه و زير ساخت‌هايي از قبيل برنامه ريزي زبانها و افزارهاي گسترش كاربردها مي شود. محاسبات داده‌هاي فشرده مي‌تواند يك كلود عمومي اجرا شود پايگاه و زير ساخت كلود به طور علوم از يك ارائه دهنده سرويس كلود موجود است از قبيل كلود محاسباتي الاستيك آمازون (EC2) و ريديوس مپ الاستيك يا به عنوان كلود خصوصي (پايگاه و زير ساخت كلود منحصراً براي يك سازمان خاص اجرا مي‌شود و ممكن است به طور دروني يا ظاهري براي سازمان وجود داشته باشد) (مل و گرانس، 2009). اجراهاي aas و Paas براي محاسبات فشرده‌ي داده‌ها مي‌تواند به طور ديناميك در محيط‌ها پردازش مجازي شده براساس زمان بندي كاربرد و نياز‌منديها پردازش داده ما تهيه شوند يا مي‌توانند به عنوان پيكر بندي دسترسي پذيري بالاي پايدار اجرا شود. يك پيكربندي پايدار مزيت اجرايي دارد از آنجا كه آن از زير ساخت ما اختصاصي به جاي سيرورهاي مجازي شده مشترك با ديگر كاربردها استفاده مي‌كنند.

1-1-5- كاربردهاي محاسباتي فشرده‌ي داده ها: روش‌هاي پردازش موازي مي‌تواند به طور كلي به عنوان يا محاسباتي فشرده يا داده‌هاي فشرده طبقه بندي شوند (اسكليكرن و تاليا 1998 و گورتن و گرينفيلد، اسزالاي و ويليامز 2008، جان استون، 1998) محاسبات فشرده قبلاً استفاده شد تا برنامه‌هاي كاربردي را كه كران محاسباتي هستند توصيف نمايد چنين كاربردهايي بسياري از زمان اجرايشان را براي نيازها محاسباتي در مقابل I⁄O وقف مي‌نمايند و به طور معمول به حجم‌هايي كوچكي از داده‌ها نياز دارند. پردازش موازي از كاربردهاي محاسبات فشرده و به طور معمول شامل الگوريتم‌ها اختصاصي در حال موازي شدن با يك فرايند كاربردي و تجزيه فرآيندي كاربرد جامع درون كارها، جدا مي‌شود كه مي‌تواند پس بر روي پايگاه محاسباتي مناسب به طور موازي اجرا شود تا كارايي بالاتر جامعه را نسبت به پردازش سيري اجرا نمايد. در كابردهاي محاسباتي فشرده عملكرد ما چند گانه به طور همزمان با هر آدرس دهي عمليات يك مسقت خاص از مشكل انجام مي‌شود. اين اغلب به عنوان تطابق نقشي يا تطابق كنترل به كار مي‌رود. (Abbas,2004).

5- تكنولوژي‌هاي داده فشرده براي محاسبات كلود

داده‌هاي فشرده استفاده مي شود تا كاربردهايي را كه گروه I⁄O يا با يك نياز براي پردازش حجم‌هاي بزرگ از داده هستند را توصيف نمايد (گورتون و همكاران 2008، ژان استون 1998، گوخاله و كوهن و يو و سيلر، 2008). چنين كاربردهايي بسياري از زمان پردازش را به I⁄O و حركت داده‌ها اختصاص مي‌دهد. پردازش موازي از كاربردهاي داده فشرده به طور معمول شامل قسمت بندي كردن يا بخش پذيري كردن داده ها درون بخش‌هاي چندگانه مي‌شود كه مي‌تواند به طور مستقل با استفاده از همان برنامه كاربردي قابل اجرا و موازي بروي يك پايگاه محاسباتي مناسب پرداش شود و پس دوباره نتايج توليد شده از داده‌هاي خروجي كامل شده از برانمه اصلي به زبمان سمبليك تبديل مي‌كند. (نيلند، پرنيس، گلوبرگ، ميلس، 2000).

توزيع انبوه بزرگتر از داده، بسيار مفيد در پرازش موازي از داده‌ها وجود دارد. گورتون و همكاران (2008) بيان كردند كه پردازش داده انبوه به طور معمول بر مقياس خطي بر طبق سايز داده نيازمند است و بسيار متمايل به موازي شدن مستقيم هستند. درگيري‌هاي اساسي براي محاسبه داده‌هاي فشرده بر طبق گورتون و همكاران (2008) در حال مديريت و پيشبرد حجم داده هاي در حال رشد به طور تشريحي هستند و به طور چشم‌گير چرخه‌هاي تحليلي داده هاي وابسته را كاهش مي‌دهند تا كاربردهاي به موقع و عملي را و نيز الگوريتم‌هاي جديد در حال توسعه را پشتيباني نمايد كه مي‌تواند مقياس گذاري نمايد تا مقادير عظيمي از داده‌ها را جستجو و پيش ببرد. محاسبات كلود مي‌تواند اين درگيري‌ها را با اين قابليت مورد خطاب قرار دهد كه منابع محاسباتي جديد را تهيه و يا منابع موجود را گسترش مي‌هند تا قابليت‌هاي محاسباتي موازي را ارائه دهد كه مقياس حجم‌هاي داده در حال رشد را هماهنگ مي نمايد.(گروس من، 2009).

 

شما هم می توانید در مورد این فایل نظر دهید.