Hadoop چیست و برای چه کارهایی مناسب است؟

+2 رأی
میانگین بازدید روزانه 3.4910,794 بازدید

می خواستم بدونم Hadoop چیست؟ من در ویکی پدیا خوندم که Distributed File System است. Hadoop برای چه کارهایی کاربرد دارد؟

آیا از Hadoop بجای دیتابیس های relational استفاده می شود؟

در کل در مورد کاربرد Hadoop سوال داشتم.

سوال 8 سال قبل در تالار برنامه نویسی توسط sina-z (1,312 امتیاز)
ویرایش 8 سال قبل توسط Saeed Zarinfam

2 جواب

+4 رأی
 
بهترین جواب
هدوپ چيست؟
هدوپ يك پروژه مبتني بر برنامه نويسي متن باز است كه توسط سازمان نرم افزاري آپاچي ايجاد شده است. ايده اوليه هدوپ اولين بار در شركت گوگل رقم خورد اما خيلي ها باور به پياده سازي اين سيستم نداشتن و در چند سال اول اين ايده تنها بصورت تئوري مطرح بود. هدوپ امكان ذخيره سازي اطلاعات را در چندين سرور ( پي سي) با هزينه اي پايين فراهم مي آورد.
كلودرا شركتي است كه بصورت فعال در اين زمينه فعال مي باشد و بسته نرم افزاري بي نظير هدوپ را ايجاد كرده و آن را انتشار داده و پشتيباني مي كند.

تكنولوژي هدوپ از دو بخش كلي اچ دي اف اس يا سيستم فايل انتشاري هدوپ (Hadoop Distribition File System) و همچنين تكنيك با كيفيت پردازي اطلاعات به نام مپ ريديوس (MapReduce) استفاده مي كند.

ساختار كلي اطلاعاتي در هدوپ بدينگونه مي باشد كه اطلاعات توسط سيستم هدوپ شكسته شده و به چندين سرور فرستاده مي شود.سرورها بسته به نوع اطلاعات كه ممكن است پردازشي يا ذخيره اي باشد اطلاعات را پردازش يا ذخيره سازي مي كنند. در هنگام در خواست اطلاعات مجدد سيستم اطلاعات را از سرور هاي مختلف گرفته ، مونتاژ كرده و در خروجي نمايش مي دهد.
خوبي اين سيستم تهيه نسخه پشتيبان از اطلاعات بصورت خودكار است. هر تكه از اطلاعات در چندين قسمت ( سرور ) ذخيره مي شود و در صورت آسيب ديدن يكي از سرورها ، سرور ديگر قادر است مسؤوليت را بر عهده گرفته و اطلاعات مورد نظر را جايگزين كند.
براي پياده سازي هدوپ، كمترين تعداد سرور چند عدد است؟
هرچند پياده سازي سيستم هدوپ بر روي يك تك سيستم كامپيوتري پيشنهاد نشده است اما نصب و راه اندازي آن تنها براي تست و كسب تجربه روي يك سيستم امكانپذير است. با توجه به اينكه در اين سيستم نياز به ايجاد نود-سرور هستيم لذا پيشنهاد مي كنم در صورتي كه مايل به راه اندازي سيستم ذخيره سازي هدوپ براي سازمان خود هستيد از چهار سيستم كامپيوتري ( يك سيستم مركزي و سه نود) استفاده كنيد.
چه شركت هايي نياز به نصب هدوپ دارند؟
سسیستم هدوپ در واقع برای ذخیره سازی و فراخوانی اطلاعات حجیم (در حد گیگابایت، ترابایت و یا حتی پتابایت) مورد استفاده قرار می گیرد. این اطلاعات می تواند شامل فایل و یا پردازش باشد. برای مثال چندی قبل شرکت یاهو که بزرگترین سیستم هدوپ را در اختیار دارد، موفق شد رقم ۲،۰۰۰،۰۰۰،۰۰۰،۰۰۰،۰۰۰ام عدد پی و چند رقم بعد و قبل آن را محاسبه کند !! جالب است بدانید که این عملیات که بر روی ۱۰۰۰ سرور صورت گرفته به مدت ۲۳ روز به طول انجامید، در حالی که اگر این عملیات را بر روی یک سیستم اجرا کنیم، حدود ۵۰۳ سال به طول خواهد انجامید !!

اکثر کمپانی های بزرگ دنیا از قبیل AOL،Facebook،Yahoo،IBM و ….. از این تکنولوژی استفاده می کنند. برای مثال شرکت یاهو با بیش از ۱۰۰،۰۰۰ هسته ی CPU در بیش از ۴۰،۰۰۰ سرور بزرگترین مجری سیستم هدوپ در دنیا محسوب می شود. بزرگترین کلاستر (Cluster) این شرکت شامل ۴۵۰۰ سرور می باشد که هر کدام دارای ۲ پردازشگر ۴ هسته ای، ۴ هارد دیسک ۱ ترابایتی و ۱۶ گیگابایت حافظه ی رم می باشند! برای مشاهده ی لیست کامل این شرکت ها به این لینک   http://wiki.apache.org/hadoop/PoweredBy مراجعه فرمایید.
جواب 8 سال قبل توسط vadipour (136 امتیاز)
انتخاب شده در 8 سال قبل توسط sina-z
+2 رأی
هدوپ یک نرم افزار کد باز (Open source) است که برای تقسیم بندی و توزیع فایل های متمرکز به کار می رود. هدوپ تحت لیسانس آپاچی (Apache) ارائه می شود و توسط جاوا برنامه نویسی شده است. امّا هدوپ چگونه به وجود آمد؟ شرکت گوگل در پی افزایش حجم تبادل اطلاعات، به دنبال راه حلّی برای افزایش سرعت و راندمان سرورهای خود بود که سیستم توزیع (Distribution) منحصر به فردی برای خود ابداع کرد به نام GFS که مخفف Google File System بود. در پی این موفقیت، انجمن توزیع Apache به فکر گسترش این تکنولوژی در سطح وسیع تری افتاد و سیستم هدوپ به وجود آمد.
هدوپ از دو بخش کلّی به نام Map Reduce و HDFS تشکیل شده است. این سیستم در واقع جهت اجرا بر روی چندین سرور طراحی شده است.

سیستم هدوپ در واقع برای ذخیره سازی و فراخوانی اطلاعات حجیم (در حد گیگابایت، ترابایت و یا حتی پتابایت) مورد استفاده قرار می گیرد. این اطلاعات می تواند شامل فایل و یا پردازش باشد. برای مثال چندی قبل شرکت یاهو که بزرگترین سیستم هدوپ را در اختیار دارد، موفق شد رقم ۲،۰۰۰،۰۰۰،۰۰۰،۰۰۰،۰۰۰ام عدد پی و چند رقم بعد و قبل آن را محاسبه کند !! جالب است بدانید که این عملیات که بر روی ۱۰۰۰ سرور صورت گرفته به مدت ۲۳ روز به طول انجامید، در حالی که اگر این عملیات را بر روی یک سیستم اجرا کنیم، حدود ۵۰۳ سال به طول خواهد انجامید !!
جواب 8 سال قبل توسط Milad (1,298 امتیاز)

سوال های مشابه

+1 رأی
2 جواب میانگین بازدید روزانه 0.752,207 بازدید
0 رأی
0 جواب میانگین بازدید روزانه 0.07195 بازدید
سوال 8 سال قبل در تالار کامپیوتر و اینترنت توسط Milad (1,298 امتیاز)
0 رأی
1 جواب میانگین بازدید روزانه 0.33932 بازدید
0 رأی
0 جواب میانگین بازدید روزانه 0.26641 بازدید
+1 رأی
2 جواب میانگین بازدید روزانه 0.29280 بازدید
0 رأی
1 جواب میانگین بازدید روزانه 0.51741 بازدید
+1 رأی
1 جواب میانگین بازدید روزانه 0.11192 بازدید
0 رأی
1 جواب میانگین بازدید روزانه 0.21409 بازدید
کانال تلگرام جواب یاب
...