+2 امتیاز
قبل در برنامه نویسی توسط (1.3هزار امتیاز)
ویرایش شده قبل توسط

می خواستم بدونم Hadoop چیست؟ من در ویکی پدیا خوندم که Distributed File System است. Hadoop برای چه کارهایی کاربرد دارد؟

آیا از Hadoop بجای دیتابیس های relational استفاده می شود؟

در کل در مورد کاربرد Hadoop سوال داشتم.

2 پاسخ

+4 امتیاز
قبل توسط (136 امتیاز)
انتخاب شده قبل توسط
 
بهترین پاسخ
هدوپ چيست؟
هدوپ يك پروژه مبتني بر برنامه نويسي متن باز است كه توسط سازمان نرم افزاري آپاچي ايجاد شده است. ايده اوليه هدوپ اولين بار در شركت گوگل رقم خورد اما خيلي ها باور به پياده سازي اين سيستم نداشتن و در چند سال اول اين ايده تنها بصورت تئوري مطرح بود. هدوپ امكان ذخيره سازي اطلاعات را در چندين سرور ( پي سي) با هزينه اي پايين فراهم مي آورد.
كلودرا شركتي است كه بصورت فعال در اين زمينه فعال مي باشد و بسته نرم افزاري بي نظير هدوپ را ايجاد كرده و آن را انتشار داده و پشتيباني مي كند.

تكنولوژي هدوپ از دو بخش كلي اچ دي اف اس يا سيستم فايل انتشاري هدوپ (Hadoop Distribition File System) و همچنين تكنيك با كيفيت پردازي اطلاعات به نام مپ ريديوس (MapReduce) استفاده مي كند.

ساختار كلي اطلاعاتي در هدوپ بدينگونه مي باشد كه اطلاعات توسط سيستم هدوپ شكسته شده و به چندين سرور فرستاده مي شود.سرورها بسته به نوع اطلاعات كه ممكن است پردازشي يا ذخيره اي باشد اطلاعات را پردازش يا ذخيره سازي مي كنند. در هنگام در خواست اطلاعات مجدد سيستم اطلاعات را از سرور هاي مختلف گرفته ، مونتاژ كرده و در خروجي نمايش مي دهد.
خوبي اين سيستم تهيه نسخه پشتيبان از اطلاعات بصورت خودكار است. هر تكه از اطلاعات در چندين قسمت ( سرور ) ذخيره مي شود و در صورت آسيب ديدن يكي از سرورها ، سرور ديگر قادر است مسؤوليت را بر عهده گرفته و اطلاعات مورد نظر را جايگزين كند.
براي پياده سازي هدوپ، كمترين تعداد سرور چند عدد است؟
هرچند پياده سازي سيستم هدوپ بر روي يك تك سيستم كامپيوتري پيشنهاد نشده است اما نصب و راه اندازي آن تنها براي تست و كسب تجربه روي يك سيستم امكانپذير است. با توجه به اينكه در اين سيستم نياز به ايجاد نود-سرور هستيم لذا پيشنهاد مي كنم در صورتي كه مايل به راه اندازي سيستم ذخيره سازي هدوپ براي سازمان خود هستيد از چهار سيستم كامپيوتري ( يك سيستم مركزي و سه نود) استفاده كنيد.
چه شركت هايي نياز به نصب هدوپ دارند؟
سسیستم هدوپ در واقع برای ذخیره سازی و فراخوانی اطلاعات حجیم (در حد گیگابایت، ترابایت و یا حتی پتابایت) مورد استفاده قرار می گیرد. این اطلاعات می تواند شامل فایل و یا پردازش باشد. برای مثال چندی قبل شرکت یاهو که بزرگترین سیستم هدوپ را در اختیار دارد، موفق شد رقم ۲،۰۰۰،۰۰۰،۰۰۰،۰۰۰،۰۰۰ام عدد پی و چند رقم بعد و قبل آن را محاسبه کند !! جالب است بدانید که این عملیات که بر روی ۱۰۰۰ سرور صورت گرفته به مدت ۲۳ روز به طول انجامید، در حالی که اگر این عملیات را بر روی یک سیستم اجرا کنیم، حدود ۵۰۳ سال به طول خواهد انجامید !!

اکثر کمپانی های بزرگ دنیا از قبیل AOL،Facebook،Yahoo،IBM و ….. از این تکنولوژی استفاده می کنند. برای مثال شرکت یاهو با بیش از ۱۰۰،۰۰۰ هسته ی CPU در بیش از ۴۰،۰۰۰ سرور بزرگترین مجری سیستم هدوپ در دنیا محسوب می شود. بزرگترین کلاستر (Cluster) این شرکت شامل ۴۵۰۰ سرور می باشد که هر کدام دارای ۲ پردازشگر ۴ هسته ای، ۴ هارد دیسک ۱ ترابایتی و ۱۶ گیگابایت حافظه ی رم می باشند! برای مشاهده ی لیست کامل این شرکت ها به این لینک   http://wiki.apache.org/hadoop/PoweredBy مراجعه فرمایید.
سوال شده 10 سال قبل در کامپیوتر و اینترنت توسط (5 امتیاز)
ویرایش شده 10 سال قبل توسط
معماری فیسبوک چیه؟ دربارش توضیح بدین لطفا
+2 امتیاز
قبل توسط (1.3هزار امتیاز)
هدوپ یک نرم افزار کد باز (Open source) است که برای تقسیم بندی و توزیع فایل های متمرکز به کار می رود. هدوپ تحت لیسانس آپاچی (Apache) ارائه می شود و توسط جاوا برنامه نویسی شده است. امّا هدوپ چگونه به وجود آمد؟ شرکت گوگل در پی افزایش حجم تبادل اطلاعات، به دنبال راه حلّی برای افزایش سرعت و راندمان سرورهای خود بود که سیستم توزیع (Distribution) منحصر به فردی برای خود ابداع کرد به نام GFS که مخفف Google File System بود. در پی این موفقیت، انجمن توزیع Apache به فکر گسترش این تکنولوژی در سطح وسیع تری افتاد و سیستم هدوپ به وجود آمد.
هدوپ از دو بخش کلّی به نام Map Reduce و HDFS تشکیل شده است. این سیستم در واقع جهت اجرا بر روی چندین سرور طراحی شده است.

سیستم هدوپ در واقع برای ذخیره سازی و فراخوانی اطلاعات حجیم (در حد گیگابایت، ترابایت و یا حتی پتابایت) مورد استفاده قرار می گیرد. این اطلاعات می تواند شامل فایل و یا پردازش باشد. برای مثال چندی قبل شرکت یاهو که بزرگترین سیستم هدوپ را در اختیار دارد، موفق شد رقم ۲،۰۰۰،۰۰۰،۰۰۰،۰۰۰،۰۰۰ام عدد پی و چند رقم بعد و قبل آن را محاسبه کند !! جالب است بدانید که این عملیات که بر روی ۱۰۰۰ سرور صورت گرفته به مدت ۲۳ روز به طول انجامید، در حالی که اگر این عملیات را بر روی یک سیستم اجرا کنیم، حدود ۵۰۳ سال به طول خواهد انجامید !!
سوال شده 9 سال قبل در کامپیوتر و اینترنت توسط (0 امتیاز)
ویرایش شده 9 سال قبل توسط
چه ابزار های داده کاوی مبتنی بر hadoop وجود دارد؟

سوالات مشابه

+1 امتیاز
2 پاسخ 3.1هزار بازدید
0 امتیاز
0 پاسخ 345 بازدید
سوال شده 10 سال قبل در کامپیوتر و اینترنت توسط Milad (1.3هزار امتیاز)
0 امتیاز
1 پاسخ 1.2هزار بازدید
0 امتیاز
0 پاسخ 813 بازدید
+1 امتیاز
2 پاسخ 614 بازدید
+1 امتیاز
1 پاسخ 339 بازدید
...