web crawler در جاوا

+1 رأی
میانگین بازدید روزانه 0.24683 بازدید

من میخوام یک وب کرولر با جاوا بنویسم. اولش باید یک دانلودر بنویسم که یه صفحه با تمام لینک های درونش بنویسم.من تونستم کد دانلود یه صفحه رو بنویسم ولی نمیدونم چطوری باید لینک های داخلشو دانلود و در یک دایرکتوری ذخیرش کنم. اگه کسی بتونه کمکم کنه ممنون میشم.

سوال 7 سال قبل در تالار برنامه نویسی توسط morteza (20 امتیاز)
ویرایش 1 هفته قبل توسط moderator
سلام. خب الان تونستید بنویسید؟

1 جواب

+2 رأی
 
بهترین جواب

1- چند پروژه Web Crawler اوپن سورس پیاده سازی شده به زبان جاوا وجود داره که می تونید ازشون استفاده کنید (مانند Crawler4j یا Apache Nutch).

2- کتابخانه ای با نام jsoup در جاوا وجود دارد که امکان خواندن و دستکاری صفحات وب را به شما می دهد که برای نوشتن Web Crawler خیلی مناسبه.

3- یکسری لینک است که بخوبی و بهمراه sample code فرایند نوشتن Web Crawler با استفاده از جاوا رو توضیح داده:

جواب 7 سال قبل توسط Saeed Zarinfam (959 امتیاز)
انتخاب شده در 7 سال قبل توسط morteza
یکی از مزایای jsoup اینه که بر روی اندروید هم اجرا میشه.

سوال های مشابه

0 رأی
1 جواب میانگین بازدید روزانه 0.09264 بازدید
0 رأی
1 جواب میانگین بازدید روزانه 0.27753 بازدید
+1 رأی
1 جواب میانگین بازدید روزانه 0.06181 بازدید
+2 رأی
1 جواب میانگین بازدید روزانه 0.31401 بازدید
0 رأی
0 جواب میانگین بازدید روزانه 0.08220 بازدید
+1 رأی
1 جواب میانگین بازدید روزانه 0.06175 بازدید
+7 رأی
4 جواب میانگین بازدید روزانه 3.1610,785 بازدید
+1 رأی
1 جواب میانگین بازدید روزانه 0.4257 بازدید
سوال 4 ماه قبل در تالار برنامه نویسی توسط masoud shahhosseini_ (45 امتیاز)
+1 رأی
1 جواب میانگین بازدید روزانه 0.94180 بازدید
کانال تلگرام جواب یاب
...