+1 امتیاز
قبل در برنامه نویسی توسط (20 امتیاز)
ویرایش شده قبل توسط

من میخوام یک وب کرولر با جاوا بنویسم. اولش باید یک دانلودر بنویسم که یه صفحه با تمام لینک های درونش بنویسم.من تونستم کد دانلود یه صفحه رو بنویسم ولی نمیدونم چطوری باید لینک های داخلشو دانلود و در یک دایرکتوری ذخیرش کنم. اگه کسی بتونه کمکم کنه ممنون میشم.

قبل توسط (0 امتیاز)
سلام. خب الان تونستید بنویسید؟

1 پاسخ

+2 امتیاز
قبل توسط (1.1هزار امتیاز)
انتخاب شده قبل توسط
 
بهترین پاسخ

1- چند پروژه Web Crawler اوپن سورس پیاده سازی شده به زبان جاوا وجود داره که می تونید ازشون استفاده کنید (مانند Crawler4j یا Apache Nutch).

2- کتابخانه ای با نام jsoup در جاوا وجود دارد که امکان خواندن و دستکاری صفحات وب را به شما می دهد که برای نوشتن Web Crawler خیلی مناسبه.

3- یکسری لینک است که بخوبی و بهمراه sample code فرایند نوشتن Web Crawler با استفاده از جاوا رو توضیح داده:

قبل توسط (1.1هزار امتیاز)
یکی از مزایای jsoup اینه که بر روی اندروید هم اجرا میشه.

سوالات مشابه

0 امتیاز
1 پاسخ 399 بازدید
سوال شده 9 سال قبل در کامپیوتر و اینترنت توسط hosseini (1.9هزار امتیاز)
0 امتیاز
1 پاسخ 1.2هزار بازدید
+1 امتیاز
1 پاسخ 297 بازدید
+2 امتیاز
1 پاسخ 638 بازدید
0 امتیاز
0 پاسخ 295 بازدید
+1 امتیاز
1 پاسخ 241 بازدید
+8 امتیاز
4 پاسخ 11.6هزار بازدید
0 امتیاز
1 پاسخ 32 بازدید
0 امتیاز
0 پاسخ 78 بازدید
...