+1 امتیاز
قبل در برنامه نویسی توسط (20 امتیاز)
ویرایش شده قبل توسط

من میخوام یک وب کرولر با جاوا بنویسم. اولش باید یک دانلودر بنویسم که یه صفحه با تمام لینک های درونش بنویسم.من تونستم کد دانلود یه صفحه رو بنویسم ولی نمیدونم چطوری باید لینک های داخلشو دانلود و در یک دایرکتوری ذخیرش کنم. اگه کسی بتونه کمکم کنه ممنون میشم.

قبل توسط (0 امتیاز)
سلام. خب الان تونستید بنویسید؟

1 پاسخ

+2 امتیاز
قبل توسط (1.1هزار امتیاز)
انتخاب شده قبل توسط
 
بهترین پاسخ

1- چند پروژه Web Crawler اوپن سورس پیاده سازی شده به زبان جاوا وجود داره که می تونید ازشون استفاده کنید (مانند Crawler4j یا Apache Nutch).

2- کتابخانه ای با نام jsoup در جاوا وجود دارد که امکان خواندن و دستکاری صفحات وب را به شما می دهد که برای نوشتن Web Crawler خیلی مناسبه.

3- یکسری لینک است که بخوبی و بهمراه sample code فرایند نوشتن Web Crawler با استفاده از جاوا رو توضیح داده:

قبل توسط (1.1هزار امتیاز)
یکی از مزایای jsoup اینه که بر روی اندروید هم اجرا میشه.

سوالات مشابه

0 امتیاز
1 پاسخ 427 بازدید
سوال شده 9 سال قبل در کامپیوتر و اینترنت توسط hosseini (1.9هزار امتیاز)
0 امتیاز
1 پاسخ 1.3هزار بازدید
+1 امتیاز
1 پاسخ 320 بازدید
+2 امتیاز
1 پاسخ 684 بازدید
0 امتیاز
0 پاسخ 306 بازدید
+1 امتیاز
1 پاسخ 259 بازدید
+8 امتیاز
4 پاسخ 11.9هزار بازدید
0 امتیاز
0 پاسخ 6 بازدید
سوال شده 1 هفته قبل در برنامه نویسی توسط Soraya2 (0 امتیاز)
0 امتیاز
1 پاسخ 63 بازدید
0 امتیاز
0 پاسخ 105 بازدید
...