+1 امتیاز
قبل در برنامه نویسی توسط (20 امتیاز)
ویرایش شده قبل توسط

من میخوام یک وب کرولر با جاوا بنویسم. اولش باید یک دانلودر بنویسم که یه صفحه با تمام لینک های درونش بنویسم.من تونستم کد دانلود یه صفحه رو بنویسم ولی نمیدونم چطوری باید لینک های داخلشو دانلود و در یک دایرکتوری ذخیرش کنم. اگه کسی بتونه کمکم کنه ممنون میشم.

قبل توسط (0 امتیاز)
سلام. خب الان تونستید بنویسید؟

1 پاسخ

+2 امتیاز
قبل توسط (1.1هزار امتیاز)
انتخاب شده قبل توسط
 
بهترین پاسخ

1- چند پروژه Web Crawler اوپن سورس پیاده سازی شده به زبان جاوا وجود داره که می تونید ازشون استفاده کنید (مانند Crawler4j یا Apache Nutch).

2- کتابخانه ای با نام jsoup در جاوا وجود دارد که امکان خواندن و دستکاری صفحات وب را به شما می دهد که برای نوشتن Web Crawler خیلی مناسبه.

3- یکسری لینک است که بخوبی و بهمراه sample code فرایند نوشتن Web Crawler با استفاده از جاوا رو توضیح داده:

قبل توسط (1.1هزار امتیاز)
یکی از مزایای jsoup اینه که بر روی اندروید هم اجرا میشه.

سوالات مشابه

0 امتیاز
1 پاسخ 577 بازدید
سوال شده 10 سال قبل در کامپیوتر و اینترنت توسط hosseini (1.9هزار امتیاز)
0 امتیاز
1 پاسخ 1.5هزار بازدید
+1 امتیاز
1 پاسخ 468 بازدید
+2 امتیاز
1 پاسخ 923 بازدید
0 امتیاز
0 پاسخ 361 بازدید
+1 امتیاز
1 پاسخ 394 بازدید
+8 امتیاز
4 پاسخ 12.3هزار بازدید
0 امتیاز
1 پاسخ 133 بازدید
سوال شده 1 سال قبل در برنامه نویسی توسط Soraya2 (0 امتیاز)
0 امتیاز
1 پاسخ 181 بازدید
0 امتیاز
0 پاسخ 223 بازدید
...