من میخوام یک وب کرولر با جاوا بنویسم. اولش باید یک دانلودر بنویسم که یه صفحه با تمام لینک های درونش بنویسم.من تونستم کد دانلود یه صفحه رو بنویسم ولی نمیدونم چطوری باید لینک های داخلشو دانلود و در یک دایرکتوری ذخیرش کنم. اگه کسی بتونه کمکم کنه ممنون میشم.
1- چند پروژه Web Crawler اوپن سورس پیاده سازی شده به زبان جاوا وجود داره که می تونید ازشون استفاده کنید (مانند Crawler4j یا Apache Nutch).
2- کتابخانه ای با نام jsoup در جاوا وجود دارد که امکان خواندن و دستکاری صفحات وب را به شما می دهد که برای نوشتن Web Crawler خیلی مناسبه.
3- یکسری لینک است که بخوبی و بهمراه sample code فرایند نوشتن Web Crawler با استفاده از جاوا رو توضیح داده:
تبلیغات در جواب یاب
اخبار
سیستم امتیازدهی
دسترسی کاربران
داغ ترین سوال ها
پربازدیدترین سوال ها
