Description: Using the Java language using a web crawler demo, will climb to take down the web page into a unified XML format, the XML file is parsed for each DOM nodes are numbered. According to the node ID can get to the content of each element node
To Search:
File list (Check if you may need any files):
BuptCrawl
.........\.classpath
.........\.project
.........\.settings
.........\.........\org.eclipse.core.resources.prefs
.........\.........\org.eclipse.jdt.core.prefs
.........\bin
.........\...\com
.........\...\...\bupt
.........\...\...\....\crawler
.........\...\...\....\.......\Controller.class
.........\...\...\....\.......\dom4j
.........\...\...\....\.......\.....\Dom4JUtils.class
.........\...\...\....\.......\.....\Downloader.class
.........\...\...\....\.......\.....\HtmlClean.class
.........\...\...\....\.......\.....\HtmlCodeUtil.class
.........\...\...\....\.......\MyCrawler.class
.........\...\edu
.........\...\...\uci
.........\...\...\...\ics
.........\...\...\...\...\crawler4j
.........\...\...\...\...\.........\crawler
.........\...\...\...\...\.........\.......\Configurable.class
.........\...\...\...\...\.........\.......\CrawlConfig.class
.........\...\...\...\...\.........\.......\CrawlController$1.class
.........\...\...\...\...\.........\.......\CrawlController.class
.........\...\...\...\...\.........\.......\Page.class
.........\...\...\...\...\.........\.......\WebCrawler.class
.........\...\...\...\...\.........\examples
.........\...\...\...\...\.........\........\basic
.........\...\...\...\...\.........\........\.....\BasicCrawlController.class
.........\...\...\...\...\.........\........\.....\BasicCrawler.class
.........\...\...\...\...\.........\........\imagecrawler
.........\...\...\...\...\.........\........\............\Cryptography.class
.........\...\...\...\...\.........\........\............\ImageCrawlController.class
.........\...\...\...\...\.........\........\............\ImageCrawler.class
.........\...\...\...\...\.........\........\localdata
.........\...\...\...\...\.........\........\.........\CrawlStat.class
.........\...\...\...\...\.........\........\.........\Downloader.class
.........\...\...\...\...\.........\........\.........\LocalDataCollectorController.class
.........\...\...\...\...\.........\........\.........\LocalDataCollectorCrawler.class
.........\...\...\...\...\.........\........\multiple
.........\...\...\...\...\.........\........\........\BasicCrawler.class
.........\...\...\...\...\.........\........\........\MultipleCrawlerController.class
.........\...\...\...\...\.........\........\shutdown
.........\...\...\...\...\.........\........\........\BasicCrawler.class
.........\...\...\...\...\.........\........\........\ControllerWithShutdown.class
.........\...\...\...\...\.........\........\statushandler
.........\...\...\...\...\.........\........\.............\StatusHandlerCrawlController.class
.........\...\...\...\...\.........\........\.............\StatusHandlerCrawler.class
.........\...\...\...\...\.........\fetcher
.........\...\...\...\...\.........\.......\CustomFetchStatus.class
.........\...\...\...\...\.........\.......\IdleConnectionMonitorThread.class
.........\...\...\...\...\.........\.......\PageFetcher$1.class
.........\...\...\...\...\.........\.......\PageFetcher$GzipDecompressingEntity.class
.........\...\...\...\...\.........\.......\PageFetcher.class
.........\...\...\...\...\.........\.......\PageFetchResult.class
.........\...\...\...\...\.........\frontier
.........\...\...\...\...\.........\........\Counters$ReservedCounterNames.class
.........\...\...\...\...\.........\........\Counters.class
.........\...\...\...\...\.........\........\DocIDServer.class
.........\...\...\...\...\.........\........\Frontier.class
.........\...\...\...\...\.........\........\InProcessPagesDB.class
.........\...\...\...\...\.........\........\WebURLTupleBinding.class
.........\...\...\...\...\.........\........\WorkQueues.class
.........\...\...\...\...\.........\parser
.........\...\...\...\...\.........\......\BinaryParseData.class
.........\...\...\...\...\.........\......\ExtractedUrlAnchorPair.class
.........\...\...\...\...\.........\......\HtmlContentHandler$Element.class
.........\...\...\...\...\.........\......\HtmlContentHandler$HtmlFactory.class
.........\...\...\...\...\.........\......\HtmlContentHandler.class
.......
Download