easyspider - Version1 - contrib - mirror - SOURCE CODE

#!/usr/bin/perl

use Tie::File;
use LWP::Simple;

$url = $ARGV[0];
$depth = $ARGV[1];

#sub client_easyspider_mirror(){

my $config_path = "config";
mkdir $config_path;

$host = &get_hostname_from_url($url);

if ($depth == "1") {
	#scanne erstmal im ersten level nach allen links
	print "[$url]: mirroring with depth[1]\n";
	@links_1	= &get_links_from_url($url);
	
	foreach $link (@links_1){
		# skippe weiterleitungenen zu anderen http ressourcen, tool hngt sich dabei sonst auf
		my (undef, $zwei, undef) = split('http',$link);
		next if ($zwei =~ /(\w)/ig);

		print "#######################################\n";
		print "Mirror: [$link]\n";
		print "#######################################\n";
		&create_config_file($link, "$config_path/config.$host");
		&mirror_web_documents("$config_path/config.$host");
	}
	undef @links_1;

} elsif ($depth == "2") {

	print "[$url]: mirroring with depth[2]\n";
	#scanne erstmal im ersten level nach allen links
	my @links_1	= &get_links_from_url($url);

	foreach $link (@links_1){
		my (undef, $zwei, undef) = split('http',$link);
		next if ($zwei =~ /(\w)/ig);
				
		print "#######################################\n";
		print "Mirror: [$link]\n";
		print "#######################################\n";
		&create_config_file($link, "$config_path/config.$host");
		&mirror_web_documents("$config_path/config.$host");
	}


... [truncated, 2192 more lines] ...