[BACK]Return to updatedb.pl CVS log [TXT] [DIR] Up to [Local Repository] / db / prgsrc

Diff for /db/prgsrc/updatedb.pl between versions 1.3 and 1.48

version 1.3, 2000/10/17 02:24:47 version 1.48, 2010/04/24 18:13:03
Line 6  updatedb.pl - a script for creation of n Line 6  updatedb.pl - a script for creation of n
   
 =head1 SYNOPSIS  =head1 SYNOPSIS
   
 updatedb.pl I<file1> I<file2>....  updatedb.pl B<[-i]> I<file1> I<file2>....
   
   
 =head1 DESCRIPTION  =head1 DESCRIPTION
   
 Updates information in the B<chgk> databse. Uses file  Updates information in the B<chgk> databse. Uses file
   
   =head1 OPTIONS
   
   =item B<-i> 
   
   Ask about ParentId. 
   
   
 =head1 BUGS  =head1 BUGS
   
Line 26  Dmitry Rubinstein Line 32  Dmitry Rubinstein
   
 =cut  =cut
   
   use vars qw($opt_i, $opt_n);
   
   use Getopt::Std;
   my $unsortedname="../dump/unsorted";
   getopts('in');
   #open STDERR, ">errors";
   my $Interactive=$opt_i || 0;
   my $newOnly = $opt_n ||0;
   my $DUMPDIR = $ENV{DUMPDIR} || "../dump";
   
 my (%RevMonths) =   my (%RevMonths) = 
         ('Jan', '1', 'Feb', '2', 'Mar', '3', 'Apr', '4', 'May', '5', 'Jun', '6',      ('Jan', '1', 'Feb', '2', 'Mar', '3', 'Apr', '4', 'May', '5', 'Jun', '6',
         'Jul', '7', 'Aug', '8', 'Sep', '9', 'Oct', '10', 'Nov', '11',       'Jul', '7', 'Aug', '8', 'Sep', '9', 'Oct', '10', 'Nov', '11',
         'Dec', '12',        'Dec', '12', 
          'Янв', '0', 'Фев', 1, 'Мар', 2, 'Апр', 3, 'Май', '4',       'JAN', '1', 'FEB', '2', 'MAR', '3', 'APR', '4', 'MAY', '5', 'JUN', '6',
          'Июн', '5', 'Июл', 6, 'Авг', '7', 'Сен', '8',        'JUL', '7', 'AUG', '8', 'SEP', '9', 'OCT', '10', 'NOV', '11',
          'Окт', '9', 'Ноя', '19', 'Дек', '11');       'DEC', '12', 
        'Янв', '1', 'Фев', '2', 'Мар', '3', 'Апр', '4', 'Май', '5',
        'Июн', '6', 'Июл', '7', 'Авг', '8', 'Сен', '9', 
        'Окт', '10', 'Ноя', '11', 'Дек', '12');
 my ($sth);  my ($sth);
   
 use vars qw($/);  
   
 $/=/\n */;  
   
   
 use DBI;  use DBI;
 use strict;  use strict;
   use Data::Dumper;
   my $isunsorted=0;
 sub UpdateParents {  sub UpdateParents {
         my ($dbh, $ParentId, $all_qnum) = @_;      my ($dbh, $ParentId, $all_qnum,$CreatedAt) = @_;
         if ($ParentId) {      if ($ParentId) {
                 my ($sth1) = $dbh->prepare("          my ($sth1) = $dbh->prepare("SELECT QuestionsNum, ParentId, CreatedAt
                         SELECT QuestionsNum, ParentId FROM Tournaments WHERE Id = $ParentId  FROM Tournaments WHERE Id = $ParentId");
                 ");          $sth1->execute;
                 $sth1->execute;          my ($q, $p,$c) = ($sth1->fetchrow)[0, 1, 2];
                 my ($q, $p) = ($sth1->fetchrow)[0, 1];          $c=$CreatedAt if $CreatedAt && ($CreatedAt gt $c);
                 $dbh->do("          my $qc=$dbh->quote($c);
                         UPDATE Tournaments SET QuestionsNum=$q + $all_qnum WHERE Id =          $dbh->do("UPDATE Tournaments SET 
                         $ParentId");                    QuestionsNum=$q + $all_qnum, CreatedAt=$qc
                 &UpdateParents($dbh, $p, $all_qnum);                    WHERE Id = $ParentId");
         }          &UpdateParents($dbh, $p, $all_qnum,$c);
       }
   }
   
   sub parseDate {
     my $value = shift;
     my ($from, $to) = split /\s+\-+\s+/, $value;
     $from =~ s/^(.*)-(.*)-(.*)$/$3-$2-$1/;
     my($month) = $RevMonths{$2} || '01';
     $from =~ s/-(.*)-/-$month-/;
     $from =~ s/-00*$/-01/;
     if ($to) {
       $to =~ s/^(.*)-(.*)-(.*)$/$3-$2-$1/;
       $month = $RevMonths{$2} || '01';    
       $to =~ s/-(.*)-/-$month-/;
       $to =~ s/-00*$/-01/;
     }
     return ($from, $to);
     
 }  }
   
 sub getField {  sub getField {
         my($desc, $dbh) = @_;      my($desc, $dbh) = @_;
         my($key);      my($key);
         my($value) = ('');      my($value) = ('');
         while (<$desc>) {      while (<$desc>) {
                 s/ //;          s/[
                 if ($key && /^\s*$/) {  ]//g;
                         chomp $value;          if ($key && /^\s*$/) {
                         chomp $key;              chomp $value;
                         if ($key eq 'Дата') {              $value =~ s/\s+$//;
                                 $value =~ s/^(.*)-(.*)-(.*)$/$3-$2-$1/;              chomp $key;
                                 my($month) = $RevMonths{$2};              if ($key eq 'Дата') {
                                 $value =~ s/$2/$month/;                my ($from, $to) = parseDate($value);
                         }                $value = {'PlayedAt'=>$from, 'PlayedAt2'=>$to};
                         $value = $dbh->quote($value);              }
                         return ($key, $value);              if ($key eq 'Автор') {$value=~s/\.$//;}
                 }              return ($key, $value);
                 next if (/^\s*$/);  
   
                 if (/^(.*):\s*$/ && !$key) {  
                         $key = $1;  
                         next;  
                 }  
                 if ($key) {  
                         $value .= $_;  
                         next;  
                 }  
         }  
         if ($key && $value) {  
                 $value = $dbh->quote($value);  
                 return ($key, $value);  
         }          }
         return (0, 0);          next if (/^\s*$/);
           
           if (!$key && /^(.*?)[:\.]\s*(.*)$/s) {
               $key = $1;
               $value=$2;
               next;
           }
           if ($key) {
               $value .= $_."\n";
               next;
           }
       }
       if ($key && $value) {
           $value=~s/\s+$//sm;
                 return ($key, $value);
       }
       return (0, 0);
 }  }
   
 sub SelectGroup {  sub SelectGroup {
         my ($dbh, $TourName, $sth, $ParentId, $i, @arr) = @_;      my ($dbh, $source, $TourName) = @_;
       my ($sth, $ParentId, $i, @arr);
   
         $sth = $dbh->prepare("SELECT Id, Title FROM      if ($Interactive) {    
           $sth = $dbh->prepare("SELECT Id, Title FROM
                 Tournaments WHERE Type = 'Г'");                  Tournaments WHERE Type = 'Г'");
         $sth->execute;          $sth->execute;
         print "Выберите группу для турнира:\n$TourName\n\n";          print "Выберите группу для турнира:\n$TourName, файл $source\n\n";
         for ($i = 0; $i < $sth->numrows; $i++) {          while (@arr=$sth->fetchrow) {
                 @arr = $sth->fetchrow;  
                 print "[$arr[0]] $arr[1]\n";                  print "[$arr[0]] $arr[1]\n";
           }
           $ParentId = <STDIN>;
           chomp $ParentId;
           if (!$ParentId) {
                   print "Пропускаем файл $source\n";
                   print STDERR "Файл $source отвергнут оператором\n";
                   return (0,0);
           } else {
                   print "Вы выбрали турнир: $ParentId\n";
                   $sth = $dbh->prepare("INSERT INTO Tournaments
                                 (Title, Type, ParentId, FileName) 
                                  VALUES ($TourName, 'Ч', $ParentId, 
                                          $source)");
                   $sth->execute;
                   my $TournamentId = $sth->{mysql_insertid};
                   return ($TournamentId,$ParentId);
           }
       } else {
   # Теперь, если файла нет в дереве турниров, никаких вопросов не 
   # задаётся, а вместо этого он добавляется в группу 9999
                   $ParentId = 9999;
                   my $tempsource=$source;
                   my $temptname=$TourName;
                   $tempsource=~s/^\'(.*)\'$/$1/;
                   $temptname=~s/^\'(.*)\'$/$1/;
                   print UNSORTED "$tempsource".((12 -length($source))x' ')."\t$temptname\n";
                   $isunsorted=1;
                   $sth = $dbh->prepare("INSERT INTO Tournaments
                                 (Title, Type, ParentId, FileName,CreatedAt) 
                                  VALUES (".$dbh->quote($TourName).", 'Ч', $ParentId, 
                                          ?,NOW())");
                   $sth->execute($source);
                   my $TournamentId = $sth->{mysql_insertid};
                   return ($TournamentId,$ParentId);
         }          }
         $ParentId = <STDIN>;                  
         print "Вы выбрали турнир: $ParentId\n";      
         return $ParentId;  
 }  }
   
 sub UpdateTournament {  sub UpdateTournament {
         my ($dbh, $TournamentId, $field, $value) = @_;      my ($dbh, $TournamentId, $field, $value) = @_;
         $dbh->do("UPDATE Tournaments SET $field=$value WHERE Id=$TournamentId")      if (ref $value eq 'HASH') {
                 or die $dbh->errstr;              # It means that $value contains information about several fields
               foreach my $k(keys %$value) {
                 if ($value->{$k}) {
             &UpdateTournament($dbh, $TournamentId, $k, $value->{$k});
           }
         }
       } else {    
         my $v = $dbh->quote($value);
         $dbh->do("UPDATE Tournaments SET $field=$v WHERE Id=$TournamentId")
               or die $dbh->errstr;
       }
 }  }
   
 sub UpdateQuestion {  sub UpdateQuestion {
         my ($dbh, $QuestionId, $field, $value) = @_;      my ($dbh, $QuestionId, $field, $value) = @_;
         $dbh->do("UPDATE Questions SET $field=$value       
       if (($field eq 'Type') && ($value eq "Д")) {
            $value = "ЧД";
       }
       my $v = $dbh->quote($value);
       $dbh->do("UPDATE Questions SET $field=$v
                 WHERE QuestionId=$QuestionId")                  WHERE QuestionId=$QuestionId")
                         or die $dbh->errstr;          or die $dbh->errstr;
 }  }
   
 MAIN:   sub CheckFile {
 {      my ($dbh, $source, $title) = @_;
         my($key, $value, $addition);      my $sth = $dbh->prepare("SELECT Id,ParentId,QuestionsNum FROM Tournaments
                                WHERE FileName=? AND Type='Ч'");
       $sth->execute($source) or die $dbh->errstr;
       my @arr = $sth->fetchrow;
       if (! scalar @arr) {
           return SelectGroup($dbh,$source,$title);
       }
       my($Id,$ParentId,$QuestionsNum)=@arr;
       if($QuestionsNum) { 
           if ($newOnly) {
             return (0,0);
           }
           print "Файл $source с данными $title уже существует. ",
           "Заменить?[y/N]\n";
           my $answer = <STDIN>;
           if ($answer !~ /^[yY]/) {
               return (0,0);
           } else {
               DeleteTournament($dbh,$Id,$ParentId,$QuestionsNum,0);
           }
       } 
       return($Id,$ParentId);      
   }
   
         my($source);  
   
         my($dbh) = DBI->connect("DBI:mysql:chgk", "piataev", "")  sub DeleteTournament {
                 or die "Can't connect to DB chgk\n";      my ($dbh,$Id,$ParentId,$QuestionsNum,$DeleteMyself) = @_;
       if ($QuestionsNum) {
           UpdateParents($dbh,$ParentId,-$QuestionsNum);
       }
       my (@Tours) = &GetTours($dbh, $Id);
       foreach my $Tour (@Tours) {
           DeleteTournament($dbh,$Tour,$Id,0,1);
       }
       my $sth = $dbh->prepare("DELETE FROM Questions
                                WHERE ParentId=$Id");
       $sth->execute or die $dbh->errstr;
       if($DeleteMyself) {
           $sth = $dbh->prepare("DELETE FROM Tournaments
                                WHERE Id=$Id");
           $sth->execute or die $dbh->errstr;
       }
   }
   
         while ($source = shift) {  sub GetTours {
                 my($PlayedAt) = '';          my ($dbh, $ParentId) = @_;
                 my($QuestionId, $TourId, $TournamentId, $ParentId) = (0, 0, 0, 0);          my (@arr, @Tours);
                 my($tournum, $qnum, $all_qnum, $qtype) = (0, 0, 0, 'Ч');  
                 my (@d) = (localtime((stat($source))[9]))[5,4,3];  
                 $d[1]++;  
                 my ($CreatedAt) = $dbh->quote( join('-', @d));  
                 print "File created on: $CreatedAt\n";  
           
                 open INFD, $source   
                         or die "Can't open input file: $!\n";  
           
                 $source =~ s/^.*\/([^\/]*)$/$1/;  
                 $source = $dbh->quote($source);  
                 print "Processing file: $source \n";  
   
                 while (($key, $value) = getField(\*INFD, $dbh)) {          my ($sth) = $dbh->prepare("SELECT Id FROM Tournaments
                         last if (!$key);                  WHERE ParentId=$ParentId ORDER BY Id");
           
                         if ($key =~ /Мета/) {          $sth->execute;
                                 $value =~ s/[^\d]*//g;  
                                 $sth = $dbh->prepare("SELECT Id FROM Tournaments WHERE  
                                         MetaId=$value");  
                                 $sth->execute   
                                         or die "Invalid Meta field: $value";  
                                 $ParentId = ($sth->fetchrow)[0];  
                                 next;  
                         }  
                         if ($key =~ /Чемпионат/) {  
                                 $ParentId = &SelectGroup($dbh, $value)  
                                         unless ($ParentId);  
                                 $sth = $dbh->prepare("INSERT INTO Tournaments  
                                         (Title, Type, ParentId, FileName, CreatedAt)   
                                         VALUES ($value, 'Ч', $ParentId, $source,  
                                         $CreatedAt)");  
                                 $sth->execute;  
                                 $TournamentId = $sth->{mysql_insertid};  
                                 next;  
                         }  
                         if ($key =~ /Тур/) {  
                                 if ($TourId) {  
                                         $dbh->do("UPDATE Tournaments SET QuestionsNum=$qnum  
                                                 WHERE Id=$TourId");  
                                 }  
                                 $qnum = 0;  
                                 $qtype = "Ч";  
                                 $sth = $dbh->prepare("INSERT INTO Tournaments  
                                         (Title, Type, ParentId, CreatedAt)   
                                         VALUES ($value, 'Т', $TournamentId, $CreatedAt)");  
                                 $sth->execute;  
                                 $TourId = $sth->{mysql_insertid};  
                                 next;  
                         }  
                         if ($key =~ /Вид/) {  
                                 $qtype = $value;  
                                 next;  
                         }  
                         if ($key =~ /Вопрос/) {  
                                 $sth = $dbh->prepare("INSERT INTO Questions   
                                         (ParentId, Number, Type)   
                                         VALUES ($TourId, $qnum+1, $qtype)");  
                                 $sth->execute or print "Problem at $qnum";  
                                 $QuestionId = $sth->{mysql_insertid};  
                                 &UpdateQuestion($dbh, $QuestionId, "Question", $value);  
                                 $qnum++;  
                                 $all_qnum++;  
                                 next;  
                         }  
                         &UpdateQuestion($dbh, $QuestionId, "Answer", $value)   
                                 if ($key =~ /Ответ/);  
           
                         &UpdateQuestion($dbh, $QuestionId, "Authors", $value)   
                                 if ($key =~ /Автор/);  
           
                         &UpdateQuestion($dbh, $QuestionId, "Sources", $value)   
                                 if ($key =~ /Источник/);  
           
                         &UpdateQuestion($dbh, $QuestionId, "Comments", $value)   
                                 if ($key =~ /Комментарий/);  
           
                         &UpdateTournament($dbh, $TournamentId, "URL", $value)  
                                 if ($key =~ /URL/);  
   
                         &UpdateTournament($dbh, $TournamentId, "Copyright", $value)          while (@arr = $sth->fetchrow) {
                                 if ($key =~ /Копирайт/);                  push @Tours, $arr[0];
           }
   
           return @Tours;
   }
   
   sub CreateTour {
       my ($dbh,$title,$ParentId,$TourNum,$rh_defaults)=@_;   
       my $sth = $dbh->prepare("INSERT INTO Tournaments
                                (Title, Type, ParentId, Number,CreatedAt) 
                                VALUES (?, 'Т', $ParentId, $TourNum,NOW())");
       $sth->execute($title);
       my $TourId = $sth->{mysql_insertid};
       while (my ($key,$value)=each %$rh_defaults) {
               &UpdateTournament($dbh, $TourId, $key, $value);
       }
       return $TourId;
   }
                   
   
                         &UpdateTournament($dbh, $TournamentId, "Info", $value)  MAIN: 
                                 if ($key =~ /Инфо/);  {
       my($key, $value, $addition);
       #
       # Inherited fields for a Tour or Tournament
       #
       my %TourFields = ('Копирайт' => 'Copyright',
                         'Инфо' => 'Info', 'URL' => 'URL',
                         'Ссылка' => 'URL', 'Редактор' => 'Editors',
                         'Обработан'=> 'EnteredBy',
                         'Дата'=>'PlayedAt', 'PlayedAt2'=>'PlayedAt2');
       #
       # Inherited fields for a Question
       #
       my %QuestionFields = ('Тип'=> 'Type', 'Вид'=> 'Type', 
                             'Автор' => 'Authors', 'Рейтинг'=>'Rating', 
                             'Источник' => 'Sources',
                             'Тема' => 'Topic');
                             
                         
       my($source);
       
       my($dbh) = DBI->connect("DBI:mysql:chgk", "piataev", "")
           or die "Can't connect to DB chgk\n";
   if ($dbh->get_info( 18 )=~/^(5|(4.1))/)  {$dbh->do("SET NAMES 'koi8r'");}
       my @sources;        
       open UNSORTED, ">$unsortedname";
       while ($source = shift) {
          push @sources,glob($source);
       }
       foreach $source(@sources) {
           my $TourNum=0;
           my($PlayedAt) = '';
           my($QuestionId, $TourId, $TournamentId, $ParentId) = (0, 0, 0, 0);
           my($tournum, $qnum, $all_qnum) = (0, 0, 0);
           my (@d) = (localtime((stat($source))[9]))[5,4,3];
           $d[1]++;
           $d[1]=sprintf("%02d",$d[1]);
           $d[2]=sprintf("%02d",$d[2]);
           $d[0]+=1900;
           my $UnquotedCreated=join('-', @d);
           my ($CreatedAt) = $UnquotedCreated;
   
                         if ($key =~ /Дата/) {          open INFD, $source 
                                 if ($TourId) {              or die "Can't open input file: $!\n";
                                         &UpdateTournament($dbh, $TourId, "PlayedAt", $value);          
                                 } else {          $source =~ s/^.*\/([^\/]*)$/$1/;
                                         &UpdateTournament($dbh, $TournamentId, "PlayedAt", $value);          my $unquotedsource=$source;
                                 }          $unquotedsource=~s/\.txt\s*$//;
                         }          print STDERR "Файл: $source, дата: $CreatedAt ";
                 }          my %TourDefaults=('CreatedAt'=>$CreatedAt);
                 $dbh->do("UPDATE Tournaments SET QuestionsNum=$qnum          my %QuestionDefaults=();
           my %QuestionGlobalDefaults=('Type'=>'Ч');
           while (($key, $value) = getField(\*INFD, $dbh)) {
             
       last if (!$key);
               
       if ($key =~ /Мета/) {
                     next;   # This is obsolete
       }
       if ($key =~ /Чемпионат/ || $key =~ /Пакет/) {               
                     ($TournamentId, $ParentId) = CheckFile($dbh,$source,$value);
                     if (!$TournamentId)  {
                       last;
                     }     
   
                     $sth = $dbh->prepare("UPDATE Tournaments SET
                                        Title=?, Type='Ч', 
                                        ParentId=?, 
                                        FileName=?, 
                                        CreatedAt=?
                                        WHERE
                                        Id=?");
                     $sth->execute($value,$ParentId,$source,$CreatedAt,$TournamentId);
                     next;
       }
       if ($key =~ /Тур/) {      
                     if ($TourId) {
                           $dbh->do("UPDATE Tournaments SET QuestionsNum=$qnum
                                 WHERE Id=$TourId");
                     }
                     $qnum = 0;
                     $TourNum++;
                     $TourDefaults{'FileName'}= "$unquotedsource.$TourNum";
                                                   
   
                     $TourId=CreateTour($dbh,$value,$TournamentId,$TourNum,
                                      \%TourDefaults);
                     %QuestionDefaults=%QuestionGlobalDefaults;
                     $QuestionId=0;
                     next; 
       }
       if ($key =~ /Вопрос/) {
                     if (!$TourId) {
                       $qnum = 0;
                       $TourNum++;     
                       $TourId=CreateTour($dbh,'1',$TournamentId,$TourNum,
                                          \%TourDefaults);
           %QuestionDefaults=%QuestionGlobalDefaults;
                   }
                   my $query = "INSERT INTO Questions 
                                (ParentId, Number) 
                                VALUES ($TourId, $qnum+1)";
                   $sth = $dbh->prepare($query);
                   $sth->execute or print $query;;
                   $QuestionId = $sth->{mysql_insertid};
                   &UpdateQuestion($dbh, $QuestionId, "Question", $value);
                   while (my ($key,$value)=each %QuestionDefaults) {
                       &UpdateQuestion($dbh, $QuestionId, $key, $value);
                   }               
                   $qnum++;
                   $all_qnum++;
                   next;
       }
       if ($key =~ /Ответ/) {
         &UpdateQuestion($dbh, $QuestionId, "Answer", $value);
                     next;
       }
   
       if ($key =~ /Зач[её]т/) {
                     &UpdateQuestion($dbh, $QuestionId, "PassCriteria", $value);
                     next;
       }
   
       if ($key =~ /Комментари/) {
                   &UpdateQuestion($dbh, $QuestionId, "Comments", $value);
                   next;
       }
      
       my @Fields = grep { $key =~ /$_/ } keys %QuestionFields;
   
       if (scalar @Fields) {
                     my $word = shift @Fields;
                     my $field = $QuestionFields{$word};
                     if ($QuestionId) {
             &UpdateQuestion($dbh, $QuestionId, $field, $value);
                     } elsif ($TourId) {
                       $QuestionDefaults{$field}=$value;
                     } else {
                       $QuestionGlobalDefaults{$field}=$value;
                     }
                     next;
       }
   
       @Fields = grep { $key =~ /$_/ } keys %TourFields;
   
       if (scalar @Fields) {
                   my $word = shift @Fields;
                   my $field = $TourFields{$word};
                   my $updateId;
                   if ($QuestionId) {
                       print STDERR "ОШИБКА: $key $value недопустимы после",
                       " начала вопросов\n";
                   } else {
                     if ($TourId) {
                       $updateId = $TourId;
           } else {
             $updateId = $TournamentId;
             $TourDefaults{$field}=$value;
           }
           &UpdateTournament($dbh, $updateId, $field, $value);
                   }
                   next;
       }
   
               
               #
               # If we are here, something got wrong!
               #
               print STDERR "\nЯ НЕ ПОНИМАЮ: $key, $value!\n";
               
           }
           $dbh->do("UPDATE Tournaments SET QuestionsNum=$qnum
                         WHERE Id=$TourId");                          WHERE Id=$TourId");
                 $dbh->do("UPDATE Tournaments SET QuestionsNum=$all_qnum          $dbh->do("UPDATE Tournaments SET QuestionsNum=$all_qnum
                         WHERE Id=$TournamentId");                          WHERE Id=$TournamentId");
                 &UpdateParents($dbh, $ParentId, $all_qnum);                       &UpdateParents($dbh, $ParentId, $all_qnum,$UnquotedCreated);            
         }          print STDERR "Всего вопросов: $all_qnum \n";
         $dbh->disconnect;      }
       close UNSORTED;
       unlink $unsortedname unless $isunsorted;
       $dbh->disconnect;
 }  }
Removed from v.1.3  
changed lines
  Added in v.1.48

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>