[BACK]Return to db.cgi CVS log [TXT] [DIR] Up to [Local Repository] / db / prgsrc

Diff for /db/prgsrc/db.cgi between versions 1.11 and 1.23

version 1.11, 2000/10/24 17:59:25 version 1.23, 2001/10/18 19:45:26
Line 1 Line 1
 #!/usr/bin/perl -w  #!/usr/local/bin/perl -w
   
 use DBI;  use DBI;
 use CGI ':all';  use CGI ':all';
   use Text::Query;
 use strict;  use strict;
 use Time::Local;  use Time::Local;
 use POSIX qw(locale_h);  use POSIX qw(locale_h);
   use locale;
   open STDERR, ">errors";
   my $printqueries=1;
   my %fieldname= (0,'Question', 1, 'Answer', 2, 'Comments');
   my %searchin;
   
   
   
   my $thislocale;
   
   
   $searchin{'question'}=param('Question');
   $searchin{'answer'}=param('Answer');
   $searchin{'comment'}=param('Comment');
   my $all=param('all');
   $all=0 if lc $all eq 'no';
 my ($PWD) = `pwd`;  my ($PWD) = `pwd`;
 chomp $PWD;  chomp $PWD;
 my ($SRCPATH) = "$PWD/../dimrub/src";  my ($SRCPATH) = "$PWD/../dimrub/src";
Line 102  sub GetTours { Line 118  sub GetTours {
         return @Tours;          return @Tours;
 }  }
   
   sub russearch {
               my ($dbh, $sstr, $all,$allnf)=@_;
               my (@qw,@w,@tasks,$qw,@arr,$nf,$sth,@nf,$w,$where,$e,@where,%good,$i,%where,$from);
               my($number,@good,$t,$task,@rho,$rank,%rank,$r2,$r1,$word,$n,@last,$good,@words,%number,$taskid);
               my ($hi, $lo, $wordnumber,$query,$blob,$field,$sf,$ii);
               my @frequence;
               my (@arr1,@ar,@sf,@arr2);
               my %tasks;
               my $tasks;
               my @verybad;
               my %nf;
               my %tasksof;
               my %wordsof;
               my %relevance;
               my @blob;
               my %count;
   
   $sstr=~tr/йцукенгшщзхъфывапролджэячсмитьбю/ЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ/;
               @qw=@w =split (' ', uc $sstr);
   
   #-----------
               foreach $i (0..$#w) # заполняем массив @nf начальных форм
                              # $nf[$i] -- ссылка на массив возможных
                              # начальных форм словоформы $i
               {              
                   $qw= $dbh->quote (uc $w[$i]);
                   $query="  select distinct w2 from nests
                                   where w1=$qw";
   print "$query",br if $printqueries;
                   $sth=$dbh -> prepare($query);
                   $sth -> execute;
                   @{$nf[$i]}=();
                   while (@arr = $sth->fetchrow)
                   {
                      push (@{$nf[$i]},$arr[0])
                   }
               }
   
               my @bad=grep {!$nf[$_]} 0..$#w; # @bad -- номера словоформ,
                                              # которых нет в словаре
   
               if (@bad) #есть неопознанные словоформы
               {
                  require  "cw.pl";
                  foreach $i(@bad)
                  {
                    if (@arr=checkword($dbh,$w[$i]))
                      {push (@{$nf[$i]}, @arr);}
                    else
                      {push (@verybad,$i);}
                  }
               }
               return () if ($all && @verybad);
   
               my $kvo=0;
               push @$allnf, @{$_} foreach @nf;
   
               foreach $i (0..$#w) #запросы в базу...
               {
                 @arr=@{$nf[$i]} if $nf[$i];
                 @arr2=@arr1=@arr;
   
   
   
   
                 $_= " word2question.word=".$_. ' ' foreach @arr;
                 $_= " nf.id=".$_. ' ' foreach @arr1;
   
   #              $_= " nests.w2=".$_. ' ' foreach @arr2;
   #              $query="select w1 from nests where". (join ' OR ', @arr2);
   #print $query if $printqueries;
   #             $sth=$dbh -> prepare($query);
   #              $sth->execute;
   #              while (@ar=$sth->fetchrow)
   #              {
   #                 $ar[0]=~s/(.)/&nocase($1)/ge;
   #                 push(@sf,'(?:'.$ar[0].')');
   #              }
   #              $selectshablon=join '|',@sf;
   
   #print $selectshablon,br if $printqueries;
   
   #              $selectshablon=qr/$selectshablon/i;
   
   
   
   
                 $query="select questions from word2question where". (join ' OR ', @arr);
   print "$query\n",br if $printqueries;
   
                 $sth=$dbh -> prepare($query);
                 $sth->execute;
   
                 @blob=();
                 while (@arr=$sth->fetchrow)
                 {
                   @blob=(@blob,unpack 'C*',$arr[0]);
                 }
   print "blob=@blob";
                 $query="select number from nf where ".(join ' OR ', @arr1);
   print "$query\n",br if $printqueries;
                 $sth=$dbh -> prepare($query);
                 $sth->execute;
   
                 while (@arr=$sth->fetchrow)
                 {
                   $frequence[$i]+=$arr[0];
                 }
   
   
   
   
                 if (@blob < 4)
                 {
                    $tasksof{$i}=undef;
                 } else
                 {
                    $kvo++;
                    $ii=0;
                    while ($ii<$#blob)  # создаём хэш %tasksof, ключи которого --
                                # номера искомых словоформ, а значения --
                                # списки вопросов, в которых есть соответствующа
                                # словоформа.
                                # Каждый список в свою очередь также оформлен в
                                # виде хэша, ключи которого -- номера вопросов,
                                # а значения -- списки номеров вхождений. Вот.
                    {
                       ($field,$hi,$lo,$wordnumber)=@blob[$ii..($ii+3)];
                       $ii+=4;
                       $number=$lo+$hi*256;
   print "f1=$field\n";
                       $field=$fieldname{$field};
   print "f2=$field\n";
                       if ($searchin{lc $field})
                       {
   
                         push @{$tasksof{$i}{$number}}, $wordnumber;
                                         # дополнили в хэше, висящем на
                                         # словоформе $i в %tasksof список
                                         # вхождений $i в вопрос $number.
                         push @{$wordsof{$number}{$i}}, $wordnumber;
                                         # дополнили в хэше, висящем на
                                         # вопросе $number в %wordsof список
                                         # вхождений $i в вопрос $number.
   
   
                       }
                    }  #while ($ii<$#blob)
                  }
               }    #foreach $i
   
   print "keys tasksof", keys %tasksof;
   #Ищем пересечение или объединение списков вопросов (значений %tasksof)
              foreach $sf (keys %tasksof)
              {
                 $count{$_}++ foreach keys %{$tasksof{$sf}};
              }
                @tasks= ($all ? (grep {$count{$_}==$kvo} keys %count) :
                                keys %count) ;
   
   
   #print "\n\$#tasks=",$#tasks,br;
   ############ Сортировка найденных вопросов
   
   foreach (keys %wordsof)
   {
     $relevance{$_}=&relevance($#w,$wordsof{$_},\@frequence) if $_
   }
   
   @tasks=sort {$relevance{$b}<=>$relevance{$a}} @tasks;
   
   
   ############
   
   print "tasks=@tasks";
   
   #print "$_ $relevance{$_} | " foreach @tasks;
   #print br;
   print "allnf=@$allnf",br if $printqueries;
           return  @tasks;
   }
   
   
   sub distance  {
                    # на входе -- номера словоформ и ссылки на
                    # списки вхождений. На выходе -- расстояние,
                    # вычисляемое по формуле min(|b-a-pb+pa|)
                    #                       pb,pa
                    # (pb и pa -- позиции слов b и a)
      my ($a,$b,$lista,$listb)=@_;
      my ($pa,$pb,$min,$curmin);
      $min=10000;
      foreach $pa (@$lista)
      {
        foreach $pb (@$listb)
        {
           $curmin=abs($b-$a-$pb+$pa);
           $min= $curmin if $curmin<$min;
        }
      }
      return $min;
   
   }
   
   sub relevance {
                 # На входе -- количество искомых словоформ -1 и
                 # ссылка на hash, ключи которого --
                 # номера словоформ, а значения -- списки вхождений
   
          my ($n,$words,$frequence)=@_;
          my $relevance=0;
          my ($first,$second,$d);
          foreach $first (0..$n)
          {
            $relevance+=scalar @{$$words{$first}}+1000+1000/$$frequence[$first]
   if $$words{$first};
            foreach $second ($first+1..$n)
            {
               $d=&distance($first,$second,$$words{$first},$$words{$second});
               $relevance+=($d>10?0:10-$d)*10;
            }
          }
          return $relevance;
   }
   
   
   
 # Returns list of QuestionId's, that have the search string in them.  # Returns list of QuestionId's, that have the search string in them.
 sub Search {  sub Search {
         my ($dbh, $sstr) = @_;          my ($dbh, $sstr,$metod,$all,$allnf) = @_;
         my (@arr, @Questions, @fields);          my (@arr, @Questions, @fields);
         my (@sar, $i, $sth);          my (@sar, $i, $sth,$where);
   
 #       push @fields, 'Question';  #       push @fields, 'Question';
         foreach (qw/Question Answer Sources Authors Comments/) {  
           if ($metod eq 'rus')
           {
                my @tasks=russearch($dbh,$sstr,$all,$allnf);
                return @tasks
           }
   
   
   ###Simple and advanced query processing. Added by R7
           if ($metod eq 'simple' || $metod eq 'advanced') 
           {
           foreach (qw/Question Answer Sources Authors Comments/) {
                 if (param($_)) {                  if (param($_)) {
                         push @fields, "IFNULL($_, '')";                          push @fields, $_; 
                 }                  }
         }          }
   
         @sar = split " ", $sstr;  
         for $i (0 .. $#sar) {             @fields=(qw/Question Answer Sources Authors Comments/) unless scalar @fields;
              my $fields=join ",", @fields;
              my $q=new Text::Query($sstr,
                    -parse => 'Text::Query::'. 
                      (($metod eq 'simple') ? 'ParseSimple':'ParseAdvanced'),
                    -solve => 'Text::Query::SolveSQL',
                    -build => 'Text::Query::BuildSQLMySQL',
                    -fields_searched => $fields);
   
              $where=      $$q{'matchexp'};
              my $query= "SELECT Questionid FROM Questions
                   WHERE $where";
              print br."Query is: $query".br if $printqueries;
   
              $sth = $dbh->prepare($query);
            } else
   ######   
            {
   
   
             foreach (qw/Question Answer Sources Authors Comments/) {
                   if (param($_)) {
                           push @fields, "IFNULL($_, '')";
                   }
             }
   
             @sar = split " ", $sstr;
             for $i (0 .. $#sar) {
                 $sar[$i] = $dbh->quote("%${sar[$i]}%");                  $sar[$i] = $dbh->quote("%${sar[$i]}%");
         }            }
   
         my($f) = "CONCAT(" . join(',', @fields) . ")";            my($f) = "CONCAT(" . join(',', @fields) . ")";
         if (param('all') eq 'yes') {            if (param('all') eq 'yes') {
                 $sstr = join " AND $f LIKE ", @sar;                  $sstr = join " AND $f LIKE ", @sar;
         } else {            } else {
                 $sstr = join " OR $f LIKE ", @sar;                  $sstr = join " OR $f LIKE ", @sar;
         }            }
           
         $sth = $dbh->prepare("SELECT QuestionId FROM Questions  my $query="SELECT QuestionId FROM Questions
                 WHERE $f LIKE $sstr ORDER BY QuestionId");                  WHERE $f LIKE $sstr ORDER BY QuestionId";
   print $query if $printqueries;
             $sth = $dbh->prepare($query)
   
           } #else -- processing old-style query (R7)
   
         $sth->execute;          $sth->execute;
         while (@arr = $sth->fetchrow) {          while (@arr = $sth->fetchrow) {
Line 155  sub NoCase { Line 439  sub NoCase {
 }  }
   
 sub PrintSearch {  sub PrintSearch {
         my ($dbh, $sstr) = @_;          my ($dbh, $sstr, $metod) = @_;
    my (@Questions) = &Search($dbh, $sstr);          my @allnf;
           my (@Questions) = &Search($dbh, $sstr,$metod,$all,\@allnf);
         my ($output, $i, $suffix, $hits) = ('', 0, '', $#Questions + 1);          my ($output, $i, $suffix, $hits) = ('', 0, '', $#Questions + 1);
   
           my $shablon;
   
   
           if ($metod eq 'rus')
           {
              my $where='0';
              $where.= " or w2=$_ " foreach @allnf;
              my $query="select w1 from nests where $where";
              my $sth=$dbh->prepare($query);
   print "$query" if $printqueries;
   
              $sth->execute;
              my @shablon;
              while (my @arr = $sth->fetchrow)
              {
                push @shablon,"(?:$arr[0])";
              }
              $shablon= join "|", @shablon; 
              $shablon=~s/[её]/\[ЕЁ\]/gi;
   #           $shablon=~s/([йцукенгшщзхъфывапролджэячсмитьбюЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ])/&NoCase($1)/ge;
              $shablon=qr/$shablon/i;
              print "!$shablon!",br if $printqueries;
           }
   
   
   
         if ($hits =~ /1.$/  || $hits =~ /[5-90]$/) {          if ($hits =~ /1.$/  || $hits =~ /[5-90]$/) {
                 $suffix = 'й';                  $suffix = 'й';
         } elsif ($hits =~ /1$/) {          } elsif ($hits =~ /1$/) {
Line 176  sub PrintSearch { Line 487  sub PrintSearch {
   
         $sstr =~ s/(.)/&NoCase($1)/ge;          $sstr =~ s/(.)/&NoCase($1)/ge;
   
         my(@sar) = split(/\s/, $sstr);          my(@sar) = split(' ', $sstr);
         for ($i = 0; $i <= $#Questions; $i++) {          for ($i = 0; $i <= $#Questions; $i++) {
                 $output = &PrintQuestion($dbh, $Questions[$i], 1, $i + 1, 1);                  $output = &PrintQuestion($dbh, $Questions[$i], 1, $i + 1, 1);
                   if (param('metod') eq 'rus')
                   { 
                        $output=~s/\b($shablon)\b/\<strong\>$1\<\/strong\>/gi;
                   } else {
                 foreach  (@sar) {                  foreach  (@sar) {
                         $output =~ s/$_/<strong>$&<\/strong>/gs;                          $output =~ s/$_/<strong>$&<\/strong>/gs;
                 }                  }}
                 print $output;                  print $output;
         }          }
 }  }
Line 465  sub GetQNum { Line 780  sub GetQNum {
         $sth->execute;          $sth->execute;
         return ($sth->fetchrow)[0];          return ($sth->fetchrow)[0];
 }  }
   sub GetMaxQId {
           my ($dbh) = @_;
           my ($sth) = $dbh->prepare("SELECT MAX(QuestionId) FROM Questions");
           $sth->execute;
           return ($sth->fetchrow)[0];
   }
   
 # Returns Id's of 12 random questions  # Returns Id's of 12 random questions
 sub Get12Random {  sub Get12Random {
    my ($dbh, $type, $num) = @_;     my ($dbh, $type, $num) = @_;
         my ($i, @questions, $q, $t, $sth);          my ($i, @questions, $q, $t, $sth);
         my ($qnum) = &GetQNum($dbh);          my ($qnum) = &GetMaxQId($dbh);
         my (%chosen);          my (%chosen);
         srand;          srand;
                   
Line 599  MAIN: Line 920  MAIN:
                 print &Include_virtual("../dimrub/db/reklama.html");                  print &Include_virtual("../dimrub/db/reklama.html");
         }          }
   
   if ($^O =~ /win/i) {
           $thislocale = "Russian_Russia.20866";
   } else {
           $thislocale = "ru_RU.KOI8-R";
   }
   POSIX::setlocale( &POSIX::LC_ALL, $thislocale );
   
   if ((uc 'а') ne 'А') {print "Koi8-r locale not installed!\n"};
   
   
         if ($text) {          if ($text) {
                 print header('text/plain');                  print header('text/plain');
         }          }
Line 629  EOT Line 960  EOT
                         print &PrintRandom($dbh, $type, $qnum, $text);                          print &PrintRandom($dbh, $type, $qnum, $text);
                 }                  }
         } elsif (param('sstr')) {          } elsif (param('sstr')) {
                 &PrintSearch($dbh, param('sstr'));                  &PrintSearch($dbh, param('sstr'), param('metod'));
         } elsif (param('all')) {          } elsif (param('all')) {
                 print &PrintAll($dbh, 0);                  print &PrintAll($dbh, 0);
         } elsif (param('from_year') && param('to_year')) {          } elsif (param('from_year') && param('to_year')) {
Removed from v.1.11  
changed lines
  Added in v.1.23

FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>