Jump to content


Photo

Вопрос по новому поиску


  • Please log in to reply
102 replies to this topic

#81 Dr Death

Dr Death

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 2527 posts
23
Обычный
  • Пол:Мужчина
  • Город:Спб

Posted 25 September 2006 - 23:23

гм у сержа на поиске мой фтпшник индексировался вовремя и в полном обьеме, каким таким макаром идет индексация на новом, не имею ни малейшего представления, однако видно что более половины файлов он не видит. Может кто нибудь скажет каким образом новый поисковик отлавливает файл индекса?
зы:сначала радовался красивому дизайну, простоте нового поиска, но постепенно пришол к выводу, что у старого кпд был повыше,намного повыше, эх...
  • 0

#82 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 25 September 2006 - 23:28

Люди мой сервер занесли в список серверов http://ftpsearch.dee...?action=servers
но как зделать так чтобы там показывалось сколько обьём файлов и показывалось что сервер онлайн?
Мой сервер ftp://10.128.5.124/
Тему из Оффтопа перенесли сюда. //Jarry


58 10.128.5.124 Открыть Браузинг 12252 86.45 Гб 1 0

А это что \=
  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#83 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 25 September 2006 - 23:33

гм у сержа на поиске мой фтпшник индексировался вовремя и в полном обьеме, каким таким макаром идет индексация на новом, не имею ни малейшего представления, однако видно что более половины файлов он не видит. Может кто нибудь скажет каким образом новый поисковик отлавливает файл индекса?
зы:сначала радовался красивому дизайну, простоте нового поиска, но постепенно пришол к выводу, что у старого кпд был повыше,намного повыше, эх...


Хм интересное заявление.

index.gz он парсит это указывается настройках которые будут доступны админам серов в новой версии.

Покажи какие файлы он не видит =) по браузь по серверам и покажи! созданные за последнии сутки не актуально.

КПД =) я ещё раз спрашиваю чего вам не хватает!! заметьте я даже создавал тему с предложениями которые все реализовал а щас кто то говорит про КПД, прошу конкретнее что не находит что не видит что не индексирует.
  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#84 Dr Death

Dr Death

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 2527 posts
23
Обычный
  • Пол:Мужчина
  • Город:Спб

Posted 25 September 2006 - 23:40

счас там вообще 0 у меня (41 номер в списке серверов) и у ещё примерно половины из списка) люди держат пустые фтп?) бывает,
мне лично всего хватает, отписал свои впечатления от пользования, не более.
  • 0

#85 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 25 September 2006 - 23:43

Пример файла парсинга.... gz что бы сомнений не было... Естественно щас он уже другой но и этот вариант показывал хороший результат парса 200 запросов в секунду.

<?

include "function.php";
include "includes\swich.php";
set_time_limit (0); // it may take long to index everything.
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
$fp = fopen("compress.zlib://ftp://10.128.1.2/index.gz", "r");
#index.gz","r");
#ftp://10.128.1.2/index.gz", "r");
$var = array();
$contents = '';
while (!feof($fp)) {
  $contents .= fread($fp, 8388608);
}
fclose($fp);
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
preg_match_all("/^(.*)$/m", $contents , $arr);  #делаем масив по строкам
$contents = "";
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
$arr_dir = preg_grep("/^$/", $arr[0]); #делаем массив из разделителей \n\n
$date = date ("Y-m-d H:i:s");
echo "$date <br>";

$count_dat = 0;
$key_prev = 0;
foreach ($arr_dir as $key => $val){
$key_dat0["$count_dat"] = $key_prev;
$key_dat1["$count_dat"] = $key - 1;
$count_dat++;
$key_prev = $key + 1;
}
$arr_dir = "";
/* имеем 2 массива
$arr построчный
$key_dat[номер блока] [0]начало блока [1] конец блока
*/
$date = date ("Y-m-d H:i:s");
echo "$date <br>";

$arr[1][0] = "./:";
$id = 1;

/*
$data [$id]['IDFile'] = 0;
$data [$id]['IDResource'] =0;
$data [$id]['FileName'] ="";
$data [$id]['URLPath'] ="";
$data [$id]['IsDirectory'] =0;
$data [$id]['IDParentDir'] =0;
$data [$id]['FileSize'] =0;
$data [$id]['eff_d'] ="";
$data [$id]['counter'] =0;
*/
$url = "ftp://10.128.1.2";

$date = date ("Y-m-d H:i:s");
echo "$date <br>";
foreach ($key_dat0 as $key => $val){
		  $i = $val + 2;
		  $end = $key_dat1[$key];
		  preg_match("/^\.(.*)\/(.*):$/", $arr[1][$val] , $dir);
		  $key_updir1 = array_search(".$dir[1]:", $arr[1]);
		  $id_updir = array_search("$key_updir1", $key_dat0);
		  $id_old_new[$key] = $id;

/*
			 IDFile  int(11)	 Нет	auto_increment
   IDResource  int(11)	 Нет  0
   FileName  varchar(255) cp1251_general_ci   Нет
   URLPath  varchar(255) cp1251_general_ci   Нет
   IsDirectory  tinyint(4)	 Нет  0
   IDParentDir  int(11)	 Да  NULL
   FileSize  bigint(20)	 Да  NULL
   eff_d
   counter
*/


$db->sql_query("INSERT INTO file_tmp VALUES (
NULL,
'0',
'$dir[2]',
'$url$dir[1]/$dir[2]',
'1',
'$id_old_new[$id_updir]',
'0',
'$date',
'0')");


/*
$data [$id]['IDFile'] = $id;
$data [$id]['IDResource'] =0;
$data [$id]['FileName'] ="$dir[2]";
$data [$id]['URLPath'] ="$url$dir[1]/$dir[2]";
$data [$id]['IsDirectory'] =1;
$data [$id]['IDParentDir'] =$id_old_new[$id_updir];
$data [$id]['FileSize'] =0;
$data [$id]['eff_d'] = $date;
$data [$id]['counter'] =0;
*/

for ( $i; $i <= $end; $i++ ){
	   $tmp = $arr[1][$i];
	   if (preg_match("/^[^d\s]* \s+(\d{1}) \s+(\w*) \s+(\w*) \s+(\d+) \s+(\w*) \s+(\d+) \s+([\d:]+)	\s*(.*)  /x", $tmp , $y)){
	   #$tmp_arr =  sscanf ($tmp, "%s %d %s %s %d %s %d %s %s" );
	   #$tmp_arr = explode (" ", $tmp , 8);
	   $id++;



$db->sql_query("INSERT INTO file_tmp VALUES (
NULL,
'0',
'$y[8]',
'$url$dir[1]/$dir[2]/$y[8]',
'0',
'$id_old_new[$key]',
'$y[4]',
'$date',
'0')");

 /*
		   $data [$id]['IDFile'] = $id;
		   $data [$id]['IDResource'] =0;
		   $data [$id]['FileName'] ="$y[8]";
		   $data [$id]['URLPath'] ="$url$dir[1]/$dir[2]/$y[8]";
		   $data [$id]['IsDirectory'] =0;
		   $data [$id]['IDParentDir'] =$id_old_new[$key];
		   $data [$id]['FileSize'] = $y[4];
		   $data [$id]['eff_d'] = $date;
		   $data [$id]['counter'] =0;
  */
	   }
}
#echo "$id<br>";

$id++;
}


$id--;
echo "<pre>";
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
#print_r($data[0]);
#print_r($data[$id]);

#print_r($arr);
echo "</pre>";

#var_dump($contents);


?>

  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#86 Taciturn

Taciturn

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 11550 posts
924
Очень хороший
  • Пол:Мужчина
  • Город:185.115.97.177, Ленинский 96/1

Posted 25 September 2006 - 23:43

Поле комментариев в списке серверов уже не раз просили, проигнорировано.
Вопрос что такое «ХЗ» «ХЗ2» тоже был проигнорирован…
  • 0

#87 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 25 September 2006 - 23:47

счас там вообще 0 у меня (41 номер в списке серверов) и у ещё примерно половины из списка) люди держат пустые фтп?) бывает,
мне лично всего хватает, отписал свои впечатления от пользования, не более.


Ах вот ты почему =))) так нет просто люди они читать не любят =) и роутинг править не хотят вот смотри....


http://swnet.spb.ru/...?showtopic=5779


Естественно работать не будет каждые 10 минту cron запускает скрипт...

<?php
require_once("function.php");
error_reporting(0);
$result = $db->sql_query("SELECT IPAddr FROM Resources");
if ($db->sql_numrows($result) > 0) {
while ($row = $db->sql_fetchrow($result)) {
$ip   =  stripslashes($row['IPAddr']);
$port = "21";
$tim = "5";
$tcpconn = fsockopen($ip,$port,$tim,$tim,$tim);
if ($tcpconn) {
$stas = "1";
fclose($tcpconn);
} else {
$stas = "0";
}
$db->sql_query("update Resources set LastAttemptOk='$stas' where IPAddr='$ip'");
}
}

$dep = date("d.m.Y H:i:s ");
$act = '3';
$re = 'Проверка статуса';
$db->sql_query("INSERT INTO cron_log VALUES (NULL, '$dep', '$act', '$re')");
?>


И истественно если по 21 порту не открыть конект с твоим IP то всё в список скана он не попадает.
Проверяй маршруты.
  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#88 Dr Death

Dr Death

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 2527 posts
23
Обычный
  • Пол:Мужчина
  • Город:Спб

Posted 25 September 2006 - 23:52

n176ip-static-190.rssp-net.spb.ru
гм ето не ты часом?
ссылку не видел, мой промах, сорри
скажу честно в маршрутизации мне разбираться неохота, вот еслибы кто нибудь написал, что прописать надо,
хм, кстати вспомнил, в первые дни работы поиска, часть моих файлов поиск видел, я вроде об етом отписывал в коментариях.
  • 0

#89 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 25 September 2006 - 23:56

Да именно... Про КПД напиши что не устраивает?
  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#90 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 25 September 2006 - 23:58

Поле комментариев в списке серверов уже не раз просили, проигнорировано.
Вопрос что такое «ХЗ» «ХЗ2» тоже был проигнорирован…


Это ХЗ1 Х32

Удачные и не удачные попытки конектов одного из кронов. Поясняю попросту отладочная информация для разработчиков а ХЗ ХЗ потому что буква ха и зе рядом случайно.
  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#91 Dr Death

Dr Death

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 2527 posts
23
Обычный
  • Пол:Мужчина
  • Город:Спб

Posted 26 September 2006 - 00:13

Да именно... Про КПД напиши что не устраивает?

было бы смешно, еслибы не так грустно)) ты у меня забанен был...давно уже.
кпд...всё просто, мне не важно как быстро мне выдадут ответ "ничего не найдено", я согласен подождать...,как понимаешь мнение чисто субьективное, я понимаю что может дело, в том что старая база серверов побольше была или ещё в чем...
Кста, спс, что ответил на вопросы.
  • 0

#92 deepweb

deepweb

    Дипыч

  • Admin
  • PipPipPipPipPip
  • 1639 posts
42
Обычный
  • Пол:Мужчина
  • Город:Санкт-Петербург

Posted 26 September 2006 - 01:40

Видимо да. Твое мнение сложилось из за того что в списке много серверов без индекса и твой в том числе и ты думал что программа работает не на 100%. Ну так вот мой коментарий к этому я не раз говорил что следует правильно настраивать маршрутизацию и если программа не может получить доступ тут уж не она виновата и не я её автор а владелец сервера который не может проследить за роутингом вот я делаю всё что возможно и почти раз в день добавляются новые сервера и совершенствуется поиск.
  • 0
на всём готовеньком ты счастлив ли дурак?

IPTV online

#93 Subaru

Subaru

    Sensei.

  • True Members
  • PipPipPipPipPip
  • 2532 posts
0
Обычный
  • Город:Deep Space
  • Интересы:Киберпространственная нейролингвистика.

Posted 26 September 2006 - 09:06

Мда...

Люди, кто держит ФТП, расскажите пожалуста, как заставить новый поисковик забирать с ФТП файл index.gz ???
Рано утром поисковик сканирует содержимое сервера, но файл не трогает.
Инструкций на поисковом портале не найдено. Зато там на самом верху красивенькая флэшка. :)
  • 0

#94 123asdqwerty

123asdqwerty

    Super True Member

  • Moderators
  • PipPipPipPipPip
  • 12588 posts
0
Обычный
  • Пол:Мужчина
  • Город:spb

Posted 26 September 2006 - 09:56

Мда...

Люди, кто держит ФТП, расскажите пожалуста, как заставить новый поисковик забирать с ФТП файл index.gz ???
Рано утром поисковик сканирует содержимое сервера, но файл не трогает.
Инструкций на поисковом портале не найдено. Зато там на самом верху красивенькая флэшка. :)

Ну,красивая флэшка - первый шаг на пути к совершенству! =)
  • 0
строю сети за еду

#95 Subaru

Subaru

    Sensei.

  • True Members
  • PipPipPipPipPip
  • 2532 posts
0
Обычный
  • Город:Deep Space
  • Интересы:Киберпространственная нейролингвистика.

Posted 01 November 2006 - 12:14

а вот бы нам вот так вот оформить поисковик:

http://www.msdewey.com/
  • 0

#96 123asdqwerty

123asdqwerty

    Super True Member

  • Moderators
  • PipPipPipPipPip
  • 12588 posts
0
Обычный
  • Пол:Мужчина
  • Город:spb

Posted 01 November 2006 - 12:50

а вот бы нам вот так вот оформить поисковик:

http://www.msdewey.com/

ЗАЧОТ!
Даёшь такой же поиск!
Только нам заморской Ms. Dewey даром не нать.
Пущай нам там Андрей с Хотидом подмигивают яростно и рожи всяческие корчат. ))))
  • 0
строю сети за еду

#97 Igor Diakonov

Igor Diakonov

    Super True Member

  • Admin
  • PipPipPipPipPip
  • 10191 posts
226
Очень хороший
  • Пол:Мужчина
  • Город:SPB

Posted 01 November 2006 - 13:13

а вот бы нам вот так вот оформить поисковик:

http://www.msdewey.com/

Ну нах...он у меня на 256 минуты 2 грузился.....
  • 0

#98 123asdqwerty

123asdqwerty

    Super True Member

  • Moderators
  • PipPipPipPipPip
  • 12588 posts
0
Обычный
  • Пол:Мужчина
  • Город:spb

Posted 01 November 2006 - 13:29

Ну нах...он у меня на 256 минуты 2 грузился.....

Дык.
А у нас-то он - локально,и грузиться будет не в пример быстрее...
  • 0
строю сети за еду

#99 _Grey_

_Grey_

    Печеньки

  • True Members
  • PipPipPipPipPip
  • 4396 posts
-1
Обычный
  • Пол:Мужчина
  • Город:ФРБ

Posted 01 November 2006 - 16:49

Да. Неплохой поиск :)
Только само фронт - фейс не в моем вкусе...

(Грузится из-за ролика в фоне и звука имхо)
  • 0

#100 123asdqwerty

123asdqwerty

    Super True Member

  • Moderators
  • PipPipPipPipPip
  • 12588 posts
0
Обычный
  • Пол:Мужчина
  • Город:spb

Posted 01 November 2006 - 17:02

Да. Неплохой поиск :)
Только само фронт - фейс не в моем вкусе...

(Грузится из-за ролика в фоне и звука имхо)

Да ну?
Как догадался? )))))
  • 0
строю сети за еду


1 user(s) are reading this topic

0 members, 1 guests, 0 anonymous users