Jump to content


Photo

ffsearch - поиск по FTP: просьба админам серверов добавить свои FTP в базу


  • Please log in to reply
51 replies to this topic

#1 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 18 May 2006 - 03:31

Новая версия индексатора: ftp://10.128.1.5/appz/!new/ftpindex/
Новый адрес поиска по FTP: http://rssp.findpro.net/


↓ИНФОРМАЦИЯ ВНИЗУ УСТАРЕЛА↓


Из-за различных проблем с ffsearch было принято решение сбросить базу и начать все сначала.
В связи с этим просьба всем у кого установлен FTP сервер в локальной сети, зайти по адресу:

http://10.128.1.2/ff...ost.php?lang=ru

и добавить там свой сервер.

Напоминаю, что полное сканирование производится в 8 утра раз в сутки, желательно чтобы ваш сервер в это время был включен. Инкрементальное сканирование производится 4 раза в сутки, в 00, 12, 16 и 20 часов.

Внимание: если вы используете сервер FileZilla, то русские имена будут индексироваться некорректно, т.к. FileZilla выдает их в UTF, а ffsearch UTF не понимает. Либо поменяйте FTP сервер, либо настройте локальную индексацию как описано ниже!
P.S. Как вариант, можно использовать не Unicode версию FileZilla, это все версии ниже 0.9.15 или версия собранная из исходников с выключенным Unicode.


Если ваш сервер недоступен 20 сканирований подряд, то он автоматически удаляется из списка.

Проверка онлайн статуса производится каждые 20 минут.

В ffsearch есть глюк что он при просмотре FTP папок on-line неправильно отображает начальный каталог, похоже что это происходит если на FTP есть каталог, имя которого оканчивается пробелом. Просьба не создавать таких каталогов.

Если у вас сервер на Unix, то вы можете сильно снизить нагрузку вызываемую индексацией вашего сервера используя файл индекса. При добавлении сервера можно указать индексный файл, который содержит список всех файлов и каталогов вашего FTP, например как /index.gz. Файл содержит рекурсивный вывод команды ls.

Вот пример скрипта, который можно поместить в /etc/cron.daily, чтобы индекс обновлялся ежедневно:
#!/bin/sh
cd /корень_вашего_сервера
ls -alLR > index
rm -f index.gz
gzip index

Линуксоидам у кого локаль не windows-1251 необходимо перекодировать файл в 1251 кодировку используя iconv или что-нибудь подобное.

Я также написал утилитку, которая может генерировать index.gz под Windows. Лежит здесь: ftp://10.128.1.2/pub/appz/ftpindex в архиве ftpindex.zip. Внимательно читайте инструкции внутри в readme.txt. Чтобы сделать запуск по расписанию можно использовать программу nncron, лежит там же (для русских пользователей бесплатная). Вот скриншот с примерами настройки для моего ftp:

Настройка путей в nncron для автоматического запуска:

Attached File  snap288.png   6.18KB   3 downloads

Запуск в 22.00 ежедневно:

Attached File  snap289.png   7.44KB   3 downloads

Настройка mounts.conf для программы индексирования (подробнее смотри в readme.txt):

Attached File  snap290.png   4.92KB   3 downloads

А это как настроен FTP сервер (Gene6 FTP) чтобы было видно соответствие с mounts.conf

Attached File  snap291.png   25.03KB   3 downloads

Параметры при добавлении в ffsearch:

Attached File  snap292.png   8.65KB   48 downloads



P.S. В результате расследования была обнаружена проблема из-за которой не индексировались многие FTP сервера. Стояли слишком маленькие таймауты на неактивность соединения с базой данных, а ffsearch не умеет его восстанавливать. Сейчас все сервера должны индексироваться нормально.

В любом случае, настоятельно рекомендуется настроить локальную индексацию!
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#2 Dron

Dron

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 1376 posts
0
Обычный
  • Пол:Мужчина
  • Город:Жукова

Posted 18 May 2006 - 08:03

наконец то поиск будет полным и без глюков ура ура ура!!!! :)
  • 0

#3 Damon

Damon

    Ваше название статуса

  • True Members
  • PipPipPipPipPip
  • 3320 posts
0
Обычный
  • Пол:Мужчина
  • Город:77.244.212.***
  • Интересы:Проверить длину

Posted 18 May 2006 - 15:03

посоветуйте прогу "фтп сервер"
...желательно не особо мудренную.
я ставил около 5 :) три что то оказлись слишком трудными для меня..
одна отказалась запускаться...а одна чтото мне не понравилась в работе.
  • 0
=)

#4 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 18 May 2006 - 15:23

Gene6 FTP:
_ftp://10.128.1.2/pub/0-day-WareZ/Gene6 FTP Server 3.6/Gene6.FTP.Server.3.8.0.34.rar
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#5 swein

swein
  • Guests

Posted 18 May 2006 - 15:57

серж юзай DC++ =)
этот ффсерч как мертвому припарки... всеравно таймауты, косяки, пропадание серверов никогда не дадут шустрого (и главное актуального) поиска в realtime
  • 0

#6 Гость

Гость
  • Guests

Posted 18 May 2006 - 18:01

Уж лучше тогда торрент трекер сделать локальный =)
  • 0

#7 Arnis

Arnis

    http://shoudao.spb.ru

  • True Members
  • PipPipPipPipPip
  • 1292 posts
4
Обычный
  • Город:Ленинский

Posted 18 May 2006 - 23:30

На мой взгляд в общих интересах вообще отключить удаленное сканирование. Это только лишнее время и расход процессорного времени сервера. Настроить локальную индексацию ничего не стоит.
  • 0
Carl Zeiss Planar 50/1.4, Carl Zeiss Distagon 28/2.8, Юпитер-21М 200/4, Мир-24М 35/2.0, Гелиос-44-2 58/2.0, Voigtländer APO Lanthar 90/3.5, Takumar SMC 55/1.8, Minolta MC Rokkor 58/1.2, Minolta MC Rokkor-X 50/1.7, Konica AR 50/1.8

#8 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 19 May 2006 - 10:13

Согласен, особенно это актуально для дружественных сетей, с которыми скорость коннекта лимитирована.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#9 Arnis

Arnis

    http://shoudao.spb.ru

  • True Members
  • PipPipPipPipPip
  • 1292 posts
4
Обычный
  • Город:Ленинский

Posted 19 May 2006 - 10:42

Чего-то меня не проиндексировало до сих пор... ftp://192.168.1.246
  • 0
Carl Zeiss Planar 50/1.4, Carl Zeiss Distagon 28/2.8, Юпитер-21М 200/4, Мир-24М 35/2.0, Гелиос-44-2 58/2.0, Voigtländer APO Lanthar 90/3.5, Takumar SMC 55/1.8, Minolta MC Rokkor 58/1.2, Minolta MC Rokkor-X 50/1.7, Konica AR 50/1.8

#10 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 19 May 2006 - 10:58

Это проблема с маршрутизацией в сеть 192.168.1.0 с моего сервера (есть там некоторые тонкости). Пока не знаю, могу я это пофиксить сам или надо пинать Хотида. Сейчас попробую =)

Вроде пофиксил, щас запущу индексацию.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#11 miver

miver

    красноглазег

  • Moderators
  • PipPipPipPipPip
  • 3851 posts
75
Хороший
  • Пол:Мужчина
  • Город:Арбиталь
  • Интересы:Linux FreeBSD домашние сети

Posted 19 May 2006 - 11:14

у мну filezilla 9.10, полет нормальный, индексирование успешно
  • 0

#12 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 19 May 2006 - 11:20

Ага, переход на Unicode там произошел в версии 0.9.15.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#13 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 20 May 2006 - 14:09

Владельцам FTP 10.4.20.63 и 10.4.20.45, а также 10.128.12 (deepweb) и других (не swnet): убедительная просьба настроить локальную индексацию как описано выше, из-за тормозов сети индексация ваших фтп может проходить довольно долго. С файлом индекса она бы заняла минуту, из них сама передача файла с вашего сервера - несколько секунд!

Если у вас с этим проблемы, некому заняться, не умеете, лениво, не знаете как, обратитесь ко мне, я помогу.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#14 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 20 May 2006 - 14:35

P.S. все проиндексировалось кроме 10.4.20.45, с ним какие-то проблемы, зависает.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#15 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 20 May 2006 - 15:40

10.4.20.45 временно удален из списка пока админ не сделает файл индекса или не разберется почему сканирование его FTP повисает.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#16 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 21 May 2006 - 01:25

10.4.20.51 также удален, сканирование занимает больше получаса. Настройте локальный индекс и тогда уже добавляйте.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#17 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 21 May 2006 - 12:15

На 10.65.132.33 проблемы с кодировкой русских имен, разберитесь.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)

#18 Jimi

Jimi

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 234 posts
0
Обычный

Posted 21 May 2006 - 15:31

Кстати, мне кажется или световую гамму немного изменили на страничке поиска?
  • 0
Главная фраза Амаяка Акопяна: - А сейчас надо обязательно дунуть! Если не дунуть - никакого чуда не произойдет!

#19 Anakonda

Anakonda

    Super True Member

  • True Members
  • PipPipPipPipPip
  • 1538 posts
124
Очень хороший
  • Пол:Мужчина
  • Город:Кировский Завод (там где танки делали)

Posted 21 May 2006 - 15:38

Serge да еще можешь сделать для чайников какие сервера платные а какие бессплатные ,подписать их!
  • 0
Размещенное изображение

#20 Serge

Serge

    Одмин

  • Admin
  • PipPipPipPipPip
  • 7126 posts
9046
Очень хороший
  • Пол:Мужчина
  • Город:Питер

Posted 21 May 2006 - 18:17

Кстати, мне кажется или световую гамму немного изменили на страничке поиска?

Ага, есть немного =)

Serge да еще можешь сделать для чайников какие сервера платные а какие бессплатные ,подписать их!

Да все вроде бесплатные должны быть.
  • 0
ftp://10.128.1.5 (новый мега сервер на 38TB)


0 user(s) are reading this topic

0 members, 0 guests, 0 anonymous users