Altavista | Excite | HotBot | InfoSeek | Lycos | OpenText | WebCrawler | |
Тип | Полнотекстовая | Полнотекстовая | Полнотекстовая | Полнотекстовая | Абстрактная | Полнотекстовая | Полнотекстовая |
Размер | 30 миллионов | 55 миллионов | 54 миллиона | 20-50 миллионов | 20-25 миллионов | 5 миллионов | 2 миллиона |
Период обновления | от 1 дня до 3 месяцев | 1 - 3 недели | не позднее 3 недель | от минут до месяца | ещемесячное обновление | 1 - 4 недели | еженедельное обновление |
Дата индексирования документа | Да | Нет | Да | Нет | Нет | Нет | Нет |
Указанные (submitted) страницы | 1 день | 1 неделя | 3 недели | 1 месяц | 1 месяц | 2 - 4 недели | 2 - 4 недели |
Неуказанные (non-submitted) страницы | 1 - 3 месяца | 3 недели | 3 недели | 1 месяц | 1 месяц | 2 4 недели | 2 4 недели |
Глубина индексирования | Неограничена | Неограничена | Неограничена | Неограничена | Неограничена | Ограничена популярностью того или иного сервера | |
Поддержка фреймов | Нет | Да | Нет | Да | Да | Нет | Нет |
Поддержка ImageMap | Да | Нет | Нет | Да | Да | Нет | Да |
Защищенные паролями директории и сервера | Нет | Да | Нет | Да | Да | Нет | Нет |
Частота появления ссылок | Нет | Нет | Да | Нет | Да | Нет | Да |
"Обучаемость" | Да | Нет | Да | Да | Нет | Нет | Нет |
Контроль индексации | robots.txt | robots.txt (в будущем и метаданные) | И то, и другое | robots.txt | robots.txt | robots.txt | И то, и другое |
Перенаправление (redirect) | Поддерживает | Поддерживает | Поддерживает | ||||
Стоп-слова | Да | Да | Да | Нет | Да | Нет | Нет |
Влияние на алгоритм определения релевантности | Нет | Ключевые слова в метаданных | Нет | Нет | Нет | Частота появления ссылок | |
Spam-штрафы | Да | Да | Да | Да | Да | Да | Да |
Поддержка META-тагов | Да | Нет | Да | Да | Да | Нет | Только NOINDEX таг |
Title | Заголовок страницы или No Title | Заголовок страницы или Untitled | Заголовок страницы или URL | Заголовок страницы или первая строка документа | Заголовок страницы или первая строка документа | Первые 100 символов из документа | Заголовок страницы или URL |
Description | Метатаг или первые несколько строк из документа | Формируется из наиболее релевантных к запросу фраз документа | Метатаг или первые несколько строк документа | Метатаг или первые 200 символов после тага <body> | Метатаг или экстакт из содержимого страницы | Первые 100 символов документа | Создается из содержания; обещается поддержка метатагов в будущем |
Проверка статуса URL | Да | Нет | Нет | Нет | Да | Нет | Да |
Удаление старых данных | Удалить содержимое и указать новый адрес | Удалить содержимое или переписать robots.txt | Переписать robots.txt | Удалить содержимое и указать новый адрес или переписать robots.txt | |||
Имя поискового робота (Spider User Agent) | Scooter | Architext Spider | Slurp the Web Hound | Side winder | T-rex | Spidey |
Calafia Consulting
Информация приведена по состоянию на начало 1998 года.