Новости:
- Инструменты
- Узнать ip-адрес
- Анализ контента
- Синонимайзер
- Cкорости загрузки
- Генерация robots.txt
- Еще ▼
- Генератор Meta-тегов
- Информеры
- Массовая проверка тИЦ и PR
- Определение длины текста
- Проверка контента на уникальность
- Создать favicon
- Графический редактор
- Конвертор Punycode
- Генерация QR-кодов
- Шифрование
- Шифрование HTML кода
- Проверка скорости интернета
- Просмотр заголовков сервера
- Проверка состояния сайта
- CSS компрессор
- JavaScript компрессор
Генерация файла robots.txt
Файл robots.txt создается на сайте для указания поисковым роботам, какие каталоги следует учитывать при индексации, а какие - нет. Файл должен находиться в домашней директории.
индексировать сайт c задержкой в сек.Карта сайта:
Разрешить этим роботам индексировать сайт:
Запретить индексировать пути
Ваш Robots.txt