Создание файла robots
Что такое robots.txt?
Поисковые системы автоматически получают доступ к веб-страницам в Интернете и получают информацию о них с помощью программы "паук" (также известной как "паук").Вы можете создать простотекстовый файл robots.txt на своем веб-сайте, в котором указать, какие части сайта не хотите, чтобы пауки посещали, чтобы некоторые или все содержимое сайта не были доступны и не включались в поисковые системы, или вы можете указать, что поисковые системы включают только указанное содержимое в robots.txt.Первым файлом, к которому обращаются поисковые системы, является файл robots.txt
Подробнее о файле robots.txt?
Местоположение файла
Файл robots.txt должен быть размещен в корневой папке сайта.Например, когда поисковая система посещает веб-сайт, она сначала проверяет наличие файла robots.txt на этом веб-сайте, и если робот найдет этот файл, он определит пределы его прав доступа на основе содержимого этого файла.Когда поисковые системы и пользователи посещают какой-либо файл, программа wordpress будет активно генерировать robots.txt для поисковых систем и пользователей; если мы загружаем написанный robots.txt на корневую программу сайта, пользователи и пауки поисковых систем посещают файл, который мы загружаем, wordpress больше не будет генерировать этот файл. WordPress создает этот файл только в том случае, если сервер не может найти роботов.
Формат файла
Файл "robots.txt" содержит одну или несколько записей, разделенных пустыми строками (CR, CR / NL или NL в качестве завершающего символа), каждая запись имеет следующий формат: "<field>:<optionalspace><value><optionalspace>" в этом файле можно комментировать с помощью # так же, как и в UNIX.Записи в этом файле обычно начинаются с одной или нескольких строк User-agent, за которыми следуют несколько строк Disallow, которые детализируются следующим образом: User-agent: Значение этого элемента используется для описания имени робота поисковой системы.Если в файле robots.txt имеется несколько записей User-agent, то это означает, что протокол регулирует несколько роботов.Таким образом, в файле robots.txt должна быть хотя бы одна запись User-agent.Если значение этого элемента установлено в * (wildcard), то протокол действителен для любого робота поисковой системы.В файле "robots.txt" может быть только одна запись типа "User-agent:" Disallow: Значение этого элемента используется для описания URL-адреса, к которому не нужно обращаться. Этот URL-адрес может быть полным или частичным. Любые URL-адреса, начинающиеся с Disallow, не будут доступны роботам.Например, "Disallow: / help" не разрешает поисковым системам доступ к / help.html и / help / index.html, а "Disallow: / help /" разрешает роботам доступ к / help.html, но не к / help / index.html.Пустая запись Disallow означает, что доступ ко всем частям сайта разрешен, и в файле "/ robots.txt" должна быть по крайней мере одна запись Disallow.Если "/ robots.txt" является пустым текстом, то сайт открыт для всех роботов поисковых систем.
Общая экрана
Блокировать страницы конфиденциальности, фоновые страницы входа, страницы кэша, каталог изображений, каталог css, страницы шаблонов, блокировать содержимое двойной страницы, в то же время можно заблокировать некоторые страницы низкого качества, такие как все страницы пользовательского пространства членов Golden Network, динамические ссылки dz также могут быть настроены.Настройка выполняется с помощью команды Disallow:.