Статьи

Последние статьи компании «Карельский разработчик»
Robots.txt. Что это и для чего?

Robots.txt. Что это и для чего?

Файл robots.txt — это простой текстовый файл, который используется для управления доступом веб-роботов (или "пауков") к различным частям веб-сайта. Его история начинается в начале 1990-х годов, когда интернет только начинал развиваться, и веб-сайты начали появляться в большом количестве.
Читать