Краулинговый бюджет

Число страниц, которое робот готов обойти на сайте за отрезок времени.

Заметен на сайтах от десятков тысяч страниц. Съедается мусорными адресами: фильтрами, сортировками, дублями с параметрами, бесконечными редиректами.