Кодове на отговори от сървъра — подробна инструкция

Ботовете на търсачките при обхождане на страниците първо виждат кода на отговора на сървъра и едва след това преминават към проверка на съдържанието.

Затова кодовете на състоянията не са само техническа подробност - те са първият сигнал, който казва на Googlebot дали една страница трябва да се индексира, да се пропусне или да се третира като преместена.

Ако не знаете какви кодове връщат страниците на вашия сайт и как да ги проверите, рискувате да губите crawl budget, да задържате в индекса ненужни страници или да загубите позиции при миграция.

В това ръководство ще разгледаме класовете на състоянията, най-важните кодове, обобщителна таблица със SEO ефекта и конкретни насоки кога кой код се използва.

Какво е код на отговор от сървъра?

Кодът на отговор е трицифрено число, което сървърът връща в отговор на заявка от клиент (браузър или бот) и което указва как да се обработи по-нататък исканият ресурс. Кодът често се изписва заедно с кратко текстово описание, например 200 OK или 404 Not Found. Това описание е незадължителна част в съвременния HTTP, но помага на хората да разчетат отговора при достъп до страница или файл на сайта.

Кодовете на отговор при достъп до страница се проверяват най-вече от браузърите и от ботовете на търсачките. За SEO те са критични, защото определят дали и как една страница ще бъде обходена и индексирана.

Как да проверим кода на отговор от сървъра?

Най-бързият начин при работа с Google Chrome е през таба Network на инструментите за разработчици (натиснете F12, отворете Network и презаредете страницата). В колоната Status ще видите кода на всяка заявка в реално време.

За единични проверки са удобни и браузър разширения от типа на Redirect Path или сходни инструменти за преглед на HTTP заглавия. Имайте предвид, че част от по-старите популярни разширения (например Live HTTP Headers) вече не се поддържат активно, затова е по-добре да разчитате на вградените DevTools или на актуално поддържани алтернативи.

За масова проверка по списък с URL адреси използвайте пълноценен crawler или онлайн инструмент:

Какво са класове на състояния?

Класовете на състояния са групи кодове, обединени по общ признак. Класът се определя от първата цифра на кода. Съществуват пет класа.

1. 1xx - информационни. Временни кодове, които информират, че заявката е приета и обработката продължава. В SEO контекст рядко имат практическо значение.

2. 2xx - успех. Заявката е получена и обработена успешно. Всяка страница, която искаме да е в индекса, трябва да връща 200 OK.

3. 3xx - пренасочване (редирект). Ресурсът е на друг адрес и клиентът трябва да отиде там. Тук се разграничават постоянни (301, 308) и временни (302, 307) пренасочвания.

4. 4xx - грешка на клиента. Заявката не може да бъде изпълнена заради нещо на страната на клиента (несъществуващ адрес, липса на права, твърде много заявки).

5. 5xx - грешка на сървъра. Клиентът е направил валидна заявка, но сървърът не може да я обработи по технически причини.

Основни отговори от сървъра

200 OK

Най-важният успешен статус. Означава, че заявката е изпълнена успешно и исканата страница съществува и е достъпна за преглед. Всички страници, които искаме да виждаме в индекса на търсачките, трябва да връщат 200 OK.

301 Moved Permanently

Показва, че страницата е преместена на нов адрес завинаги. Когато адресът на страница, която вече присъства в резултатите от търсене, се променя, се препоръчва да се настрои 301 редирект от стария към новия URL. Google третира 301 като постоянно преместване, консолидира сигналите към новия адрес и с времето заменя стария URL в индекса с новия.

Важно уточнение: 301 не гарантира прехвърляне на пълната „тежест“ едно към едно. Google консолидира каноничния сигнал и по правило прехвърля link equity към целевия адрес, но това не е механично „сливане на 100% от тежестта“ и зависи от релевантността между двете страници. Ако пренасочите стара страница към нерелевантна цел (например всички изтрити продукти към началната страница), Google може да третира това като soft 404 вместо като пълноценен редирект.

302 Found

Показва, че документът е преместен временно на друг адрес. Кодът сигнализира на търсачката, че оригиналната страница трябва да остане в индекса, защото преместването е временно.

302 е сигнал за временно преместване, затова Google обичайно запазва оригиналния URL като предпочитан canonical, вместо да прехвърля сигналите към целевия адрес, както при 301. Ако по погрешка използвате 302 за нещо, което всъщност е постоянно, Google с времето (седмици или месеци) може да го третира като 301 - но това е бавно и ненадеждно. За постоянни промени винаги избирайте 301.

307 Temporary Redirect

Временно пренасочване, което функционално е близко до 302, но със строга гаранция, че HTTP методът се запазва. При 307 заявка с POST остава POST след редиректа (при 302 по-стари клиенти можеха да я превърнат в GET).

За SEO Google третира 307 подобно на 302 - като сигнал за временно пренасочване, при което оригиналният URL обичайно остава предпочитаният canonical, за разлика от постоянните 301 и 308. Кодът 307 се среща често и при HSTS (принудително пренасочване към HTTPS на ниво браузър).

308 Permanent Redirect

Постоянно пренасочване, което е еквивалент на 301, но с гаранция за запазване на HTTP метода. За SEO Google третира 308 като 301 - постоянно преместване, което консолидира каноничния сигнал и прехвърля link equity към целевия адрес.

За обикновени GET страници разликата между 301 и 308 е практически без значение за търсачките. 308 има смисъл предимно при API и форми, където постоянното преместване на endpoint не бива да променя метода на входящите заявки.

304 Not Modified

Важен код от гледна точка на натоварването на сървъра и обема предавани данни. При условна заявка (със заглавие If-Modified-Since, сравнено с Last-Modified) сървърът може да върне 304 Not Modified вместо да изпраща повторно цялото съдържание на ресурса. Клиентът вече е направил заявка към адреса, но получава само HTTP заглавията, което намалява прехвърлените данни и натоварването на сървъра.

За големи сайтове коректното използване на 304 намалява обема предавани данни при повторни обхождания, което е добре за ефективността.

401 Unauthorized

Показва, че заявката изисква автентификация, която липсва или е невалидна. За разлика от 403 (където достъпът е забранен независимо от идентификацията), 401 казва „идентифицирай се и опитай пак“.

403 Forbidden

Отказан достъп. Връща се, когато на клиента е забранен достъпът до ресурса, без значение дали е идентифициран. За случаите, свързани с автентификация, се използват 401 и 407. 403 се показва например при достъп от забранени IP адреси или опит за преглед на системен файл като .htaccess.

404 Not Found

Вероятно най-разпознаваемият код. Означава, че на този URL няма нищо - документът не съществува. Този код трябва да се връща при опит за достъп до несъществуващи документи. Ако страница на заявения адрес е съществувала, но е изтрита и искате изрично да съобщите това, използвайте 410.

Сам по себе си 404 не е SEO проблем - според Google това е технически правилният начин да се обработят несъществуващи URL адреси. Проблем възниква, когато страница, която е имала трафик или входящи връзки, започне да връща 404: тогава натрупаният link equity се губи, а посетителите попадат в задънена улица.

Soft 404

Soft 404 е една от най-подценяваните грешки и заслужава отделно внимание. Това е ситуация, при която страница връща 200 OK, но съдържанието на практика съобщава, че страницата не съществува (например „страницата не е намерена“, „продуктът вече не е наличен“) или е празна и без основно съдържание. Google открива несъответствието чрез анализ на съдържанието и маркира URL адреса като soft 404 в отчета Page Indexing в Search Console, дори когато HTTP кодът е 200.

Защо е важно?

Докато стандартните 4xx кодове (истински 404 и 410) не изразходват crawl budget, soft 404 го изразходват. Google губи ресурс да обхожда страници, които връщат 200, но нямат стойност, вместо да отделя този ресурс за важните ви страници. За големи сайтове това забавя обхождането и намалява видимостта.

Типични причини за soft 404: празни категории или страници с резултати от търсене, изтрити продукти, които все още връщат 200, тънко съдържание, пренасочване към нерелевантна цел, проблеми с рендиране в single-page приложения (JavaScript, който не се зарежда).

405 Method Not Allowed

Показва, че HTTP методът на заявката (например POST, PUT, DELETE) не е разрешен за този ресурс, макар самият ресурс да съществува. Googlebot обикновено обхожда с GET и HEAD, така че 405 рядко влияе директно на индексирането, но може да сигнализира неправилна конфигурация на сървъра.

410 Gone

Показва, че документът е премахнат окончателно и вече не е достъпен. 410 изрично указва, че ресурсът е премахнат за постоянно, докато 404 означава просто, че ресурсът не е намерен. И двата кода са валиден начин да сигнализирате на Google, че съдържанието вече не е достъпно, като 410 е малко по-силният и по-еднозначен сигнал.

На практика Google все пак продължава да проверява такива адреси известно време, така че премахването от индекса не е моментално.

429 Too Many Requests

Показва, че клиентът е изпратил твърде много заявки за кратък период и сървърът временно ограничава достъпа (rate limiting). Кодът е пряко свързан с crawl budget: ако сървърът връща 429 на Googlebot, ботът намалява темпото на обхождане, което може да забави индексирането на нови и обновени страници.

451 Unavailable For Legal Reasons

Означава, че достъпът до ресурса е ограничен по правни причини - забрана на държавно ниво, съдебно решение или нарушаване на авторски права. 451 е уточняващ вариант на 403.

500 Internal Server Error

Обща вътрешна грешка на сървъра, която не е описана от останалите кодове от този клас. Възниква, когато сървърът се сблъска с проблем, който не му позволява да изпълни заявката - например грешка в конфигурационен файл.

503 Service Unavailable

Сървърът временно не може да обработва заявки по технически причини - например при твърде много заявки или планирана поддръжка. За разлика от 500, кодът 503 сигнализира, че проблемът е временен.

504 Gateway Timeout

Сървърът не отговаря навреме. Появява се, когато сървър, работещ като прокси или шлюз, не изчаква отговор от главния сървър, за да завърши заявката.

Обобщаваща таблица на кодовете

Как да управляваме индексирането?

Ако трябва да премахнете документ от резултатите от търсене, можете да върнете 404 или 410. При noindex страницата ще продължи да се обхожда периодично, докато при 410 роботите по-бързо приемат, че страницата вече я няма и обхождането ѝ не е нужно. Изборът зависи от целта: noindex за страница, която съществува, но не искате в индекса; 410 (или 404) за реално изчезнало съдържание.

Изводи

1. Съществуват пет класа кодове на отговори от сървъра, показващи различни етапи на обработката - от успех до грешки на сървъра.

2. Всички страници, които искаме в индекса, трябва да връщат 200 OK.

3. За постоянни промени използвайте 301 (или 308, ако методът трябва да се запази); за временни - 302 (или 307 при форми и API). 301 консолидира сигнали, но не гарантира механично прехвърляне на 100% от тежестта, а 302 не прехвърля ранкинг сигнали.

4. Soft 404 е отделен и важен проблем: за разлика от истинските 404 и 410, той изразходва crawl budget, затова открийте такива страници в Search Console и върнете правилния код.

Правилното разпределение на кодовете на отговори позволява на търсачките да пестят ресурси при работа със сайта - ботовете получават само необходимата информация, а crawl budget се насочва към страниците, които наистина имат значение.