Semalt: Darodar Robotlar.txt-ı necə bloklamaq olar

Robots.txt faylı veb tarayıcıların və ya botların bir saytın necə sürünməsi barədə göstərişləri olan tipik bir mətn faylıdır. Onların tətbiqi çox sayda optimallaşdırılmış veb-saytlarda rast gəlinən axtarış motorları botlarında aydın görünür. Robotlar Çıxartma Protokolunun (REP) bir hissəsi olaraq robots.txt faylı veb sayt məzmununun indeksləşdirilməsində, eyni zamanda istifadəçinin istəklərini doğrulamakda bir serverə imkan verən vacib bir cəhət yaradır.

Semalt baş müştəri müvəffəqiyyəti meneceri Julia Vashneva, bağlantı nişinizdəki digər domenlərdən trafik qazanmağı özündə birləşdirən Search Engine Optimization (SEO) aspektidir. Bağlantı şirəsini köçürmək üçün "izləmək" bağlantıları üçün, serverin saytınızla necə əlaqəli olduğuna dair bir təlimatçı rolunda iştirak etmək üçün veb saytınıza robots.txt faylı daxil etmək vacibdir. Bu arxivdən bəzi xüsusi istifadəçi agentlərinin necə davranmasına icazə vermək və ya qadağan etməklə təlimatlar mövcuddur.

Robots.txt faylının Əsas Formatı

Robots.txt faylı iki zəruri sətirdən ibarətdir:

İstifadəçi agent: [istifadəçi-agent adı]

İzah etmə: [URL sətri sürünməməlidir]

Tam bir robots.txt faylı bu iki xətdən ibarət olmalıdır. Lakin, bəzilərində bir çox istifadəçi agent və göstərişlər ola bilər. Bu əmrlərdə imkan verir, qadağan edir və ya tarama gecikmələri kimi aspektlər ola bilər. Adətən hər təlim dəstini ayıran bir xətt fasiləsi var. Təlimata icazə verən və ya qadağan edən hər biri, xüsusən də birdən çox xətti olan robotlar.txt üçün bu xətt fasiləsi ilə ayrılır.

Nümunələr

Məsələn, robots.txt faylında aşağıdakı kimi kodlar ola bilər:

İstifadəçi agent: darodar

Qadağan et: / plugin

İcazə verin: / API

İcazə verin: / _ şərhlər

Bu vəziyyətdə, bu Darodar veb tarayıcısının veb saytınıza daxil olmasını məhdudlaşdıran bir blok robots.txt faylıdır. Yuxarıdakı sintaksisdə kod veb saytın plaginlər, API və şərhlər bölmələri kimi tərəflərini bloklayır. Bu biliklərdən bir robotun mətn sənədini effektiv şəkildə yerinə yetirməkdən çox sayda fayda əldə etmək mümkündür. Robots.txt faylları çoxsaylı funksiyaları yerinə yetirə bilər. Məsələn, bunlar hazır ola bilər:

1. Bütün veb tarayıcıların məzmununu veb səhifəsinə daxil etməyə icazə verin. Məsələn;

İstifadəçi agent: *

İcazə verin:

Bu vəziyyətdə, bütün istifadəçi məzmununa bir veb saytına daxil olmaq istənən hər hansı bir veb tarayıcı tərəfindən əldə edilə bilər.

2. Müəyyən bir veb məzmunu müəyyən bir qovluqdan bloklayın. Misal üçün;

İstifadəçi agent: Googlebot

İmtina etmə: / example-alt qovluq /

Googlebot istifadəçi agent adı olan bu sintaksis Google-a aiddir. Bu botu www.ourexample.com/example-subfolder/ satırındakı hər hansı bir veb səhifəyə daxil olmağı məhdudlaşdırır.

3. Müəyyən bir veb səhifədən müəyyən bir veb tarayıcısını bloklayın. Misal üçün;

İstifadəçi agent: Bingbot

İmtina etmə: /example-subfolder/blocked-page.html

İstifadəçi agent Bing bot, Bing veb tarayıcılarına aiddir. Bu tip robotlar.txt faylı Bing veb tarayıcısının www.ourexample.com/example-subfolder/blocked-page simi ilə müəyyən bir səhifəyə daxil olmasını məhdudlaşdırır.

Mühim informasiya

• Hər istifadəçi robts.txt faylınızdan istifadə etmir. Bəzi istifadəçilər buna məhəl qoymamaq qərarına gələ bilərlər. Bu cür veb tarayıcıların əksəriyyətinə troyanlar və zərərli proqramlar daxildir.
• Robots.txt faylı görünə bilməsi üçün o, yuxarı səviyyəli veb sayt qovluğunda olmalıdır.
• "Robots.txt" simvolları hərflərə həssasdır. Nəticədə, bəzi aspektlərin kapitallaşdırılması da daxil olmaqla onları heç bir şəkildə dəyişdirməməlisiniz.
• "/Robots.txt" ictimai sahədir. Hər hansı bir URL-nin məzmununa əlavə edərək hər kəs bu məlumatı tapa bilər. Əsas məlumatları və ya gizli qalmağını istədiyiniz səhifələri indeksləşdirməməlisiniz.