Robots.txt Nedir? Ne İşe Yarar? Nasıl Yazılır?

[User4]

Arama motoru botları bir sitede ilk olarak /robots.txt yi arar, peki nedir bu robots dosyası?

robots.txt aram motorlarının botları siteyi indexlerken hangi bölümleri indexleyip, hangi bölümleri indexlemeyeceğini arama motorlarına bildirir.

örneğin: siz bir sayfa yaptınız bu sayfanın arama motorlarında görünmesini istemiyorsunuz o zaman bu sayfayı robots.txt ye yazmanız yeterlidir.

Robots.txti yazarken nelere dikkat etmeliyim?

Engelleyeceğiniz sayfayı düzgün belirtmelisiniz,komut kodlara dikkat etmelisiniz(Not:robot dosyası sadece ana dizinde olmalıdır /images/robots.txt robotlar tarafından dikkate alınmaz.

Yazmaya geçelim :

User-Agent: * (bu komut hangi botlar için geçerlidir onu belirtir örn:sadece googlenin görmesini istemiyorsanız User-Agent: googlebot şeklinde girmelisiniz)
Disallow: /forum/admin (burası ise hangi yeri eklemiyeceklerini gösterir bir dizin girmek için /dizinadı bir dosya göstermek için /dizin/dosyaadı.uzantı biçiminde girmelisiniz(örn:/forum/newthread.php))

Kod Örnekleri:

Tüm botlar benim sitemi dizine eklemesin diyosanız:
User-agent: *
Disallow: /

Seçdiğim bot(yahoo) eklemesin diğerleri eklesin diyorsanız:
User-agent: yahoo! slurp
Disallow: /
User-agent: *
Disallow:

Tüm botlar seçdiğim dizini eklemesin diyorsanız:
User-agent: *
Disallow: /dizinismi

Bir botun(googlebot) bir sayfayı görmesini engellemek için:
User-agent: Googlebot
Disallow: /dizin-adi/tahribatinfo.html

Tüm botlar sitemi indexlesin diyorsanız:
User-agent: *
Disallow:

kodlarını kullanabilirsiniz.

Bot isimleri ve kullanıcı aracı dizgisi

Ad:Yahoo!
Dizgi(user agent kısmına girmek için):yahoo! slurp

Ad:Googlebot
Dizgi:google

Ad:Baidusspider
Dizgi:Baiduspider+

Ad:Google-AdSense
Dizgi:Mediapartners-Google

Ad:MSN Search
Dizgi:msnbot

Ad:GigaBot
Dizgi:Gigabot

Ad:Ask Jeeves
Dizgi:ask jeeves

Ad:Google-Image
Dizgi:Googlebot-Image

Ad:Archive.org
Dizgi:is_archiver

Ad:Altavista
Dizgi:Scooter

İşin mantığını anlamışsınızdır kolay ve önemli bir konudur.

 

[Burak Güzey]

BUnlar görmemesi için... Peki görmesi için hangi kodları kulanmak gerekir?

 

[User4]

Tüm botlar sitemi indexlesin diyorsanız:
User-agent: *
Disallow:

kodlarını kullanabilirsiniz.

 

[HIRCINBEY]

Vb için aşağıdaki kısıtlamaları uygulamanızı tavsiye ederim.

#ALL BOTS
User-agent: *
Disallow: /admincp/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php

 

[Ruthless]

benzer bi konu var

 

[salihduran]

Arama motoru botları bir sitede ilk olarak /robots.txt yi arar, peki nedir bu robots dosyası?

robots.txt aram motorlarının botları siteyi indexlerken hangi bölümleri indexleyip, hangi bölümleri indexlemeyeceğini arama motorlarına bildirir.

örneğin: siz bir sayfa yaptınız bu sayfanın arama motorlarında görünmesini istemiyorsunuz o zaman bu sayfayı robots.txt ye yazmanız yeterlidir.

Robots.txti yazarken nelere dikkat etmeliyim?

Engelleyeceğiniz sayfayı düzgün belirtmelisiniz,komut kodlara dikkat etmelisiniz(Not:robot dosyası sadece ana dizinde olmalıdır /images/robots.txt robotlar tarafından dikkate alınmaz.

Yazmaya geçelim :

User-Agent: * (bu komut hangi botlar için geçerlidir onu belirtir örn:sadece googlenin görmesini istemiyorsanız User-Agent: googlebot şeklinde girmelisiniz)
Disallow: /forum/admin (burası ise hangi yeri eklemiyeceklerini gösterir bir dizin girmek için /dizinadı bir dosya göstermek için /dizin/dosyaadı.uzantı biçiminde girmelisiniz(örn:/forum/newthread.php))

Kod Örnekleri:

Tüm botlar benim sitemi dizine eklemesin diyosanız:
User-agent: *
Disallow: /

Seçdiğim bot(yahoo) eklemesin diğerleri eklesin diyorsanız:
User-agent: yahoo! slurp
Disallow: /
User-agent: *
Disallow:

Tüm botlar seçdiğim dizini eklemesin diyorsanız:
User-agent: *
Disallow: /dizinismi

Bir botun(googlebot) bir sayfayı görmesini engellemek için:
User-agent: Googlebot
Disallow: /dizin-adi/tahribatinfo.html

Tüm botlar sitemi indexlesin diyorsanız:
User-agent: *
Disallow:

kodlarını kullanabilirsiniz.

Bot isimleri ve kullanıcı aracı dizgisi

Ad:Yahoo!
Dizgi(user agent kısmına girmek için):yahoo! slurp

Ad:Googlebot
Dizgi:google

Ad:Baidusspider
Dizgi:Baiduspider+

Ad:Google-AdSense
Dizgi:Mediapartners-Google

Ad:MSN Search
Dizgi:msnbot

Ad:GigaBot
Dizgi:Gigabot

Ad:Ask Jeeves
Dizgi:ask jeeves

Ad:Google-Image
Dizgi:Googlebot-Image

Ad:Archive.org
Dizgi:is_archiver

Ad:Altavista
Dizgi:Scooter

İşin mantığını anlamışsınızdır kolay ve önemli bir konudur.

teşekkür ederim