Robots.txt File Kya Hai? Best Guide 2021

Robots.txt File Kya Hai

Hello दोस्तों, आज हम आपके लिए एक नया टॉपिक लेकर आये हैं जो की “Robots.txt File Kya Hai” के बारे में है|

 आप में से बहुत से लोग ये नही जानते होंगे की robots.txt file क्या होती है? Robots.txt file हर एक website का बहुत अहम हिस्सा होती है लेकिन इन पर कोई ज्यादा ध्यान नही देता है और इसके बारे में लोगो को ख़ास जानकारी नही होती है|

Robots.txt file SEO की दृष्टि से भी बहुत जरूरी है| जब भी हम major search engine optimization techniques की बात करते हैं तो robots.txt उसमे से एक है| Robots.txt file के साथ काम करने के लिए आपको किसी ख़ास technical knowledge की जरूरत नही है|

आज हम आपको robots.txt file kya hai के बारे में detail में जानकारी देंगे और कैसे इस file की मदद से आप अपनी website के seo को improve कर सकते हैं ये भी detail से बताएंगे|

तो चलिए start करते हैं………. 

Robots.txt एक text file होती है जिसे website owner अपनी site में रखता है ताकि search engine bots को ये बता सके की use website में किन pages को crawl और index करना है और किन्हें नही| Search engine bots को search engine robots, spiders और web crawler भी कहा जाता है|

Web crawlers आपकी website को access करने से पहले अपनी website में मौजूद robots.txt file को देखता है ताकि use पता चल सके की website owner ने web crawling की क्या permission set की हुई है|

Robots.txt बहुत जरूरी होती है इसलिए इसे अपनी web directory में शामिल करना बहुत जरूरी होता है जिससे की search engine को robots.txt file को ढूँढने में अस्सानी हो|

Robots.txt file example

Robots.txt file कैसे काम करता है?

किसी भी search engine का web spider आपकी website पर आता है तो सबसे पहले वो आपकी website की robots.txt file को खोजता है| ऐसा इसलिए करता है क्योंकि robots.txt file में आपकी website की सभी जानकारी और permission set होती है की किस page को crawl करना है, किन्हें नही करना है, किस page को index करना है और किसे नही|

इन सब permission के अनुसार एक web crawler आपकी website को crawl करता है और फिर अपने database में index करता है|

Robots.txt File क्यों जरूरी है?

Robots.txt file का website में होना बहुत से कारणों के अनुसार जरूरी होता है जो निचे दिए गये हैं:

  • Duplicate content की crawling को रोकना
  • अपनी website के कुछ सेक्टिओंस को प्राइवेट रखना (example: staging site)
  • Internal search result pages की crawling को रोकना
  • Server overload को रोकना
  • Google के “Crawl Budget” को बर्बाद करने से रोकना
  • Images videos और resource files को Google search result में index होने से बचाना
  • Search engine को अपनी sitemap location की location बताने के लिए       

Website के लिए Robots.txt File कैसे बनाए?

अगर आपने अभी तक अपनी website के लिए robots.txt file का निर्माण नही किया है तो जल्द ही आपको इसका निर्माण कर लेना चाहिए| Robots.txt file बनाना बहुत ही आसान है| Robots.txt file बनाने के लिए आप 3 methods का इस्तेमाल कर सकते हैं| Robots.txt file बनाने के लिए:

1. Notepad या अन्य Text Editor

अपने Notepad को open कीजिये और अपने अनुसार directives set कीजिये की कौन से search engine का crawler आपकी website को crawl करेगा और आप किन-किन pages तथा files को crawl and index करवाना चाहतें हैं| सभी permission set करने के बाद इस file को Robots.txt के नाम से सेव करके अपने website की root directory में upload करे दें|

अगर आप sub-domain का इस्तेमाल करते हैं तो आपको sub-domain के लिए अलग-अलग robots.txt file बनाने की जरूरत है|

2. Robots.txt Generator

Robots.txt file बनाने का एक तरीका और भी है| अगर आपको robots.txt file के format के बारे में जानकारी नही है तो आप Robots.txt file generator tools का इस्तेमाल कर सकते हैं| ये tools online मौजूद हैं और आपके लिए free में robots.txt file का निर्माण कर देते हैं|

3. SEO Plugins

अगर आप wordpress का उपयोग करते हैं तो आप wordpress पर मौजूद SEO Plugins को install करके robots.txt file create कर सकते हैं| Yoast SEO, All-In-One SEO तथा Rank Math SEO ये कुछ popular wordpress SEO plugins हैं जो आपके लिए automatic robots.txt file create कर देते हैं|  

Robots.txt File Format:

Robots.txt file में text कैसे लिखा जाता है निचे हमने इसका basic format दिखाया है:

User-agent: *

Disallow: /admin/

Robots.txt Syntax

Robots.txt file के format में कुछ ऐसे terms और symbols होते हैं हैं जिन्हें जानना आपके लिए बेहद जरूरी है| इन symbols तथा terms को syntax भी बोल सकते हैं|  

User-Agent:

हर search engine का अपना खुद का अलग user-agent होता है| आप इन प्रत्येक user-agent के लिए अपनी robots.txt file में custom निर्देश set कर सकते हैं| वैसे तो बहुत से user-agents हैं लेकिन निचे हमने SEO की दृष्टि से महतवपूर्ण कुछ user-agents की list बनाई है:

  • Google: Googlebot
  • Bing: Bingbot
  • Yahoo: Slurp
  • DuckDuckGo: DuckDuckBot
  • Baidu: Baiduspider
  • Google Images: Googlebot-Images

अगर आप चाहतें हैं की आपकी website को सभी user-agent crawl करे तो आप (*) wildcard का उपयोग कर सकते हैं|

User-agent: *

Allow: /

लेकिन अगर आप चाहतें की सिर्फ आपकी website को Google का user-agent crawl करे तो आप निचे दिए गये निर्देश को देखे:

User-agent: Googlebot

Allow: /

एक बात जान लीजिये की आपकी robots.text file में जितने चाहें उतने user-agent के निर्देश शामिल हो सकते हैं| Crawlers केवल user-agents के तहत घोषित नियमों का पालन करते हैं जो उन पर सटीक रूप से लागू होते हैं| इसलिए robots.txt Googlebot को छोड़कर सभी bots को ब्लाक कर देता है|

Robot.txt Allow syntax:

Allow का उपयोग तब किया जाता है जब हम अपने web pages को search engine bot के द्वारा crawl और index करवाना चाहतें हैं|

Example:

User-agent: *

Allow: /blog/

Robot.txt Disallow syntax:

Disallow का उपयोग तब किया जाता है जब आप नही चाहतें की web crawler आपके किसी page, file या directory को access करे|

Example:

User-agent: *

Disallow: /wp-admin/

Noindex:

Noindex के इस्तेमाल से search engine bot आपके उन pages और posts को ignore कर देते हैं जिन्हें आप index नही करवाना चाहतें|

Example:

User-agent: *

Noindex: /category/

Hash Symbol (#):

 Hash symbol का इस्तेमाल robots.txt file में comments देने के लिए किया जाता है| जिस भी line के starting में hash(#) होगा उसे web spider ignore कर देगा|  

Example:

#This instructs Bing नोट तो crawl our site.

User-agent: Bingbot

Disallow: /

$ Sign:

$ sign का इस्तेमाल URL की ending को mark करने के लिए किया जाता है| उदाहरण के लिए, अगर आप search engine को अपनी site पर सभी .pdf files तक पहुँचने से रोकना चाहतें हैं तो आपको अपनी robots.txt file को .pdf से end करना पड़ेगा|

Example:

User-agent: *

Disallow: /*.pdf$

इस example में search engine आपके /files.pdf को access नही कर पायेगा लेकिन /files.pdf?id=68313263 को आसानी से access कर लेगा क्यूंकि ये file.pdf से end नही हो रही है|

निष्कर्ष: Robots.txt File Kya Hai?

अगर आप robots.txt file का इस्तेमाल नही करते हैं तो search engine के web crawler को कोई पाबंदी नही होगी जिसका मतलब ये है की web crawler के आपकी website के हर section को देखने की छूट होगी| इससे search engine आपकी website पर मौजूद हर एक चीज़ को index कर लेगा जिसमे आपकी website की privacy और security से related जानकारी भी हो सकती है|

इसलिए अपनी website को secure करने और web crawler के काम को आसान बनाने के लिए robots.txt file का उपयोग करना चाहिए| Robots.txt file के माध्यम से आप अपनी उन pages को crawl होने से रोक सकते हैं जिन पर आपकी website से privacy से समबंधित जानकरी हो तथा आप web spider को उन्ही pages तथा posts की crawling और indexing करने को कह सकते हैं जिन्हें आप search engine में index करवाना चाहतें हैं|

इससे यह होगा की search engine bots सभी content को crawl करने की बजाये केवल उन्ही pages को crawl और index करेंगे जिन्हें करने की permission आपने set की है| इससे crawler आपकी site पर हर एक page को छोड़ कर सिर्फ relevant pages को अच्छे से crawl कर के index कर पायेगा|

हम आशा करते हैं की आपको हमारा यह article Robots.txt File Kya Hai अच्छे से समझ आ गया होगा| लेकिन फिर भी आपको robots.txt file से सम्बंधित कोई समस्या आती है तो आप हमसे contact कर सकते हैं| अगर आपको हमारा ये article पसंद आया हो तो इसे अपने दोस्तों में social media के माध्यम से जरूर promote करे|

धन्यवाद|    

Vijay Kumar

CashFlow INDIA की स्थापना अंतरराष्ट्रीय स्तर पर Vijay Kumar ने की है। अपने दो ऑनलाइन और दो ऑफ़लाइन व्यवसायों के साथ असफल होने के बाद, उन्होंने रास्ते में सीखे गए सबक सिखाने के लिए CashFlow INDIA बनाया। CashFlow INDIA को लॉन्च करने के बाद से, Vijay ने जल्द ही रणनीतियों को प्रकाशित करके खुद के लिए एक नाम बना लिया, जिसका उपयोग मार्केटर अपने ऑनलाइन व्यवसाय को बढ़ाने के लिए कर सकते हैं। CashFlow INDIA अब सबसे लोकप्रिय हिन्दी ब्लॉगों में से एक है।

Leave a Reply