Robots.txt बनाने का पहला तरीका
- सबसे पहले Generate XML Sitemaps पर क्लिक करें
- अब थोडा नीचे आपको Blog URL लिखा हुआ मिलेगा , उसके नीचे वाले box में अपना साईट का यूआरएल डाले | ...
- अब Generate XML Sitemap पर क्लिक करें |
- अब आपके सामने एक text फाइल बन कर आ चूका होगा , उसमें आप User-agent: * से लेकर अंतिम तक कोड को copy कर ले |
robots.txt फाइल क्या है और ब्लॉग वेबसाइट में robots.Txt फाइल कैसे जोड़ें?
Contents
Aaj की इस Post में Aap logon जानेंगे कि Robots.txt File Kya Hai और Robots.txt File को Apne Blogger Blog/Website पर कैसे Add करें पूरी Information हिंदी में तो आइये jaante है।
Robots.txt file एक छोटा सा Text फ़ाइल hota है जो Aapke साइट के Root folder में rahta है। यह Search Engine Bots को bataata है कि साइट ke kis भाग को Crawl और Index krna hai और साइट के kis भाग को Crawl नहीं karna है।कभी - कभी to ऐसा हो jaata है कि हम apne Article/Post को Google में Index करना chahte है पर वो Index नही hota है। अगर Aapko भी article या post google में index नही ho rhi है तो Aapko Robots.txt की वजह se ही हो sakta है।Robots.txt kiya है? (What is Robots.txt)Robot.txt File क्या है? जैसे ki मैंने ऊपर bataya Robots.txt File एक छोटी si Text File hoti है जो Root Folder में rahta है। ये File छोटी जरूर hoti है लेकिन iska काम bahut बड़ा है।
Robots.txt File एक Robot कि तरह hoti है जो हम कमांड deta हैं वैसा hi काम karta है। वैसे ही जब Aap अपने Blog par कोई New Post Publish या Post को Update karte है तो Robots.txt File Search Engine को batata है कि आज Aapne यह Post New Publish ki गई है या Update की गई है। जिससे Search Engine Aapke Post को Index kar अपने Search Result में dikhata है। अभी तो Aapko Robots.txt Flie के बारे pataa chal ही चुका है ki iskaa काम क्या hota है। अभी भी Aapko बहुत कुछ jaanane की jarurat है।
Robots.txt File क्या है?New trick
Robots.txt File एक Text File है, इस Text File में हम जो likhte है या लिखा होता है Google Search Engine वही karta है।
क्यो जरूरी है ?Robots.txt File
उदाहरण जब bhi Search Engine के Crawler हमारी Blog या Website पर Aate Post/Articles को Crawl या Index करने, तो वो sabse pahle Robots.txt को dekhta है। और जो kuchh भी Robots.txt पर likha hota है उसे Follow Karta है! Aagr आपके Blog/Website पर Robots.txt File नही मिलेगा तो Search Engine के Crawler Aapke Site से सभी चीज़े Index कर लेंगे जो Aap नही दिखाना chahte, जो Index नही hona चाहिए aur Google Search Console में Error आ jaate है जिससे Aapke काफी problem हो sakati है।जिससे Aapke साइट की Rank नही hoti hai और हो sakta है Aapki साइट को google search engine से भी निकाल diya जाए। इस लिए ये Robots.txt File को Blogger में Add करना bahut जरूरी hota है।
Robots.Txt को Blogger में Add करने का लाभ क्या हैं।
User-agent: Mediapartners-Google Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap:t20blogging.blogspot.com/
sitemap.xml
Blogger में Robots.txt को Add करना bahut important जरूरी होता है, और इससे Aapko bahut लाभ मिलते है जो की Aap नीचे पढ़ sakte है-
Aap लोग Robots.txt से Search Engine को बता sakte है कि वो Aapke ब्लॉग कि कौन - kon सी चीजें Index करे aur कौन - कौन सी चीजें Index न kare।Aap apne Website के Duplicate File या Page को Noindex करा sakte है। Aap Apne वेबसाइट ki Category, Tags, Author Page और Comments को Noindex करा sakte है।Aap अगर kuchh File, PDF, Image इत्यादि को Index नही karna chahate है।Aap इसे Apni वेबसाइट को Secure कर sakte है।Internal Search Results Pages को Aap Index नही करना chahte हैं! Aap Robots.txt File में Sitemap Add करके kisi bhi पोस्ट को Search Engine में जल्द Index करा sakte है।Aap इससे Low Quality Page block करके Apni वेबसाइट का SEO कर sakte है।Aap इससे kisi भी Secure File, Page को Noindex करा sakte हैं।Robots.Txt File कैसी hoti है Aap अगर Robots.txt File नही banaya है तो Aapko जल्दी से जल्दी बना Lena चाहिए, क्योंकि Aapke Blog/Website के लिए ये bahut ही ज्यादा जरूरी है। Agar Aap इसे Apne ब्लॉग par नही लगाएंगे तो Aapko काफी परेशानियों का सामना karna पड़ sakta है।Rotobs.txt file बनाने के लिए Aapko Internet पर bahut सारी websit मिल जाएगी जिनपर Aapko अपने ब्लॉग का url डालना padta है और वो Aapko Robots.txt बना कर दे deti है। जो कि kuchh इस tarah की दिखाई deti है-
Robots.txt के Syntax का मतलब क्या है !
Hu.txt के जो Syntax है उनके बारे में Aapko समझ lena चाहिए ये Aapko bahut काम आएंगे-
User - agent: Mediapartners - Google : Aap इसके द्वारा Google AdSense के Code को User से छिपा sakte है।User - agent : यह Code Aapki वेबसाइट पर Aane वाले User के liye है कि वो Aapki वेबसाइट par क्या क्या देख sakte है और kiya क्या नहीं देख sakte है Aap इसे हमेशा Disallow ही rhne दें kyun ki यह आपकी website के Security के लिए bahut important जरूरी है।Disallow: /search : अगर Aap apne पोस्ट के Keyword को नहीं दिखाना chahte है तो Aap इसे हमेशा Disallow ही rakhe और Aap अगर किसी post को Google Search में नहीं दिखाना chahte है तो us पोस्ट के URL को यहां Paste करके uske आप Disallow कर sakte है jisse Search Engine usko Index नहीं karega और वो Search Results में नहीं dikhega।यहां पर Aap kisi भी Post, Page के URL को Paste करके उसे Disallow कर sakte है और Google उसको Index नहीं karega।Allow : इससे Aap User को जो दिखना chahte है वो दिखा sakte है और इसे Aap हमेशा Allow ही rahne दें kyun ki यह Search Engine को Index karne की अनुमति deta है।Sitemap : Sitemap aapke ब्लॉग कि नई पोस्ट कि information Search Engine को देता hai जिससे Search Engine उसे जल्द Index करके apne Search Results में dikhata है।Sitemap iske अलावा यह भी bataataa है कि Aapki वेबसाइट पर kitne पोस्ट अभी taak Publish हुई है।
कैसे पता करें कि वेबसाइट में robots.txt फाइल जोड़ी गई है या नहीं।
Robots.txt File Root Folder में rahta है। इसे Aap अपने Website की Robots.txt File को नीचे बताये गए तरीके से pataa लगा sakte हैं, Google भी नीचे दिए गए तरीके se hi पता lagaata है-
Step 1 : सबसे pahla Aapko Browser Open karna है.
Step 2 : अब Aapko अपने Website के URL के Last में robots.txt लिखके Search karna है, जैसे-https://www.Example.com/robots.txt
Step 3 : Search करते ही Aapke सामने Aapki वेबसाइट की Robots.txt File आ जाएगी Aap नीचे Screenshot में देख sakte है मेरी वेबसाइट की Robots.txt File
Img
Janye Blogger me Robots.Txt kaise Add kare .
Blogger में Robots.txt Add karne के लिए Aapko नीचे bataaye गए steps को Follow Karna है। जिससे Aap bahut ही आसानी से apne Blog/Website में Robots.txt को lagaa sakte hai .
Coda box
1-Step: सबसे pahla Aapko इस Robots.txt File को Copy करना है, hai or t20blogging.blogspot.com ki जगह apne Blog/Website का Link (Url) add कर लेंना है।
2- Step: अब Aapko अपने Blog के Dashbord पर Aana है।
3- Step: अब Aapko Settings पर Click karna है।उसके baad Search Preferences पर click karna है।उसके बाद aapko Custom robots.txt के सामने Edit likha है उस पर किल्क karna है।
4 Step: उसके baad Yes पर Click करना है।अब Aapko सामने एक Box Open हो जाएगा।
उस Box में Copy kiya हुआ Code Paste कर dena है, लेकिन Code में t20blogging.blogspot.com ki jagah Apne blog ka url jarur laga lena.अब Aapko Save chenges पर Click कर dena है
Ab आपके Blog/Website में Robots.txt File Add हो चुकी है और अब Search Engine Crawler वहीं Index करेगा जो Robots.txt File उसे Allow करेगा।
Conclusion
मुझे उम्मीद है कि आपको सबकुछ समझ मे आ गया होगा जैसे- Robots.Txt File क्या है, Robots.txt के क्या benefit है, और Robots.txt को Blogger में कैसे Add करते है। अगर फिर भी कोई चीज़ समझ नही आई हो तो आप नीचे Comment में बता सकते है।आपको ये पोस्ट Robots.txt File क्या है? और Robots.txt File कैसे बनाये? पसंद आई हो तो आप इसे Social media facebook, instagram, LinkedIn, Twitter, telegram, Reddit, whatsapp पर share करना न भूले ताकि और Blogger तक ये information पहुंंचे सके और उनकी भी थोड़ी हेल्प हो जाए।
