सेमल्ट: मेटा टैग और रोबोट्स के साथ आपकी साइट की सामग्री तक पहुँच को ब्लॉक करें

सेमल्ट कस्टमर सक्सेस मैनेजर, जेसन एडलर का कहना है कि जब आप डेटा को सुरक्षित रखते हैं और इंटरनेट पर साझा नहीं करते हैं तो इसे नियंत्रित करना संभव है, जिसे बिंग, याहू और गूगल के साथ साझा किया जा रहा है। आपको जिस डेटा को गुप्त रखने की आवश्यकता है, उसमें संपर्क जानकारी, पेपाल आईडी, क्रेडिट कार्ड विवरण, उपयोगकर्ता नाम और पासवर्ड शामिल हैं। आपको इस प्रकार की जानकारी को Google और अन्य खोज इंजनों में अनुक्रमित होने से रोकना चाहिए। जब आपकी साइट के URL को ब्लॉक करने की बात आती है, तो आपके लिए Google और अन्य खोज इंजन को कुछ पृष्ठों या लेखों को क्रॉल करने से रोकना संभव है। इसका मतलब है कि जब लोग खोज परिणामों से गुजरते हैं, तो वे उन URL को नहीं देखेंगे और नेविगेट करेंगे जिन्हें अवरुद्ध कर दिया गया है। साथ ही, वे इसकी सामग्री तक नहीं पहुँच पाएंगे, और आप Google के खोज परिणामों में बहुत सारे लेखों को देखने से रोक सकते हैं। यहां बताया गया है कि आपकी वेबसाइट की सामग्री तक पहुंच कैसे अवरुद्ध करें:

मेटा टैग के साथ खोज अनुक्रमण को अवरुद्ध करें: जब आप अपनी साइट के HTML कोड पर गैर-सूचकांक मेटा टैग का उपयोग करते हैं, तो आप आसानी से खोज इंजन में दिखने से पृष्ठों को ब्लॉक कर सकते हैं। Googlebot ऐसे पृष्ठ क्रॉल करता है जिनमें यह मेटा टैग नहीं है और इसके कारण आपके विशिष्ट पृष्ठ इसके खोज परिणामों से गिर जाएंगे। यहां आपको बता दें कि यह मेटा टैग तभी काम करेगा जब आपकी robots.txt फाइल में बदलाव नहीं किया गया हो।

Robots.txt फ़ाइलों के साथ URL को ब्लॉक करें: Robots.txt फ़ाइल आपकी वेबसाइट के मूल में स्थित है और आपकी वेबसाइट के उस हिस्से को इंगित करती है जिसे आप नहीं चाहते कि खोज इंजन क्रॉलर और स्पाइडर इंडेक्स करें। यह रोबोट बहिष्करण मानक का उपयोग करता है, जो कि प्रोटोकॉल का एक सेट है जिसमें यह संकेत मिलता है कि वेब क्रॉलर अपनी साइट पर कहां और कैसे पहुंचेंगे। Robots.txt भी छवियों को खोज परिणामों में दिखाने से रोकने में मदद करता है, लेकिन उपयोगकर्ताओं को आपकी साइट को अपने स्वयं के पृष्ठों से लिंक करने से नहीं रोकता है। इसे संपादित करने से पहले आपको robots.txt फ़ाइलों की सीमाओं और प्रतिबंधों को ध्यान में रखना चाहिए। कुछ तंत्र सुनिश्चित करते हैं कि URL ठीक से अवरुद्ध हैं। Robots.txt के निर्देश निर्देश हैं, जिसका अर्थ है कि वे वेब क्रॉलर के व्यवहार को लागू नहीं कर सकते हैं। सभी क्रॉलर अपने तरीके से वाक्यविन्यास की व्याख्या करते हैं, और robots.txt फाइलें अन्य वेबसाइटों से आपके लिंक के संदर्भों को रोक नहीं सकती हैं। Google robots.txt फ़ाइलों के निर्देशों का पालन करने के लिए अच्छा है, लेकिन खोज इंजन के लिए अपनी नीतियों के कारण अवरुद्ध वेबसाइट को अनुक्रमित करना संभव नहीं हो सकता है।

Google लोकल और Google प्रॉपर्टीज़ से ऑप्ट आउट करें: एक बार अनुक्रमित होने के बाद आप अपनी सामग्री को विभिन्न Google प्रॉपर्टी पर प्रदर्शित होने से रोक सकते हैं। इसमें Google स्थानीय, Google उड़ानें, Google खरीदारी और Google होटल शामिल हैं। जब आप इन सभी आउटलेट में प्रदर्शित होने से बाहर निकलने का चयन करते हैं, तो आपकी सामग्री जो क्रॉल की गई थी, उसे सूचीबद्ध या अद्यतन नहीं किया जाएगा। इनमें से किसी भी प्लेटफ़ॉर्म पर प्रदर्शित किया गया कोई भी लेख 30 दिनों में बाहर निकलने के बाद हटा दिया जाएगा।

निष्कर्ष:

अपने आगंतुकों से कम मूल्यवान और उपयोगी सामग्री को छिपाना महत्वपूर्ण है। यदि आपकी वेबसाइट में कई स्थानों पर समान विषय हैं, तो यह खोज इंजन और आपके आगंतुकों पर नकारात्मक प्रभाव छोड़ सकता है। इसलिए आपको उन सभी पृष्ठों को छिपाना चाहिए और खोज इंजनों को उन्हें अनुक्रमित नहीं करने देना चाहिए। तृतीय-पक्ष की सामग्री से छुटकारा पाएं। आपको तीसरे पक्ष की सामग्री से छुटकारा पाना होगा जो किसी भी कीमत पर आपकी साइट के लिए मूल्यवान नहीं है। Google को यह न देखने दें कि आप तृतीय-पक्ष की सामग्री साझा कर रहे हैं क्योंकि खोज इंजन को उस स्थिति में आपकी साइट पर कम मूल्य दिखाई देगा। जब आपने बड़ी संख्या में साइटों से सामग्री की प्रतिलिपि बनाई है, तो Google आपको दंडित कर सकता है, और आप अपने Google रैंक को सुधारने के लिए डुप्लिकेट लेखों को अवरुद्ध कर सकते हैं।