Back to Question Center
0

मिमल: दादर रोबोट्स

1 answers:

Robots.txt फाइल ही एक विशिष्ट मजकूर फाइल आहे ज्यात वेब क्रॉलर किंवा बॉट्स साइटला कशी क्रॉल करावी यावरील सूचना समाविष्ट आहेत. त्यांचे अर्ज सर्च इंजिन सांगकामे स्पष्ट करतात जे बर्याच ऑप्टिमाइझ केलेल्या वेबसाइट्समध्ये सामान्य आहेत. रोबोट्स एक्सेझेलेशन प्रोटोकॉल (आरईपी) चा एक भाग म्हणून, robots.txt फाइल वेबसाइटच्या अनुक्रमणिकेत आवश्यक असणारी एक आवश्यक बाजू तसेच त्याचप्रमाणे वापरकर्ता विनंती प्रमाणीकृत करण्यासाठी सर्व्हरला सक्षम करते.

जूलिया वश्नेवा, Semalt वरिष्ठ ग्राहक यशस्वी व्यवस्थापक, असे स्पष्ट करते की लिंकिंग हे सर्च इंजिन ऑप्टिमायझेशन (एसईओ) चे एक पैलू आहे, ज्यामध्ये आपल्या कोळ्यातील इतर डोमेनमधून रहदारी मिळवणे समाविष्ट आहे. दुवा रस हस्तांतरित करण्यासाठी "अनुसरण करा" दुवे साठी, सर्व्हर आपल्या साइटवर कसे परस्परसंवाद साधते याचे प्रशिक्षक म्हणून कार्य करण्यासाठी आपल्या वेबसाइटवरील होस्ट केलेल्या जागेवर robots.txt फाइल समाविष्ट करणे आवश्यक आहे. या संग्रहणावरून काही विशिष्ट वापरकर्ता एजंट कसे वागतात याची अनुमती देऊन किंवा नकारुन सूचना उपलब्ध आहेत.

एक robots.txt फाइलचे बेसिक स्वरूप

एक robots.txt फाइल दोन अत्यावश्यक ओळी आहेत:

वापरकर्ता-एजंट: [वापरकर्ता-एजंट नाव]

अस्वीकार: [URL क्रॉल क्रॉल न करणे]

एक पूर्ण robots.txt फाइलमध्ये या दोन ओळी असाव्यात. तथापि, त्यांच्यापैकी काहींमध्ये वापरकर्ता-एजंट आणि निर्देशांचे एकापेक्षा जास्त ओळी असू शकतात. या आदेशांमध्ये अशा बाबींचा समावेश असू शकतो जसे की परवानगी देते, नापसंत किंवा क्रॉल-विलंब सामान्यत: एक लाइन ब्रेक असते जो प्रत्येक संचाच्या संचाला वेगळा करतो. परवानगी किंवा नापसंद सूचना प्रत्येक हे लाइन ब्रेक द्वारे विभक्त केलेले आहे, विशेषत: robots.txt ला एकाधिक ओळी वापरुन.

उदाहरणे

उदाहरणार्थ, एक robots.txt फाइलमध्ये कोड असू शकतात जसे:

वापरकर्ता-एजंट: दादरदार

अस्वीकार: / प्लगइन

अस्वीकार: / एपीआय

अस्वीकार: / _comments

या बाबतीत, ही एक ब्लॉक robots.txt फाइल आहे जो दादर वेब क्रॉलर आपल्या वेबसाइटवर प्रवेश करण्यापासून प्रतिबंध करते. उपरोक्त वाक्यरचना मध्ये, कोड प्लगइन, एपीआय आणि टिप्पण्या विभाग यासारख्या वेबसाइटचे भाग ब्लॉक करते. या ज्ञानापासून रोबोटच्या मजकूर फाईल प्रभावीपणे अंमलात आणून अनेक फायदे प्राप्त करणे शक्य आहे. रोबोट.txt फाइल्स अनेक फंक्शन्स करण्यास सक्षम असू शकतात. उदाहरणार्थ, ते तयार होऊ शकतात:

1 सर्व वेब क्रॉलर सामग्रीला वेबसाइट पृष्ठास अनुमती द्या. उदाहरणार्थ;

वापरकर्ता-एजंट: *

अस्वीकार:

या प्रकरणात, कोणत्याही वेब क्रॉलरने वेबसाइटवर जाण्यासाठी विनंती केल्याने सर्व वापरकर्ता सामग्रीवर प्रवेश केला जाऊ शकतो.

2 एका विशिष्ट फोल्डरमधील विशिष्ट वेब सामग्री अवरोधित करा. उदाहरणार्थ;

वापरकर्ता-एजंट: Googlebot

अस्वीकार: / उदाहरणार्थ-सबफोल्डर /

या सिंटॅक्समध्ये वापरकर्ता-एजंट नाव असलेले Googlebot Google चे आहे. हे बॉट www.ourexample.com/example-subfolder/ या स्ट्रिंगमधील कोणत्याही वेब पृष्ठावर प्रवेश करण्यापासून प्रतिबंधित करते.

3 विशिष्ट वेब पृष्ठावरून एका विशिष्ट वेब क्रॉलरला अवरोधित करा उदाहरणार्थ;

वापरकर्ता-एजंट: Bingbot

अस्वीकार: /example-subfolder/blocked-page.html

वापरकर्ता-एजंट Bing बॉट Bing वेब क्रॉलर्सशी संबंधित आहे या प्रकारची robots.txt फाइल Bing वेब क्रॉलरला विशिष्ट पृष्ठावर www.ourexample.com/example-subfolder/blocked-page.10) सोबत प्रवेश करण्यास प्रतिबंधित करते.

महत्त्वाची माहिती

  • प्रत्येक वापरकर्त्याने आपली robts.txt फाइल वापरली नाही. काही वापरकर्ते ते दुर्लक्ष करण्याचा निर्णय घेऊ शकतात. अशा बहुतेक वेब क्रॉलरमध्ये ट्रोजन्स आणि मालवेअरचा समावेश होतो.
  • एक रोबोट्सटॅक्स फाइल ज्यासाठी दृष्य असते, ती उच्च-स्तरीय वेबसाइट निर्देशिकेत उपलब्ध असली पाहिजे.
  • "robots.txt" वर्ण केस संवेदनशील असतात. परिणामी, काही पैलूंवरील कॅपिटल अक्षरांचाही समावेश करून आपण त्यांना कोणत्याही प्रकारे बदलू नये.
  • "/robots.txt" सार्वजनिक डोमेन आहे. प्रत्येक URL ची सामग्री जोडून ते ही माहिती शोधण्यात सक्षम होऊ शकते. आवश्यक ती माहिती किंवा पृष्ठे अनुक्रमित करू नयेत जी आपण त्यांना खाजगी ठेवावीत Source .

November 29, 2017