Injini za utaftaji zina vifaa vya roboti, zinazojulikana pia kama buibui au bots, ambazo hutambaa na kurasa za kurasa za wavuti. Ikiwa tovuti yako au ukurasa wako unakua au una yaliyomo nyeti, unaweza kutaka kuzuia bots kutambaa na kuorodhesha tovuti yako. Jifunze jinsi ya kuzuia tovuti zote, kurasa, na viungo na faili za robots.txt na uzuie kurasa maalum na viungo na vitambulisho vya html. Soma ili ugundue jinsi ya kuzuia bots maalum kutoka kufikia yaliyomo.
Hatua
Njia 1 ya 2: Kuzuia Injini za Utafutaji na Faili za robots.txt
Hatua ya 1. Elewa faili za robots.txt
Faili ya robots. Faili na folda zilizoorodheshwa kwenye faili ya robots.txt haziwezi kutambaa na kuorodheshwa na buibui wa injini ya utaftaji. Unaweza kuhitaji faili ya robots.txt ikiwa:
- Unataka kuzuia yaliyomo kutoka kwa buibui wa injini za utaftaji.
- Unatengeneza wavuti ya moja kwa moja na haujaandaliwa kuwa na buibui za injini za utaftaji na kuorodhesha tovuti
- Unataka kupunguza ufikiaji wa bots nzuri.
Hatua ya 2. Unda na uhifadhi na faili ya robots.txt
Ili kuunda faili, anzisha kihariri cha maandishi wazi au kihariri msimbo. Hifadhi faili kama: robots.txt. Jina la faili lazima liwe herufi ndogo.
- Usisahau "s."
- Unapohifadhi faili, chagua kiendelezi "'.txt"'. Ikiwa unatumia Neno, chagua chaguo la "Nakala wazi".
Hatua ya 3. Andika faili kamili ya robots.txt
Inawezekana kuzuia kila buibui ya injini ya utaftaji inayotambulika kutoka kwa kutambaa na kuorodhesha tovuti yako na roboti.txt ya "kamili-disallow". Andika mistari ifuatayo kwenye faili yako ya maandishi:
Wakala wa mtumiaji: * Ruhusu: /
Hatua ya 4. Andika faili-ruhusu faili ya robots.txt kwa masharti
Badala ya kuzuia bots zote, fikiria kuzuia buibui maalum kutoka maeneo fulani ya tovuti yako. Amri za kawaida zinazoruhusu masharti ni pamoja na:
- Zuia bot maalum: badilisha nyota zilizo karibu na Wakala wa mtumiaji na googlebot, habari za googlebot, picha ya googlebot, bingbot, au teoma.
-
Zuia saraka na yaliyomo:
Wakala wa mtumiaji: * Ruhusu: / sampuli-saraka /
-
Zuia ukurasa wa wavuti:
Wakala wa mtumiaji: * Ruhusu: / faragha_file.html
-
Zuia picha:
Wakala wa Mtumiaji: googlebot-picha Ruhusu: /images_mypicture.jpg
-
Zuia picha zote:
Wakala wa Mtumiaji: googlebot-picha Ruhusu: /
-
Zuia muundo maalum wa faili:
Wakala wa mtumiaji: * Ruhusu: /p*.gif $
Hatua ya 5. Kuhimiza bots kuweka faharisi na kutambaa kwenye tovuti yako
Watu wengi wanataka kukaribisha, badala ya kuzuia, buibui za injini za utaftaji kwa sababu wanataka tovuti yao yote iwe imeorodheshwa. Ili kukamilisha hili, una chaguzi tatu. Kwanza, unaweza kuchagua kuunda faili ya robots.txt- wakati roboti haipati faili ya robots.txt, itaendelea kutambaa na kuorodhesha tovuti yako yote. Pili, unaweza kuunda faili tupu ya robots.txt-roboti itapata faili ya robots.txt, tambua kuwa haina kitu, na uendelee kutambaa na kuorodhesha tovuti yako. Mwishowe, unaweza kuandika faili kamili ya ruhusu robots.txt. Tumia nambari:
Wakala wa mtumiaji: * Ruhusu:
Hatua ya 6. Hifadhi faili ya txt kwenye mzizi wa kikoa chako
Baada ya kuandika faili ya robots.txt, weka mabadiliko. Pakia faili hiyo kwenye saraka ya mizizi ya tovuti yako. Kwa mfano, ikiwa kikoa chako ni www.yourdomain.com, weka faili ya robots.txt kwa www.yourdomain.com/robots.txt.
Njia 2 ya 2: Kuzuia Injini za Utafutaji na Lebo za Meta
Hatua ya 1. Kuelewa lebo za meta za roboti za HTML
Lebo ya meta ya roboti inaruhusu waandaaji kuweka vigezo vya bots, au buibui za injini za utaftaji. Lebo hizi hutumiwa kuzuia bots kutoka kwa kuorodhesha na kutambaa tovuti nzima au sehemu tu za tovuti. Unaweza pia kutumia vitambulisho hivi kuzuia buibui maalum ya injini ya utaftaji kutoka kwa kuorodhesha yaliyomo. Lebo hizi zinaonekana kwenye kichwa cha faili yako ya HTML.
Njia hii hutumiwa kwa kawaida na waundaji programu ambao hawana ufikiaji wa saraka ya mizizi ya wavuti
Hatua ya 2. Zuia bots kutoka ukurasa mmoja
Inawezekana kuzuia bots zote kutoka kwa kuorodhesha ukurasa na au kutoka kwa kufuata viungo vya ukurasa. Lebo hii hutumiwa kawaida wakati wavuti ya moja kwa moja inaendelezwa. Mara tovuti imekamilika, inashauriwa sana uondoe lebo hii. Ikiwa hautaondoa lebo, ukurasa wako hautawekwa faharisi au kutafutwa kupitia injini za utaftaji.
- Unaweza kuzuia bots kutoka kwa kuorodhesha ukurasa na kufuata viungo vyovyote:
- Unaweza kuzuia bots zote kuorodhesha ukurasa:
- Unaweza kuzuia bots zote kufuata viungo vya ukurasa:
Hatua ya 3. Ruhusu bots kuorodhesha ukurasa, lakini usifuate viungo vyake
Ukiruhusu bots kuorodhesha ukurasa, ukurasa huo utaorodheshwa; ukizuia buibui kufuata viungo, njia ya kiunga kutoka ukurasa huu maalum hadi kurasa zingine itavunjika. Ingiza laini ifuatayo ya nambari kwenye kichwa chako:
Hatua ya 4. Wacha buibui za injini za utaftaji zifuate viungo lakini sio faharisi ya ukurasa
Ukiruhusu bots kufuata viungo njia ya kiunga kutoka kwa ukurasa huu maalum kwenda kwenye kurasa zingine zitabaki kwa busara; ukiwazuia kuorodhesha ukurasa, ukurasa wako wa wavuti hautaonekana kwenye faharisi. Ingiza laini ifuatayo ya nambari kwenye kichwa chako:
Hatua ya 5. Zuia kiunga kimoja kinachotoka
Ili kuficha kiunga kimoja kwenye ukurasa, ingiza a rel tag ndani ya lebo ya kiungo. Unaweza kutaka kutumia lebo hii kuzuia viungo kwenye kurasa zingine zinazoongoza kwenye ukurasa maalum ambao unataka kuzuia.
Ingiza Kiungo cha Ukurasa uliozuiwa
Hatua ya 6. Zuia buibui maalum ya injini ya utaftaji
Badala ya kuzuia bots zote kutoka kwa ukurasa wako wa wavuti, unaweza kutaka kuzuia bot moja kutambaa na kuorodhesha ukurasa. Ili kukamilisha hili, badilisha "'robot" "ndani ya tag ya meta na jina la bot maalum. Mifano ni pamoja na: googlebot, habari za googlebot, picha ya googlebot, bingbot, na teoma.
Hatua ya 7. Kuhimiza bots kutambaa na kuorodhesha ukurasa wako
Ikiwa unataka kuhakikisha kuwa ukurasa wako utaorodheshwa na viungo vyake vitafuatwa, unaweza kuingiza kufuata-ruhusu meta "roboti" weka kichwa chako. Tumia nambari ifuatayo:
