Хайлтын систем нь вэб хуудсыг мөлхөж индексжүүлдэг аалз эсвэл бот гэж нэрлэдэг роботуудаар тоноглогдсон байдаг. Хэрэв таны сайт эсвэл хуудас хөгжиж байгаа эсвэл эмзэг контент агуулсан бол та сайтуудаа мөлхөх, индексжүүлэхээс ботуудыг хаахыг хүсч магадгүй юм. Вэбсайт, хуудас, холбоосыг бүхэлд нь robots.txt файлуудаар хэрхэн хааж, html хаягаар тодорхой хуудас, холбоосыг хаах талаар олж мэдээрэй. Тодорхой ботууд таны контентэд хандахыг хэрхэн хаах талаар олж мэдэхийн тулд үргэлжлүүлэн уншина уу.
Алхам
2 -р арга 1: Хайлтын системийг робот.txt файлуудаар блоклох
Алхам 1. robots.txt файлуудыг ойлгох
Robots.txt файл нь хайлтын системийн аалзнуудад танай сайтад нэвтрэхийг зөвшөөрсөн зүйлийг мэдээлдэг энгийн эсвэл ASCII текст файл юм. Robots.txt файлд жагсаасан файл, фолдерыг хайлтын системийн аалз мөлхөж, индексжүүлж болохгүй. Танд robots.txt файл хэрэгтэй байж магадгүй:
- Та хайлтын системийн аалзнаас тодорхой агуулгыг хаахыг хүсч байна.
- Та шууд сайт хөгжүүлж байгаа бөгөөд хайлтын системийн аалзыг мөлхөж, сайтыг индексжүүлэхэд бэлэн биш байна
- Та нэр хүндтэй роботуудын хандалтыг хязгаарлахыг хүсч байна.
Алхам 2. Robots.txt файл үүсгэж хадгална уу
Файл үүсгэхийн тулд энгийн текст засварлагч эсвэл код засварлагч ажиллуулна уу. Файлыг дараах байдлаар хадгална уу: robots.txt. Файлын нэр бүх жижиг үсгээр бичигдсэн байх ёстой.
- "С" -ийг бүү мартаарай.
- Файлыг хадгалахдаа "'.txt"' өргөтгөлийг сонгоно уу. Хэрэв та Word ашиглаж байгаа бол "Энгийн текст" гэсэн сонголтыг сонгоно уу.
Алхам 3. Бүрэн зөвшөөрөөгүй robots.txt файлыг бичнэ үү
Нэр хүндтэй хайлтын системийн аалз бүр таны сайтыг мөлхөж, индексжүүлэхийг "бүрэн зөвшөөрөөгүй" robots.txt ашиглан хаах боломжтой. Текст файлдаа дараах мөрүүдийг бичнэ үү.
Хэрэглэгч-агент: * Зөвшөөрөхгүй: /
Алхам 4. Нөхцөлт зөвшөөрөгдсөн robots.txt файлыг бичнэ үү
Бүх роботуудыг хаахын оронд сайтынхаа тодорхой хэсгүүдээс тусгай аалзнуудыг хаахыг бодоорой. Нөхцөлт зөвшөөрөгдсөн нийтлэг командууд нь:
- Тодорхой ботыг хаах: хажууд байгаа одыг солино уу Хэрэглэгч-агент хамт googlebot, googlebot-мэдээ, googlebot-зураг, бингбот, эсвэл teoma.
-
Лавлах болон түүний агуулгыг блоклох:
Хэрэглэгч-агент: * Зөвшөөрөхгүй: /түүвэр-лавлах /
-
Вэб хуудсыг хаах:
Хэрэглэгчийн төлөөлөгч: * Зөвшөөрөхгүй: /private_file.html
-
Зургийг блоклох:
Хэрэглэгч-агент: googlebot-image Зөвшөөрөхгүй: /images_mypicture.jpg
-
Бүх зургийг хаах:
Хэрэглэгч-агент: googlebot-зураг Зөвшөөрөхгүй: /
-
Тодорхой файлын форматыг блоклох:
Хэрэглэгч-агент: * Зөвшөөрөхгүй: /p*.gif$
Алхам 5. Ботуудыг сайтаа индексжүүлэх, мөлхөхийг дэмжээрэй
Олон хүмүүс сайтаа бүхэлд нь индексжүүлэхийг хүсч байгаа тул хайлтын системийн аалзыг блоклохын оронд угтан авахыг хүсдэг. Үүнийг хийхийн тулд танд гурван сонголт байна. Нэгдүгээрт, та robots.txt файл үүсгэхээс татгалзаж болно-робот нь robots.txt файлыг олж чадаагүй тохиолдолд таны сайтыг мөлхөж, индексжүүлэх болно. Хоёрдугаарт, та хоосон robots.txt файл үүсгэж болно-робот нь robots.txt файлыг олж, хоосон гэдгийг хүлээн зөвшөөрч, сайтаа мөлхөж индексжүүлээрэй. Эцэст нь та бүрэн зөвшөөрөгдсөн robots.txt файлыг бичиж болно. Кодыг ашиглана уу:
Хэрэглэгчийн төлөөлөгч: * Зөвшөөрөхгүй:
Алхам 6. txt файлыг өөрийн домэйны үндэс рүү хадгална уу
Та robots.txt файлыг бичсэний дараа өөрчлөлтүүдийг хадгална уу. Файлыг сайтынхаа үндсэн лавлах руу байршуулна уу. Жишээлбэл, хэрэв таны домэйн бол www.yourdomain.com, robots.txt файлыг байрлуулна уу www.yourdomain.com/robots.txt.
2 -ийн 2 -р арга: Хайлтын системийг мета шошго ашиглан хаах
Алхам 1. HTML роботуудын мета хаягийг ойлгох
Роботын мета тэмдэг нь програмистуудад бот эсвэл хайлтын системийн аалзны параметрүүдийг тохируулах боломжийг олгодог. Эдгээр тэмдэглэгээ нь сайтыг бүхэлд нь эсвэл сайтын зарим хэсгийг индексжүүлэх, мөлхөхөөс ботуудыг хаахад ашиглагддаг. Та мөн эдгээр хаягийг ашиглан хайлтын системийн аалзны агуулгыг индексжүүлэхийг хориглох боломжтой. Эдгээр хаягууд нь таны HTML файлын толгой дээр гарч ирнэ.
Энэ аргыг вэбсайтын үндсэн лавлах санд хандах эрхгүй програмистууд ихэвчлэн ашигладаг
Алхам 2. Ботуудыг нэг хуудаснаас блоклох
Бүх ботууд хуудсыг индексжүүлэх эсвэл хуудасны холбоосыг дагахыг хориглох боломжтой. Энэ хаягийг шууд сайт хөгжүүлж байгаа үед ихэвчлэн ашигладаг. Сайт дууссаны дараа энэ шошгыг устгахыг зөвлөж байна. Хэрэв та шошгыг устгахгүй бол таны хуудсыг индексжүүлэхгүй эсвэл хайлтын системээр хайх боломжгүй болно.
- Та ботууд хуудсыг индексжүүлэх, линкүүдийн аль нэгийг дагахыг хориглож болно.
- Та хуудсыг индексжүүлэхээс бүх ботыг хааж болно.
- Та хуудасны холбоосыг дагаж бүх ботуудыг хаах боломжтой.
Алхам 3. Ботууд хуудсыг индексжүүлэхийг зөвшөөрнө үү, гэхдээ түүний линкийг дагаж болохгүй
Хэрэв та ботууд хуудсыг индексжүүлэхийг зөвшөөрвөл хуудсыг индексжүүлэх болно; Хэрэв та аалзыг холбоосыг дагахаас урьдчилан сэргийлэх юм бол энэ хуудаснаас бусад хуудас руу орох холбоосын зам эвдэрнэ. Дараах кодын мөрийг толгой хэсэгт оруулна уу.
Алхам 4. Хайлтын системийн аалзыг холбоосыг дагаж мөрдөх боловч хуудсыг индексжүүлэхгүй байхыг зөвшөөрнө үү
Хэрэв та ботууд холбоосыг дагахыг зөвшөөрвөл энэ хуудаснаас бусад хуудсууд руу чиглэсэн холбоосын зам эв найртай хэвээр байх болно; Хэрэв та хуудсыг индексжүүлэхийг хязгаарлавал таны вэб хуудас индекс дээр харагдахгүй болно. Дараах кодын мөрийг толгой хэсэгт оруулна уу.
Алхам 5. Нэг гадагшаа гарах холбоосыг хаах
Хуудсан дээрх ганц холбоосыг нуухын тулд a rel холбоосын шошго доторх шошго. Та энэ хаягийг ашиглан хаахыг хүсч буй хуудас руу хөтөлдөг бусад хуудсан дээрх холбоосыг хаахыг хүсч болно.
Блоклосон хуудасны холбоосыг оруулна уу
Алхам 6. Тодорхой хайлтын системийн аалзыг хаах
Вэб хуудаснаасаа бүх роботуудыг хаахын оронд та нэг botыг хуудсыг мөлхөх, индексжүүлэхээс урьдчилан сэргийлэхийг хүсч болно. Үүнийг хийхийн тулд мета тэмдэг доторх "робот" -ыг тодорхой ботын нэрээр солино уу. Жишээ нь: googlebot, googlebot-мэдээ, googlebot-зураг, бингбот, ба teoma.
Алхам 7. Ботуудыг хуудсаа мөлхөж индексжүүлэхийг дэмжээрэй
Хэрэв та өөрийн хуудсыг индексжүүлж, түүний линкийг дагаж мөрдөхийг хүсч байвал дагах зөвшөөрлийг оруулж болно мета "робот" толгой дээрээ тэмдэглээрэй. Дараах кодыг ашиглана уу.
