Որոնման համակարգերը հագեցած են ռոբոտներով, որոնք հայտնի են նաև որպես սարդեր կամ բոտեր, որոնք սողում և ինդեքսավորում են վեբ էջերը: Եթե ձեր կայքը կամ էջը մշակման փուլում է կամ պարունակում է զգայուն բովանդակություն, գուցե ցանկանաք արգելափակել բոտերին ձեր կայքի սողալն ու ինդեքսավորումը: Իմացեք, թե ինչպես արգելափակել ամբողջ կայքերը, էջերը և հղումները robots.txt ֆայլերով և արգելափակել որոշակի էջեր և հղումներ html պիտակներով: Շարունակեք կարդալ ՝ պարզելու, թե ինչպես կարելի է արգելափակել կոնկրետ բոտերին ձեր բովանդակության մուտքը:
Քայլեր
Մեթոդ 1 2 -ից. Robots.txt ֆայլերով որոնման համակարգերի արգելափակում
Քայլ 1. Հասկացեք robots.txt ֆայլերը:
Robots.txt ֆայլը պարզ կամ ASCII տեքստային ֆայլ է, որը տեղեկացնում է որոնման սարդերին, թե ինչ թույլտվություն ունեն մուտք գործել ձեր կայքում: Robots.txt ֆայլում թվարկված ֆայլերն ու թղթապանակները չեն կարող սողալ և ինդեքսավորվել որոնման սարդերի կողմից: Ձեզ կարող է անհրաժեշտ լինել robots.txt ֆայլ, եթե ՝
- Դուք ցանկանում եք արգելափակել որոնման սարդերից որոշակի բովանդակություն:
- Դուք ստեղծում եք կենդանի կայք և պատրաստ չեք որոնման սարդերին սողալ և ինդեքսավորել կայքը
- Դուք ցանկանում եք սահմանափակել հեղինակավոր բոտերի մուտքը:
Քայլ 2. Ստեղծեք և պահեք և robots.txt ֆայլը:
Ֆայլը ստեղծելու համար գործարկեք պարզ տեքստային խմբագիր կամ կոդի խմբագիր: Պահել ֆայլը ՝ robots.txt: Ֆայլի անունը պետք է լինի բոլոր փոքրատառ:
- Մի մոռացեք «ներ» -ի մասին:
- Երբ ֆայլը պահում եք, ընտրեք «'.txt» ընդլայնումը: Եթե օգտագործում եք Word, ընտրեք «Պարզ տեքստ» տարբերակը:
Քայլ 3. Գրեք robots.txt ֆայլը լիովին արգելելու համար:
Հնարավոր է արգելափակել որոնման համակարգի բոլոր հեղինակավոր սարդերին ձեր կայքը սողալ և ինդեքսավորել «լիովին արգելել» robots.txt- ով: Ձեր տեքստային ֆայլում գրեք հետևյալ տողերը.
Օգտվող-գործակալ ՝ * Թույլ չտալ: /
Քայլ 4. Գրեք պայմանական թույլատրելի robots.txt ֆայլ:
Բոլոր բոտերին արգելափակելու փոխարեն, հաշվի առեք ձեր կայքի որոշակի տարածքներից որոշակի սարդեր արգելափակելը: Պայմանական թույլատրելի ընդհանուր հրամանները ներառում են.
- Արգելափակել որոշակի բոտ. Փոխարինեք կողքի աստղանիշները Օգտագործող-գործակալ հետ googlebot, googlebot-news, googlebot-image, bingbot, կամ թեոմա.
-
Արգելափակել գրացուցակը և դրա բովանդակությունը.
Օգտվող-գործակալ ՝ * Թույլ չտալ ՝ /sample-directory /
-
Արգելափակել վեբ էջը.
Օգտվող-գործակալ ՝ * Թույլ չտալ ՝ /private_file.html
-
Արգելափակել պատկերը.
Օգտվող-գործակալ ՝ googlebot-image Թույլ չտալ ՝ /images_mypicture.jpg
-
Արգելափակել բոլոր պատկերները.
Օգտվող-գործակալ ՝ googlebot-image Թույլ չտալ: /
-
Արգելափակել որոշակի ֆայլի ձևաչափ.
Օգտվող-գործակալ ՝ * Թույլ չտալ ՝ /p*.gif$
Քայլ 5. Խրախուսեք բոտերին ինդեքսավորել և սողալ ձեր կայքը:
Շատերը ցանկանում են ողջունել, այլ ոչ թե արգելափակել որոնման սարդերը, քանի որ ցանկանում են, որ իրենց ամբողջ կայքը ինդեքսավորվի: Դա իրականացնելու համար դուք ունեք երեք տարբերակ. Նախ, դուք կարող եք հրաժարվել robots.txt ֆայլ ստեղծելուց, երբ ռոբոտը չի գտնի robots.txt ֆայլը, այն կշարունակի սողալ և ինդեքսավորել ձեր ամբողջ կայքը: Երկրորդ, կարող եք ստեղծել դատարկ robots.txt ֆայլ-ռոբոտը կգտնի robots.txt ֆայլը, կճանաչի, որ այն դատարկ է և կշարունակի սողալ և ինդեքսավորել ձեր կայքը: Ի վերջո, դուք կարող եք գրել robots.txt լիարժեք թույլատրելի ֆայլ: Օգտագործեք ծածկագիրը.
Օգտվող-գործակալ ՝ * Թույլ չտալ:
Քայլ 6. Պահպանեք txt ֆայլը ձեր տիրույթի արմատին:
Robots.txt ֆայլը գրելուց հետո պահպանեք փոփոխությունները: Վերբեռնեք ֆայլը ձեր կայքի արմատային գրացուցակում: Օրինակ, եթե ձեր տիրույթն է www.yourdomain.com, տեղադրեք robots.txt ֆայլը այստեղ www.yourdomain.com/robots.txt.
Մեթոդ 2 2 -ից. Մետա պիտակներով որոնման համակարգերի արգելափակում
Քայլ 1. Հասկացեք HTML ռոբոտների մետա պիտակները:
Ռոբոտների մետա պիտակը ծրագրավորողներին թույլ է տալիս պարամետրեր սահմանել բոտերի կամ որոնման սարդերի համար: Այս պիտակներն օգտագործվում են ՝ արգելափակելու բոտերին ինդեքսավորման և սողալու մի ամբողջ կայք կամ կայքի միայն մասեր: Կարող եք նաև օգտագործել այս պիտակները ՝ որոշակի որոնման սարդին արգելափակելու ձեր բովանդակության ինդեքսավորումը: Այս պիտակները հայտնվում են ձեր HTML ֆայլի գլխում:
Այս մեթոդը սովորաբար օգտագործվում է այն ծրագրավորողների կողմից, որոնք մուտք չունեն կայքի արմատային գրացուցակին:
Քայլ 2. Արգելափակեք բոտերին մեկ էջից:
Հնարավոր է արգելափակել բոլոր բոտերին էջի ինդեքսավորումը և կամ էջի հղումներին հետևելը: Այս պիտակը սովորաբար օգտագործվում է, երբ կենդանի կայքը մշակման փուլում է: Կայքն ավարտելուց հետո խստորեն խորհուրդ է տրվում հեռացնել այս պիտակը: Եթե դուք չեք հեռացնում պիտակը, ձեր էջը չի ինդեքսավորվի կամ չի որոնվի որոնման համակարգերի միջոցով:
- Դուք կարող եք արգելափակել բոտերին էջի ինդեքսավորումը և ցանկացած հղում հետևելը.
- Դուք կարող եք արգելափակել բոլոր բոտերին էջի ինդեքսավորումը.
- Դուք կարող եք արգելափակել բոլոր բոտերին հետևել էջի հղումներին.
Քայլ 3. Թույլ տվեք բոտերին ինդեքսավորել էջը, բայց մի հետևեք դրա հղումներին:
Եթե թույլ տաք բոտերին ինդեքսավորել էջը, ապա էջը ինդեքսավորվելու է. եթե դուք թույլ չտաք, որ սարդերը հետևեն հղումներին, ապա այս հատուկ էջից դեպի այլ էջեր կապի ուղին կկոտրվի: Տեղադրեք ծածկագրի հետևյալ տողը ձեր վերնագրում.
Քայլ 4. Թող որոնման սարդերը հետևեն հղումներին, բայց ոչ ինդեքսավորեն էջը:
Եթե թույլ տաք բոտերին հետևել հղումներին, ապա այս հատուկ էջից դեպի այլ էջեր կապի ուղին կմնա նրբանկատ. եթե սահմանափակեք նրանց էջի ինդեքսավորումը, ձեր վեբ էջը չի հայտնվի ինդեքսում: Տեղադրեք ծածկագրի հետևյալ տողը ձեր վերնագրում.
Քայլ 5. Արգելափակեք մեկ ելքային հղում:
Էջում մեկ հղում թաքցնելու համար տեղադրեք a ռել պիտակը հղման պիտակի մեջ: Դուք կարող եք օգտագործել այս պիտակը ՝ այլ էջերի հղումները արգելափակելու համար, որոնք տանում են դեպի այն հատուկ էջը, որը ցանկանում եք արգելափակել:
Տեղադրեք արգելափակված էջի հղումը
Քայլ 6. Արգելափակեք որոնման հատուկ spider- ը:
Ձեր վեբ էջի բոլոր բոտերին արգելափակելու փոխարեն, գուցե ցանկանաք կանխել մեկ բոտի էջի սողալն ու ինդեքսավորումը: Դա իրականացնելու համար փոխարինեք «ռոբոտը» մետա պիտակի մեջ ՝ հատուկ բոտի անունով: Օրինակները ներառում են. googlebot, googlebot-news, googlebot-image, bingbot, և թեոմա.
Քայլ 7. Խրախուսեք բոտերին սողալ և ինդեքսավորել ձեր էջը:
Եթե ցանկանում եք ապահովել, որ ձեր էջը ինդեքսավորվի և դրա հղումները հետևվեն, կարող եք տեղադրել հետևելու թույլտվություն մետա «ռոբոտ» նշեք ձեր վերնագրի մեջ: Օգտագործեք հետևյալ ծածկագիրը.
