Kas ir rāpulis? rāpulis instruments "Yandex" un Google

Katru dienu internetā ir milzīgs daudzums jaunu materiālu, lai izveidotu mājas atjaunošana veco interneta lapas, augšupielādēt fotogrāfijas un video. Bez slēpta no meklētājprogrammas nevar atrast World Wide Web, neviens no šiem dokumentiem. Alternatīvas, piemēram, robotu programmas jebkurā brīdī neeksistē. Kas ir meklēšanas robots, kāpēc jūs to un vajag to, kā darbojas?

Kas ir meklēšanas robots

Kāpurķēžu vietā (search engine) - tā ir automātiska programma, kas ir iespēja apmeklēt miljoniem tīmekļa lapu, ātri pārlūkojot internetu bez operatora iejaukšanās. Boti ir pastāvīgi skenēšanas telpu World Wide Web, meklējot jaunas mājas lapas un regulāri jāapmeklē jau indeksēti. Citi nosaukumi web roboti zirnekļi, roboti, roboti.

Kāpēc meklētājprogrammas zirnekļi

Galvenās funkcijas, kas veic meklētājprogrammu zirnekļi - mājas lapas indeksēti, kā arī tekstu, attēlus, audio un video failus, kas ir par tiem. Robotprogrammatūras atsauces, spogulis vietnes (kopijas) un atjauninājumus. Robotiem arī veikt HTML kods kontroli attiecībā uz atbilstību standartiem Pasaules organizācijas, kas izstrādā un īsteno tehnoloģiskos standartus World Wide Web.

Kas ir indeksācija, un kāpēc tas ir nepieciešams

Indeksācija - ir, faktiski, ir process, apmeklējot īpaša mājas lapā, meklētājprogrammas. Programma skenē tekstu šajā vietnē, attēlus, video, ārzemju saites, tad tiek parādīta lapa meklēšanas rezultātos. Dažos gadījumos vietā nevar skenēt, automātiski, tad to var pievienot meklētājprogrammu manuāli webmaster. Parasti tas notiek, ja nav ārējo saišu uz konkrētu (bieži tikai nesen izveidotā) lapas.

Kā meklētājprogrammu zirnekļi

Katra meklētājprogrammu ir savs botu ar Google meklēšanas robots var ievērojami atšķirties atkarībā no mehānisma strādā līdzīgu programmu, "Yandex" vai citām sistēmām.

Kopumā robots darbības princips ir šāds: programma "nāk" uz vietas un ārējās saites no galvenās lapas, "teikts" Interneta resursi (tai skaitā tiem, kuri meklē gaisvadu, kas nav redzēt lietotāju). Laiva ir kā pārvietoties starp lapām vietnes un pāriet uz citiem.

Programma būs izvēlēties, kuru vietu indeksēt? Biežāk nekā nav "ceļojums" zirneklis sākas ar ziņu portālos vai lielāko resursu katalogi un apkopotājiem ar lielu atskaites svara. Kāpurķēžu nepārtraukti skenē lapas pa vienam, par ātrumu un konsekvenci indeksēšanas šādus faktorus:

• Iekšējie: perelinovka (iekšējās saites starp lapām un tā paša resursa), vietas izmēru, pareizo kodu, lietotājiem draudzīgu un tā tālāk;
• Ārējais: kopējais atskaites masa, kas noved pie vietas.

Pirmā lieta, meklētājprogrammu robots meklē par jebkuru mājas lapā ar robots.txt. Papildu resursu indeksācija tiek veikta, pamatojoties uz saņemto informāciju, tas ir no šī dokumenta. Šis fails satur īpašus norādījumus par "zirnekļiem", kas var palielināt izredzes uz lapas apmeklējumu ar meklētājprogrammām, un, līdz ar to, lai panāktu pirmstermiņa trāpījumu vietni par "Yandex", vai Google.

Programma analogs roboti

Bieži vien termins "meklēšanas robots" ir sajaukt ar inteliģentu, lietotājs vai autonomo aģenti, "skudras" vai "tārpi". Iegremdēt būtiskas atšķirības tikai salīdzinājumā ar līdzekļiem, citas definīcijas attiecas uz līdzīga veida roboti.

Piemēram, aģenti var būt:

• inteliģenti: programmas, kas ir pārvietoti no vietas uz vietu, patstāvīgi izlemt, kā rīkoties; tie nav ļoti bieži internetā;
• Autonomā Šie līdzekļi palīdz lietotājam izvēloties produktu, meklēt, vai aizpildot veidlapu, tā saukto filtrus, kas ir maz saistīts ar tīkla programmām.
• lietotājs: programma sekmē lietotāja mijiedarbības ar World Wide Web, pārlūkprogrammu (piemēram, Opera, IE, Google Chrome, Firefox), kurjeri (výber, Telegramma) vai e-pasta programmām (MS Outlook un Qualcomm).

"Skudras" un "tārpi", ir vairāk līdzīgi meklētājprogrammu "zirnekļi". Pirmā forma starp tīklu un pastāvīgi mijiedarbojas patīk šī skudru kolonija, "tārpi", ir spējīgs atkārtot citos aspektos ir tādas pašas kā standarta robotam.

Dažādas meklētājprogrammas roboti

Atšķirt dažāda veida roboti. Atkarībā no mērķa programmas, tie ir:

• "Spogulis" - dublikāti pārlūkojot tīmekļa vietnes.
• Mobile - koncentrēties uz mobilajām versijām tīmekļa lapas.
• Quick - noteikt jaunu informāciju ātri, apskatot jaunākos atjauninājumus.
• Reference - atsauces indekss, skaitīt savus numurus.
• Vektori dažāda veida saturu - īpašas programmas teksta, audio, video, attēliem.
• "Spyware" - meklē lapas, kas vēl nav parādīti meklēšanas dzinēju.
• "Dzenis" - periodiski apmeklē vietnes, lai pārbaudītu to atbilstību un efektivitāti.
• Valsts - pārlūkojot Web resursus, kas atrodas uz vienas no valsts domēnu (piemēram, .mobi vai .kz .ua).
• Global - rādītāju visām valsts vietām.

Roboti lielākajām meklētājprogrammām

Ir arī daži meklētājprogrammu zirnekļi. Teorētiski, to funkcionalitāte var atšķirties, taču praksē programmas ir gandrīz identiski. Galvenās atšķirības Indeksācija mājas lapas roboti divi galvenie meklētājprogrammām, ir šādi:

• Testēšanas stingrībai. Tiek uzskatīts, ka mehānisms robotam "Yandex" nedaudz stingrāki aprēķini Lapā atbilstību standartiem World Wide Web.
• Saglabāšana viengabalainību. Google rāpuļprogramma visu vietnes (ieskaitot mediju saturu), "Yandex", var arī apskatīt saturu selektīvi.
• Ātruma testu jaunas lapas. Google pievieno jaunu resursu meklēšanas rezultātos dažu dienu laikā, ja "ar Yandex" procesu var veikt divas nedēļas vai vairāk.
• No atkārtotas indeksācijas frekvence. Rāpuļprogramma "Yandex" pārbaudīt atjauninājumus divas reizes nedēļā, un Google - viens ik pēc 14 dienām.

Internets, protams, ne tikai uz diviem meklētājprogrammas. Citas meklētājprogrammas ir savas robotus, kas seko savas indeksēšanas parametrus. Bez tam, pastāv vairāki "zirnekļi", kas ir paredzēti, nav lielas meklēšanas resursus, un atsevišķas grupas vai tīmekļa pārziņiem.

kopīgas pārpratumi

Pretēji plaši izplatītam uzskatam, "zirnekļi" nav apstrādāt informāciju. Programma ir tikai skenē un saglabā tīmekļa lapas un turpmāka apstrāde aizņem pavisam citu roboti.

Arī daudzi lietotāji uzskata, ka meklētājprogrammas zirnekļi ir negatīva ietekme un "kaitīgu" Internets. Patiesībā, daži no "zirnekļi" versijas var būtiski pārslodzes serveri. Ir arī cilvēka faktors - webmaster, kurš izveidoja programmu, var kļūdīties Robots konfigurācijā. Tomēr lielākā daļa no esošajām programmām ir labi izstrādāts un profesionāli pārvaldīti, un visas radušās problēmas nekavējoties noņemts.

Kā pārvaldīt indeksēšanas

Meklētājprogrammas roboti ir automatizētas programmas, bet indeksācija procesu var daļēji kontrolēt pārzinis. Tas ļoti palīdz ārējo un iekšējo optimizāciju resursa. Turklāt, jūs varat manuāli pievienot jaunu vietni, lai meklētājprogrammas: lieli resursi ir īpaša veida Web lapas reģistrāciju.