Semalt Islamabad Expert: Top 10 beléifste Web Crawler a Bots
Et ginn zwou Zorte vu Bots um Internet, déi sou gutt Bots a schlecht Bots genannt ginn. Dir sollt sérieux Moossname géint déi schlecht Bots huelen, well se d'DDN Bandbreedung an enger Zäit verbrauchen. Niewt, déi negativ oder schlecht Bots klauen Äre Webinhalt an huelen d'Serverressourcen op. Op där anerer Säit, déi gutt Bots (och genannt Web Crawler) solle suergfälteg gehandhabt ginn well se hëllefe Är Websäit an de Sichmotor Resultater ze indexéieren, sou wéi Bing, Google, a Yahoo.
De Michael Brown, e féierende Expert vu Semalt , verséchert datt et Honnerte bis Dausende vu Bots a Web Crawler um Internet schrauwen, awer déi folgend sinn déi meescht populär.
1. GoogleBot
De Googlebot ass ee vun de beschten a bekanntsten Web Crawler bis elo. Et gëtt wäit benotzt fir Webinhalt an Artikele fir Google Sichresultater ze indexéieren. Déi bescht Feature vu Googlebot ass datt et de Benotzer vill Tools an Optiounen ubitt. Méi spezifesch seet Googlebot Google wéi eng Säiten sollt indexéiert ginn a wéi eng solle hannerlooss ginn.
2. Bingbot
Just wéi Googlebot, ass de Bingbot e populäre Web Crawler vu Microsoft. Et war zënter Joren an ass geduecht fir Websäiten an de Bing Sichresultater ze indexéieren. Bingbot ass en ideale Ersatz fir den MSN Bot. Seng prominentst Optioun gëtt sou Fetch als Bingbot genannt, wat an de Bing Webmaster Tools präsent ass. Dës Optioun léisst Iech Säiten ufroen fir indexéiert an an de Bing Resultater ze gesinn.
3. Slurp Bot
De Slurp Bot ass de Web Crawler vum Yahoo awer gëtt vu Bing ugedriwwen. Websäiten sollten Yahoo Slurp op hir Säiten zouloosse fir an de Yahoo Mobile Sich Resultater ze gesinn. Dëse Web Crawler gëtt benotzt fir Inhalt vun de Partnerwebsäiten ze sammelen fir d'Inklusioun an Yahoo News, Yahoo Sports an Yahoo Finance.
4. DuckDuckBot
Den DuckDuckBot ass de berühmten a beschte Web Crawler vun DuckDuckGo. Dëse Sichmotor ass bekannt fir seng Privatsphär a verfolgt kee Benotzer ouni seng Erlaabnis. An der Moyenne gëtt et all Dag zéng Milliounen Ufroen. Den DuckDuckGo kritt d'Resultater vu méi wéi 400 Quellen, dorënner verschidde vertikale Quellen, déi Äntwerten am Zesummenhang mat Instant Answers, Wikipedia an DuckDuckBot liwweren. Et geréiert och Ufroen déi aus Quellen wéi Yandex, Bing, a Yahoo kommen.
5. Baiduspider
De Baiduspider ass en offiziellen Numm vun engem Chinese Sichmotor Web Crawler oder Spider. Et kann all Dag vill Websäiten indexéieren an d'Aktualiséierunge op säi Baidu Index zréckginn. De Baidu ass ee vun de féierende Chinese Sichmotoren. Et huet méi wéi uechtzeg Prozent Aktien vun de gesamt Sichmäert vum China Festland.
6. Yandex Bot
De YandexBot ass e bestëmmten Web Crawler vun enger russescher Sichmotor, Yandex. Media Outlets behaapten datt dëse Bot iwwer 57% vum ganzen Sichmotorverkéier a Russland am Joer 2015 generéiert huet.
7. Sogou Spider
De Sogou Spider ass e berühmten Web Crawler vu Sogou.com. Dëse féierende Chinese Sichmotor gouf am Joer 2004 gestart an huet e Rank vun 103 op Alexa. Dir sollt am Kapp behalen datt de Sogou Web Spider de Robot.txt Internetnormen net respektéiert an ass vu verschiddene Site verbannt wéinst sengem exzessive Crawl.
8. Exabot
Dëse Web Crawler gëtt vun Exalead bedriwwen, e franséische Sichmotor. Et gouf virun e puer Joer gegrënnt an huet méi wéi siechzéng Milliarde Websäiten an hire Sichresultater indexéiert.
9. Facebook externen Hit
De soziale Medien Riese, Facebook, léisst seng Benotzer interessant Links mat anere Facebook Benotzer deelen. De Facebook Externen Hit fiert eng Vielfalt vu Funktiounen, ënner anerem de Display vu verschiddene Biller, e puer spannend Videoen an e puer Websäiten. Ee vun den Haapt- a berühmte Crawlbots ass Facebot deen hëlleft d'Annoncéierungsleistung ze verbesseren.
10. Alexa Crawler
Alexa Crawler gëtt vum Amazon's Alexa operéiert a gëtt benotzt fir Dutzende vu Websäiten ze indexéieren. Et sammelt Informatiounen iwwer Websäiten a klasséiert se op Basis vun lokalen an internationalen Virléiften.
Finale Notiz
Et gi verschidde Web Crawler a Bots, also wann Dir eng verdächteg Websäit blockéiert, gitt sécher datt Dir net déi gutt Bots blockéiert déi Är Websäiten an de Sichmotor Resultater indexéieren.