sCrawler

Kirjeldus

Põhjuseid, miks inimene või ettevõte soovib kasutada veebiroomiku tarkvara, on lõputult. Seda tüüpi programm sirvib veebi määratud viisil, mis võib olla automatiseeritud, metoodiline või korrapäraselt. Kui kasutate terminit veebiroomiku tarkvara, olete ehk kuulnud ämblikest, robotitest, sipelgatest, automaatsetest indekseerijatest, robotitest või sipelgatest? Need on kõik põhimõtteliselt samad asjad!

Veebiroomiku tarkvara eesmärk

Kui mõtlete veebi roomamistarkvarale, näete tõenäoliselt suuri nimega otsingumootoreid, nagu Google, Bing ja Yahoo. Nende robotid roomavad läbi veebilehtede sisu, asjakohasuse ja indekseerimise määramiseks. Luues külastatud lehtedest koopiad, saavad need pakkuda kiiremaid ja täpsemaid otsinguid. SqrBox ütleb teile, et kindlasti ei pea te olema otsingumootor, et teil oleks vaja veebiroomiku tarkvara. Peate lihtsalt olema keegi, kellel on vajadus koguda suuri koguseid või äärmiselt keerulist teavet.

Veebiroomiku tarkvara tüübid

Kui kavatsete kasutada professionaalse ettevõtte, näiteks SqrBoxi, teenuseid, ei pea te tegelikult muretsema kogu veebiroomiku tarkvaraga seotud keeruka kõnepruugi pärast. Siiski on kasulik mõista mõnda asja selle kohta.

Fokuseeritud roomamine – seda tüüpi veebiroomiku tarkvara eesmärk on laadida alla lehti, mis näivad sisaldavat sarnast teavet. Selle meetodiga on sageli seotud mõned vead ning roomaja tegelik jõudlus ja tulemus sõltuvad sellest, kui rikkad on lingid selle konkreetse otsitava teema kohta. Seda tüüpi veebiroomiku tarkvara kasutatakse sageli lähtepunktina, et kitsendada otsinguid edasiseks roomamiseks.

URL-i normaliseerimine – veebiroomiku tarkvara teostab sageli teatud tasemel URL-i normaliseerimist, mis aitab vähendada sama allika korduvat roomamist rohkem kui üks kord.

Jälgitavate linkide piiramine – mõnel juhul võib veebiroomiku tarkvara soovida teatud veebisisu vältida ja otsida ainult html-lehti. Selleks uuritakse sageli URL-i ja seejärel küsitakse ressursse ainult siis, kui URL-is on teatud märgid, näiteks .html, .asp, .htm, .php, .aspx, .jspx või .jsp. veebiroomaja tarkvara ignoreerib tavaliselt ressursse märgiga "?" ämblikulõksude vältimiseks.