Wir arbeiten daran, die Unionpedia-App im Google Play Store wiederherzustellen
AusgehendeEingehende
🌟Wir haben unser Design für eine bessere Navigation vereinfacht!
Instagram Facebook X LinkedIn
Ihre eigene Unionpedia mit Ihrem Logo und Ihrer Domain, ab 9,99 USD/Monat
Mein Unionpedia erstellen

Webcrawler

Index Webcrawler

Visualisierung eines Webcrawls einer kleinen Webseite Ein Webcrawler (auch Spider, Searchbot oder Robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert.

Inhaltsverzeichnis

  1. 102 Beziehungen: Adobe Flash, Aggregator, Ajax (Programmierung), Apache Lucene, ArtFacts.Net, Barrierefreies Internet, Bielefeld Academic Search Engine, Blekko, Blinde Kuh (Suchmaschine), Bot, BTJunkie, Cache, Canonical Link, Cloaking, Crawler, Cross-Site-Scripting, Crossbot, Deep Web, DeepL, DMOZ, Do Not Track (Software), DuckDuckGo, Duplicate Content, E-Mail-Harvester, E-Mail-Injection, External Memory Minimaler Spannbaum, Fandom (Website), Free Download Manager, Globale Überwachungs- und Spionageaffäre, Google AdSense, Google Caffeine, Google Dance, Google Scholar, Google Search Console, Google Suche, Googlebot, Host (Datenbankanbieter), HotBot, HTTrack Website Copier, Indexierung, IP-Delivery, Isomorphes JavaScript, Jobsuchmaschine, Linguee, Liste der HTTP-Headerfelder, Liste von Websuchmaschinen, Lycos Europe, Lynx (Browser), LyricWiki, Majestic (Suchmaschine), ... Erweitern Sie Index (52 mehr) »

Adobe Flash

Adobe Flash (vormals Macromedia Flash) war eine Plattform zur Programmierung und Darstellung multimedialer und interaktiver Inhalte.

Sehen Webcrawler und Adobe Flash

Aggregator

Ein Aggregator (zu für „hinzunehmen“ oder „ansammeln“) ist eine Software oder ein Dienstleister, der (digitale) Medieninhalte sammelt, aufbereitet und ggf.

Sehen Webcrawler und Aggregator

Ajax (Programmierung)

Legacy-System abgespeichert. Ajax (auch AJAX; Akronym von englisch Asynchronous JavaScript and XML) bezeichnet ein Konzept der asynchronen Datenübertragung zwischen einem Browser und dem Server.

Sehen Webcrawler und Ajax (Programmierung)

Apache Lucene

Apache Lucene ist eine Programmbibliothek zur Volltextsuche.

Sehen Webcrawler und Apache Lucene

ArtFacts.Net

mini ArtFacts.Net ist die weltweit größte Kunstdatenbank im Internet, die 2001 von Stine Albertsen und Marek Claaßen gegründet wurde.

Sehen Webcrawler und ArtFacts.Net

Barrierefreies Internet

Barrierefreies Internet sind Web-Angebote, die von allen Nutzern unabhängig von ihren Einschränkungen oder technischen Möglichkeiten uneingeschränkt (barrierefrei) genutzt werden können.

Sehen Webcrawler und Barrierefreies Internet

Bielefeld Academic Search Engine

BASE (Bielefeld Academic Search Engine) ist eine Suchmaschine für wissenschaftliche Dokumente.

Sehen Webcrawler und Bielefeld Academic Search Engine

Blekko

Blekko (eigene Schreibweise blekko) war eine Suchmaschine, die am 1.

Sehen Webcrawler und Blekko

Blinde Kuh (Suchmaschine)

Blinde Kuh ist die erste deutschsprachige Suchmaschine für KinderM.

Sehen Webcrawler und Blinde Kuh (Suchmaschine)

Bot

Unter einem Bot (von ‚Roboter‘) versteht man ein Computerprogramm, das weitgehend automatisch sich wiederholende Aufgaben abarbeitet, ohne dabei auf eine Interaktion mit einem menschlichen Benutzer angewiesen zu sein.

Sehen Webcrawler und Bot

BTJunkie

BTJunkie war eine BitTorrent-Websuchmaschine, die zwischen 2005 und 2012 betrieben wurde.

Sehen Webcrawler und BTJunkie

Cache

Cache (auch) bezeichnet in der Informationstechnik einen schnellen Pufferspeicher, der (wiederholte) Zugriffe auf vergleichsweise langsame Datenspeicher oder aufwendige Neuberechnungen zu vermeiden hilft.

Sehen Webcrawler und Cache

Ein kanonischer Link, auch kanonische URL, gibt Webseitenbetreibern in einem HTML-Dokument die Möglichkeit, bei mehrfach verwendetem Inhalt (Duplicate Content) die Originalressource auszuweisen.

Sehen Webcrawler und Canonical Link

Cloaking

Cloaking (engl. Verhüllen) ist eine Technik zur Suchmaschinenoptimierung, bei der dem Webcrawler der Suchmaschinen unter derselben URL eine andere Seite präsentiert wird als dem Besucher.

Sehen Webcrawler und Cloaking

Crawler

Crawler ist das vierte Studioalbum der englischen Post-Punk-Band Idles.

Sehen Webcrawler und Crawler

Cross-Site-Scripting

Cross-Site-Scripting (XSS) bezeichnet das Ausnutzen einer Computersicherheitslücke in Webanwendungen, indem Informationen aus einem Kontext, in dem sie nicht vertrauenswürdig sind, in einen anderen Kontext eingefügt werden, in dem sie als vertrauenswürdig eingestuft werden.

Sehen Webcrawler und Cross-Site-Scripting

Crossbot

crossbot war eine redaktionell betreute Suchmaschine und Webkatalog christlicher Internet-Angebote, der von der EKD getragen wurde.

Sehen Webcrawler und Crossbot

Deep Web

Clear Web, Deep Web und Dark Web im Vergleich Das Deep Web (auch Hidden Web oder Invisible Web) bzw.

Sehen Webcrawler und Deep Web

DeepL

DeepL (für Deep Learning) ist ein Onlinedienst für maschinelle Übersetzung.

Sehen Webcrawler und DeepL

DMOZ

Das Open Directory Project (ODP), auch bekannt als dmoz (für „Directory Mozilla“), war das größte von Menschen gepflegte Webverzeichnis des World Wide Web.

Sehen Webcrawler und DMOZ

Do Not Track (Software)

Die ''Do-Not-Track''-Initiative wird unter anderem von der Electronic Frontier Foundation unterstützt. Do Not Track (DNT; für „nicht verfolgen“) ist ein HTTP-Header-Feld und signalisiert einer Website oder Webanwendung den Wunsch, dass diese über die Aktivitäten des Besuchers kein Nutzungsprofil erstellt.

Sehen Webcrawler und Do Not Track (Software)

DuckDuckGo

DuckDuckGo (DDG) ist eine Internet-Suchmaschine, die keine persönlichen Informationen sammelt.

Sehen Webcrawler und DuckDuckGo

Duplicate Content

Duplicate Content (engl. für „doppelter Inhalt“) bezeichnet die Darstellung von gleichem Inhalt auf verschiedenen Webseiten.

Sehen Webcrawler und Duplicate Content

E-Mail-Harvester

Ein E-Mail-Harvester oder Spambot ist ein Programm (Bot), welches das Internet gezielt nach E-Mail-Adressen (auch Telefonnummern) oder Blogs absucht, um an diese Werbung (Spam) zu verschicken.

Sehen Webcrawler und E-Mail-Harvester

E-Mail-Injection

E-Mail-Injektion bezeichnet das Ausnutzen einer Sicherheitslücke in einer Webanwendung, die es einem Angreifer erlaubt, über ein ungeschütztes Kontaktformular ohne Wissen und Einverständnis des Betreibers E-Mails zu verschicken.

Sehen Webcrawler und E-Mail-Injection

External Memory Minimaler Spannbaum

Ein externer minimaler Spannbaum bezeichnet in der Informatik einen minimalen Spannbaum, der für einen in den Sekundärspeicher ausgelagerten Graphen G.

Sehen Webcrawler und External Memory Minimaler Spannbaum

Fandom (Website)

Fandom ist ein im Jahr 2004 von Jimmy Wales und Angela Beesley unter dem Namen Wikia gegründetes Unternehmen mit Fokus auf dem Hosting von kollaborativen Wiki-Websites auf einer gleichnamigen Wiki-Farm.

Sehen Webcrawler und Fandom (Website)

Free Download Manager

Free Download Manager (kurz FDM) ist ein Download-Manager für Windows und macOS, sowie Linux-Distributionen die Debian-Pakete unterstützen.

Sehen Webcrawler und Free Download Manager

Globale Überwachungs- und Spionageaffäre

Fort Meade, Maryland GCHQ in Cheltenham, Großbritannien Zentrale des Bundesnachrichtendienstes in Berlin Die globale Überwachungs- und Spionageaffäre entstand aus Enthüllungen von als Top Secret gekennzeichneten Dokumenten der National Security Agency (NSA) und darauf folgend weiteren Veröffentlichungen und den internationalen Reaktionen darauf.

Sehen Webcrawler und Globale Überwachungs- und Spionageaffäre

Google AdSense

Google AdSense ist ein Online-Dienst des US-amerikanischen Unternehmens Google LLC, der Werbung auf Websites außerhalb der hauseigenen Angebote darstellt.

Sehen Webcrawler und Google AdSense

Google Caffeine

Google Caffeine bezeichnet ein im Juni 2010 veröffentlichtes Infrastruktur-Update des Suchmaschinenindexes von Google.

Sehen Webcrawler und Google Caffeine

Google Dance

Der Google Dance (englisch für Google-Tanz) ist ein umgangssprachlicher Begriff in Bezug auf das Verhalten der Suchmaschine Google des US-amerikanischen Unternehmens Google LLC.

Sehen Webcrawler und Google Dance

Google Scholar

Google Scholar ist eine Suchmaschine des Unternehmens Google LLC und dient der allgemeinen Literaturrecherche wissenschaftlicher Dokumente.

Sehen Webcrawler und Google Scholar

Google Search Console

Google Search Console (bis zum 20. Mai 2015 Google Webmaster Tools) ist ein kostenloses Analysetool von Google, das Website-Betreiber bei der Suchmaschinenoptimierung (SEO) unterstützt.

Sehen Webcrawler und Google Search Console

Google Suche

Google ist eine Internet-Suchmaschine des US-amerikanischen Unternehmens Google LLC.

Sehen Webcrawler und Google Suche

Googlebot

Googlebot ist ein Webcrawler des US-amerikanischen Unternehmens Google LLC.

Sehen Webcrawler und Googlebot

Host (Datenbankanbieter)

In der Informationswirtschaft werden Anbieter von kostenpflichtigen Fachdatenbanken und Fachinformationen im Internet als Host, synonym auch als Online-Host, Datenbankanbieter, Datenbankvertreiber, Vendor, Distributor, Online Service, Information Provider, Information Service oder Aggregator bezeichnet.

Sehen Webcrawler und Host (Datenbankanbieter)

HotBot

HotBot ist eine ehemalige Suchmaschine, die im Mai 1996 als Service für die Leser der Online-Ausgabe des Wired-Magazins gestartet wurde.

Sehen Webcrawler und HotBot

HTTrack Website Copier

HTTrack Website Copier (kurz „HTTrack“) ist eine freie Software, mit deren Hilfe Kopien ganzer Websites in einem lokalen Verzeichnis, z. B.

Sehen Webcrawler und HTTrack Website Copier

Indexierung

Als Indexierung (möglicher Anglizismus auch Tagging), auch Verschlagwortung (Österreich, Bayern: Beschlagwortung) oder Verstichwortung, bezeichnet man die Zuordnung von Deskriptoren zu einem Dokument zur Erschließung der darin enthaltenen Sachverhalte.

Sehen Webcrawler und Indexierung

IP-Delivery

IP-Delivery ist ein Verfahren zur serverseitigen Client-Weiterleitung.

Sehen Webcrawler und IP-Delivery

Isomorphes JavaScript

Isomorphes JavaScript, auch bekannt als Universelles JavaScript, beschreibt JavaScript-Anwendungen, die sowohl auf dem Client als auch auf dem Server laufen.

Sehen Webcrawler und Isomorphes JavaScript

Jobsuchmaschine

Eine Jobsuchmaschine ist eine eigenständige Plattform im Internet, die Verlinkungen zu online gelisteten Stellenangeboten enthält.

Sehen Webcrawler und Jobsuchmaschine

Linguee

Linguee ist ein Webservice der DeepL SE mit Sitz in Köln, der ein Onlinewörterbuch für die 25 Sprachen Bulgarisch, Chinesisch, Deutsch, Dänisch, Englisch, Estnisch, Finnisch, Französisch, Griechisch, Italienisch, Japanisch, Koreanisch, Lettisch, Litauisch, Maltesisch, Niederländisch, Norwegisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Schwedisch, Slowakisch, Slowenisch, Spanisch, Tschechisch, Ukrainisch und Ungarisch im Internet zur Verfügung stellt.

Sehen Webcrawler und Linguee

Liste der HTTP-Headerfelder

HTTP-Header-Felder (oft ungenau HTTP-Header) sind Bestandteile des Hypertext Transfer Protocol (HTTP)-Protokollheaders und übermitteln die für die Übertragung von Dateien über HTTP wichtigen Parameter und Argumente, z. B.

Sehen Webcrawler und Liste der HTTP-Headerfelder

Liste von Websuchmaschinen

Diese Liste von Websuchmaschinen enthält aktuelle Suchmaschinen für das World Wide Web.

Sehen Webcrawler und Liste von Websuchmaschinen

Lycos Europe

Lycos Europe (Prime Standard: LCY / Nouveau Marché: 5770) mit Sitz in Haarlem, Niederlande, war der Betreiber eines europäischen Internet-Portals, das aus einem Netzwerk von Websites in sieben Sprachen bestand.

Sehen Webcrawler und Lycos Europe

Lynx (Browser)

Lynx ist ein textbasierter Webbrowser, der unter Unix entwickelt wurde, inzwischen aber für fast alle Betriebssysteme verfügbar ist.

Sehen Webcrawler und Lynx (Browser)

LyricWiki

LyricWiki Textlogo LyricWiki (von April 2014 bis Oktober 2017 LyricWikia) war ein MediaWiki-basiertes, englischsprachiges Wiki für Liedtexte (engl.: lyrics).

Sehen Webcrawler und LyricWiki

Majestic (Suchmaschine)

Majestic ist ein Community-basierendes, dezentrales Webcrawler-Projekt, das von Mitgliedern der Majestic-Community unterstützt wird.

Sehen Webcrawler und Majestic (Suchmaschine)

Meltwater Group

Die Meltwater Group ist ein Software as a Service (SaaS)-Unternehmen, das 2001 in Oslo gegründet wurde und derzeit von CEO John Box geleitet wird.

Sehen Webcrawler und Meltwater Group

Meta-Element

Das Meta-Element (unspezifisch bzw. falsch oft als Meta-Tag bezeichnet) dient in HTML- oder XHTML-Dokumenten zur Angabe von Metadaten.

Sehen Webcrawler und Meta-Element

MetaGer

MetaGer ist eine deutsche Metasuchmaschine, die an der Universität Hannover als Dienst des Regionalen Rechenzentrums für Niedersachsen seit April 1996 entwickelt wurde.

Sehen Webcrawler und MetaGer

Microsoft Bing

Microsoft Bing ist eine Internet-Suchmaschine von Microsoft und der Nachfolger von Live Search.

Sehen Webcrawler und Microsoft Bing

Microsoft Development Center Norway

Fast Search and Transfer (rekursives Akronym: FAST) ist ein Tochterunternehmen von Microsoft.

Sehen Webcrawler und Microsoft Development Center Norway

Multiagentensystem

Bei einem Multiagentensystem oder MAS handelt es sich um ein System aus mehreren gleichartigen oder unterschiedlich spezialisierten handelnden Einheiten, auch Software-Agenten, die kollektiv ein Problem lösen.

Sehen Webcrawler und Multiagentensystem

Nutch

Nutch ist ein Java-Framework für Internet-Suchmaschinen.

Sehen Webcrawler und Nutch

Online-Algorithmus

Ein Online-Algorithmus ist ein Lösungsverfahren für Probleme, bei denen zu Beginn des Berechnungsvorgangs nicht alle Eingabedaten verfügbar sind.

Sehen Webcrawler und Online-Algorithmus

Open Access

Open-Access-Logo der Public Library of Science Open Access (Englisch für offener Zugang) ist der freie Zugang zu wissenschaftlicher Literatur und anderen Materialien im Internet.

Sehen Webcrawler und Open Access

Open Web Index

Unter der Bezeichnung Open Web Index fasst man eine Reihe von Konzepten und Projekten zusammen, die allesamt das Ziel haben, die Inhalte des World Wide Web (WWW) nicht nur über die Datenbanken der globalen Suchmaschinen-Konzerne aufzufinden, sondern die diesen Zugang der Allgemeinheit zur Verfügung stellen.

Sehen Webcrawler und Open Web Index

PageRank

Der PageRank-Algorithmus ist ein Verfahren, eine Menge verlinkter Dokumente, beispielsweise das World Wide Web, anhand ihrer Struktur zu bewerten und zu gewichten.

Sehen Webcrawler und PageRank

Parser

Ein Parser („analysieren“, bzw. „Teil“; im Deutschen gelegentlich auch Zerteiler) ist ein Computerprogramm, das in der Informatik für die Zerlegung und Umwandlung einer Eingabe in ein für die Weiterverarbeitung geeigneteres Format zuständig ist.

Sehen Webcrawler und Parser

Recherche

Der Begriff Recherche (recherche, ‚(Nach-)Forschung‘, ‚Suche‘, ‚Untersuchung‘), auch Investigation (investigatio, ‚Aufspürung‘, ‚Erforschung‘) oder Research (research ← von französisch recherche, s. o.), bezeichnet die gezielte, nicht beiläufige Suche nach Informationen.

Sehen Webcrawler und Recherche

Redaxo

Redaxo (Eigenschreibweise REDAXO) ist ein freies Content-Management-System (CMS) für Websites.

Sehen Webcrawler und Redaxo

Referrer-Spam

Erfolgreicher Referrer-Spam taucht in den Ausgaben des Analyseprogramms Webalizer auf Referrer-Spam (auch Logdatei-Spam) ist eine Sonderform des Suchmaschinen-Spamming.

Sehen Webcrawler und Referrer-Spam

Researchgate

Researchgate (Eigenschreibweise ResearchGate) ist ein soziales Netzwerk und eine Datenbank im Internet für Forscher aus allen Bereichen der Wissenschaft, das auch als Dokumentenserver für Publikationen genutzt wird.

Sehen Webcrawler und Researchgate

RetroShare

RetroShare ist ein freies Computerprogramm, das verschiedene verschlüsselte Kommunikationsmöglichkeiten und serverloses Filesharing zwischen Freunden (friend-to-friend) und darüber hinaus ermöglicht.

Sehen Webcrawler und RetroShare

Rich Internet Application

Der Begriff Rich Internet Application (RIA; engl. „reichhaltige Internet-Anwendung“) ist nicht eindeutig definiert oder standardisiert, sondern aus der Evolution des Internets entstanden und wird im Verlauf der Entwicklung dieses Mediums immer öfter eingesetzt.

Sehen Webcrawler und Rich Internet Application

Robot

Robot steht für.

Sehen Webcrawler und Robot

Robots Exclusion Standard

Der Robots Exclusion Standard (auch bekannt als robots.txt) ist ein Datenformat und Netzwerkprotokoll, mit dem eine Website Steuerinformationen an Webcrawler mitteilen kann.

Sehen Webcrawler und Robots Exclusion Standard

Schattendomain

Unter einer Schattendomain wird im Bereich der Suchmaschinenoptimierung (SEO) eine Domain verstanden, die mithilfe einer irreführenden Weiterleitung zu einer anderen Website führt.

Sehen Webcrawler und Schattendomain

SchülerVZ

schülerVZ (kurz für Schülerverzeichnis) war eine Online-Community für Schüler und neben studiVZ und meinVZ ein Projekt der VZ Netzwerke.

Sehen Webcrawler und SchülerVZ

Schnitzelmitkartoffelsalat

Der Begriff Schnitzelmitkartoffelsalat ist ein Testbegriff von Webmastern, um die Eigenschaften von Suchmaschinen zu erforschen.

Sehen Webcrawler und Schnitzelmitkartoffelsalat

Scraper

Scraper (engl. Kratzer, Räumer) bezeichnet:;in der paläontologischen Fachliteratur.

Sehen Webcrawler und Scraper

Scrapy (Software)

Scrapy ist ein „Free and Open Source“-Webcrawling- und Scraping-Framework, das in der Programmiersprache Python geschrieben wurde.

Sehen Webcrawler und Scrapy (Software)

Screen Scraping

Der Begriff Screen Scraping (engl., etwa: „am Bildschirm schürfen“) umfasst generell alle Verfahren zum Auslesen von Texten aus Computerbildschirmen.

Sehen Webcrawler und Screen Scraping

Seitenabruf

Seitenabruf, auch Seitenaufruf oder Page Impression, bezeichnet die Anzahl der Abrufe einer einzelnen Webseite mit einem Webbrowser.

Sehen Webcrawler und Seitenabruf

Similarweb

Similarweb Ltd. (ehemals SimilarGroup) ist ein im März 2009 von Or Offer gegründetes IT-Unternehmen.

Sehen Webcrawler und Similarweb

Sitemaps-Protokoll

Das Sitemaps-Protokoll ermöglicht einem Webmaster, Suchmaschinen über Seiten seiner Website zu informieren, die von dieser ausgelesen werden sollen.

Sehen Webcrawler und Sitemaps-Protokoll

Spider

Spider steht für.

Sehen Webcrawler und Spider

Spider trap

Eine Spider trap (wörtlich „Spinnen-Falle“) ist eine Web-Struktur, die unerwünschte Webcrawler erkennen und optional an der Erfassung der Inhalte einer Website hindern soll.

Sehen Webcrawler und Spider trap

Suchmaschine

Eine Suchmaschine ist ein Programm zur Recherche von Dokumenten, die in einem Computer oder einem Computernetzwerk wie z. B.

Sehen Webcrawler und Suchmaschine

Suchmaschinenoptimierung

Suchmaschinenoptimierung – englisch search engine optimization (SEO) – bezeichnet Maßnahmen, die dazu dienen, die Sichtbarkeit einer Website und ihrer Inhalte für Benutzer einer Websuchmaschine zu erhöhen.

Sehen Webcrawler und Suchmaschinenoptimierung

Surface Web

Unter dem Begriff Surface Web, Clear Web oder Visible Web (dt.: „Oberflächen-Web“ bzw. „Sichtbares Web“) versteht man denjenigen Teil des World Wide Web, der allgemein zugänglich ist.

Sehen Webcrawler und Surface Web

Swoogle

Swoogle war eine Suchmaschine, die Dokumente, Begriffe und Daten im semantischen Web suchen kann.

Sehen Webcrawler und Swoogle

Teergrube (Informationstechnik)

Eine Teergrube (engl. Tarpit, dt. auch Teerfalle) stellt ein Verfahren dar, mit dem unerwünschte Netzwerkverbindungen künstlich verlangsamt werden und der Verbindungspartner möglichst lange blockiert wird.

Sehen Webcrawler und Teergrube (Informationstechnik)

Timnit Gebru

Gebru (2018) Timnit Gebru (geboren 1982 oder 1983 in Addis Abeba) ist eine Informatikerin, die auf dem Gebiet der künstlichen Intelligenz (KI) forscht.

Sehen Webcrawler und Timnit Gebru

User Agent

Ein User Agent („Benutzer“, agent „Mittler, Stellvertreter, Beauftragter“) ist eine clientseitige Anwendung zur Nutzung eines Netzwerkdienstes.

Sehen Webcrawler und User Agent

Volltextindexierung

Volltextindexierung ist die (automatische) Erfassung sämtlicher Wörter eines Textes in einem Index.

Sehen Webcrawler und Volltextindexierung

Waise

''Orphan'', James Tissot 1879 Als Waise (auf das deutsche und niederländische Sprachgebiet beschränkte Wort mhd. weise, ahd. weiso, zu wīsan, ‚meiden, verlassen‘, immer im Femininum) oder Waisenkind wird ein Kind bezeichnet, das einen oder beide Elternteile verloren hat.

Sehen Webcrawler und Waise

Web Analytics

Web Analytics (auch Clickstream-Analyse, Datenverkehrsanalyse, Web-Analyse, Web-Controlling oder Webtracking) ist die Sammlung von Daten und deren Auswertung bzgl.

Sehen Webcrawler und Web Analytics

Web-Archivierung

Web-Archivierung bezeichnet das Sammeln und dauerhafte Ablegen von Netzpublikationen mit dem Zweck, in der Zukunft Öffentlichkeit und Wissenschaft einen Blick in die Vergangenheit bieten zu können.

Sehen Webcrawler und Web-Archivierung

Web-Index

Ein Web-Index (auch Suchindex oder Suchmaschinenindex) ist die Indizierung des World Wide Web und anderer Dokumente, die über das Internet zugänglich sind.

Sehen Webcrawler und Web-Index

WebCrawler

WebCrawler ist eine Internet-Metasuchmaschine, die Google, Yahoo, Bing (früher Live Search, davor MSN Search), Ask.com und andere bekannte Suchmaschinen für die Suchanfrage benutzt.

Sehen Webcrawler und WebCrawler

Webometrie

Die Webometrie (engl. „webometrics“) ist eine Forschungsrichtung, die mit Hilfe von Messungen das World Wide Web untersucht.

Sehen Webcrawler und Webometrie

Webspinne

Als Webspinne bezeichnet man.

Sehen Webcrawler und Webspinne

Wolfram Alpha

Wolfram Alpha (Eigenschreibweise: WolframAlpha und ehem. Wolfram|Alpha) ist ein auf der Software Mathematica basierender Onlinedienst zum Auffinden und Darstellen von Informationen, der von Wolfram Research entwickelt wird.

Sehen Webcrawler und Wolfram Alpha

World Wide Web Wanderer

Der World Wide Web Wanderer (auch nur als Wanderer bekannt) wurde im Juni 1993 von Matthew Gray als erster Webcrawler für das World Wide Web am Massachusetts Institute of Technology entwickelt, um die Größe und den Zuwachs des Internets zu vermessen.

Sehen Webcrawler und World Wide Web Wanderer

XHTML Friends Network

Grafische Darstellung von XFNerstellt mit https://xfngraph.sourceforge.net/index.en.utf8.html XFN Graph – XHTML Friends Network Visualizer XHTML Friends Network (XFN) ist ein Metadaten-Profil, um im World Wide Web und in Sozialen Netzwerken persönliche Verbindungen über Links anzuzeigen.

Sehen Webcrawler und XHTML Friends Network

XPIDER

XPIDER (engl. extended spider „erweiterte Spinne“) ist ein Webcrawler, der von der Deutsche Börse AG entwickelt wurde.

Sehen Webcrawler und XPIDER

YaCy

YaCy (von Yet another Cyberspace, homophon zu) ist eine Suchmaschine, die nach dem Peer-to-Peer-Prinzip – kurz P2P – arbeitet.

Sehen Webcrawler und YaCy

Yasni

Yasni (eigene Schreibweise: yasni) ist eine Personensuchmaschine, betrieben von der Yasni GmbH.

Sehen Webcrawler und Yasni

Auch bekannt als Gecrawlt, Searchbot, Such-Harvester, Suchroboter, Suchspider, Web Crawler, Web-Crawler, Webspider.

, Meltwater Group, Meta-Element, MetaGer, Microsoft Bing, Microsoft Development Center Norway, Multiagentensystem, Nutch, Online-Algorithmus, Open Access, Open Web Index, PageRank, Parser, Recherche, Redaxo, Referrer-Spam, Researchgate, RetroShare, Rich Internet Application, Robot, Robots Exclusion Standard, Schattendomain, SchülerVZ, Schnitzelmitkartoffelsalat, Scraper, Scrapy (Software), Screen Scraping, Seitenabruf, Similarweb, Sitemaps-Protokoll, Spider, Spider trap, Suchmaschine, Suchmaschinenoptimierung, Surface Web, Swoogle, Teergrube (Informationstechnik), Timnit Gebru, User Agent, Volltextindexierung, Waise, Web Analytics, Web-Archivierung, Web-Index, WebCrawler, Webometrie, Webspinne, Wolfram Alpha, World Wide Web Wanderer, XHTML Friends Network, XPIDER, YaCy, Yasni.