Logo
Unionpedia
Kommunikation
Jetzt bei Google Play
Neu! Laden Sie Unionpedia auf Ihrem Android™-Gerät herunter!
Herunterladen
Schneller Zugriff als Browser!
 

Webcrawler

Index Webcrawler

Visualisierung eines Webcrawls einer kleinen Webseite Ein Webcrawler (auch Spider, Searchbot oder Robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert.

32 Beziehungen: Barrierefreies Internet, Bot, Cloaking, Computerprogramm, Data-Mining, Deep Web, E-Mail-Harvester, HTTrack Website Copier, Hyperlink, Hypertext Markup Language, Indexierung, Internetsurfen, Meta-Element, Portal (Informatik), Quelltext, Robots Exclusion Standard, Spam, Spider trap, Suchmaschine, Suchmaschinenoptimierung, Teergrube (Informationstechnik), Textfeld, Uniform Resource Locator, Usenet, Web-Feed, WebCrawler, Webometrie, Webseite, World Wide Web, World Wide Web Wanderer, Wrapper (Informationsextraktion), Zeichenkette.

Barrierefreies Internet

Barrierefreies Internet sind Web-Angebote, die von allen Nutzern unabhängig von ihren Einschränkungen oder technischen Möglichkeiten uneingeschränkt (barrierefrei) genutzt werden können.

Neu!!: Webcrawler und Barrierefreies Internet · Mehr sehen »

Bot

Unter einem Bot (von ‚Roboter‘) versteht man ein Computerprogramm, das weitgehend automatisch sich wiederholende Aufgaben abarbeitet, ohne dabei auf eine Interaktion mit einem menschlichen Benutzer angewiesen zu sein.

Neu!!: Webcrawler und Bot · Mehr sehen »

Cloaking

Cloaking (engl. Verhüllen) ist eine Technik zur Suchmaschinenoptimierung, bei der dem Webcrawler der Suchmaschinen unter derselben URL eine andere Seite präsentiert wird als dem Besucher.

Neu!!: Webcrawler und Cloaking · Mehr sehen »

Computerprogramm

Ein Computerprogramm oder kurz Programm ist eine den Regeln einer bestimmten Programmiersprache genügende Folge von Anweisungen (bestehend aus Deklarationen und Instruktionen), um bestimmte Funktionen bzw.

Neu!!: Webcrawler und Computerprogramm · Mehr sehen »

Data-Mining

Unter Data-Mining (von, aus ‚Daten‘ und ‚graben‘, ‚abbauen‘, ‚fördern‘) versteht man die systematische Anwendung statistischer Methoden auf große Datenbestände (insbesondere „Big Data“ bzw. Massendaten) mit dem Ziel, neue Querverbindungen und Trends zu erkennen.

Neu!!: Webcrawler und Data-Mining · Mehr sehen »

Deep Web

Clear Web, Deep Web und Dark Web im Vergleich Das Deep Web (auch Hidden Web oder Invisible Web) bzw.

Neu!!: Webcrawler und Deep Web · Mehr sehen »

E-Mail-Harvester

Ein E-Mail-Harvester oder Spambot ist ein Programm (Bot), welches das Internet gezielt nach E-Mail-Adressen (auch Telefonnummern) oder Blogs absucht, um an diese Werbung (Spam) zu verschicken.

Neu!!: Webcrawler und E-Mail-Harvester · Mehr sehen »

HTTrack Website Copier

HTTrack Website Copier (kurz „HTTrack“) ist eine freie Software, mit deren Hilfe Kopien ganzer Websites in einem lokalen Verzeichnis, z. B.

Neu!!: Webcrawler und HTTrack Website Copier · Mehr sehen »

Hyperlink

Typisches Anzeichen für einen Hyperlink: ein Mauszeiger in Form einer Hand über einem Text mit Hervorhebung (Unterstreichung, farbliche Absetzung) Ein Hyperlink (englische Aussprache, deutsch wörtlich „Über-Verknüpfung“, sinngemäß elektronischer Verweis) ist der Anglizismus für einen Link, der als Querverweis in einem Hypertext fungiert und einen Sprung zu einem anderen elektronischen Dokument oder an eine andere Stelle innerhalb eines Dokuments ermöglicht.

Neu!!: Webcrawler und Hyperlink · Mehr sehen »

Hypertext Markup Language

Die Hypertext Markup Language (HTML, für Hypertext-Auszeichnungssprache) ist eine textbasierte Auszeichnungssprache zur Strukturierung elektronischer Dokumente wie Texte mit Hyperlinks, Bildern und anderen Inhalten.

Neu!!: Webcrawler und Hypertext Markup Language · Mehr sehen »

Indexierung

Als Indexierung (möglicher Anglizismus auch Tagging), auch Verschlagwortung (Österreich, Bayern: Beschlagwortung) oder Verstichwortung, bezeichnet man die Zuordnung von Deskriptoren zu einem Dokument zur Erschließung der darin enthaltenen Sachverhalte.

Neu!!: Webcrawler und Indexierung · Mehr sehen »

Internetsurfen

Als Internetsurfen (oder auch nur Surfen) wird umgangssprachlich das aufeinanderfolgende Betrachten von mehreren Webseiten im Internet bezeichnet.

Neu!!: Webcrawler und Internetsurfen · Mehr sehen »

Meta-Element

Das Meta-Element (unspezifisch bzw. falsch oft als Meta-Tag bezeichnet) dient in HTML- oder XHTML-Dokumenten zur Angabe von Metadaten.

Neu!!: Webcrawler und Meta-Element · Mehr sehen »

Portal (Informatik)

Der Ausdruck Portal („Pforte“) bezeichnet in der Informatik ein Anwendungssystem, das sich durch die Integration von Anwendungen, Prozessen und Diensten auszeichnet.

Neu!!: Webcrawler und Portal (Informatik) · Mehr sehen »

Quelltext

siehe eigene Artikel. Quelltext, auch Quellcode oder unscharf Programmcode genannt, ist in der Informatik der für Menschen lesbare, in einer Programmiersprache geschriebene Text eines Computerprogrammes.

Neu!!: Webcrawler und Quelltext · Mehr sehen »

Robots Exclusion Standard

Der Robots Exclusion Standard (auch bekannt als robots.txt) ist ein Datenformat und Netzwerkprotokoll, mit dem eine Website Steuerinformationen an Webcrawler mitteilen kann.

Neu!!: Webcrawler und Robots Exclusion Standard · Mehr sehen »

Spam

Eine typische Spam-Mail, ''scheinbar'' für ein Potenzmittel (2011) Diagramm des Spamverkehrs im Internet (1): Spamwebseite (2): Spammer (3): Spam (4): Infizierte Computer (5): Virus oder Trojaner (6): E-Mail-Server (7): Computernutzer (8): Internetverkehr Als Spam oder Junk (für,Müll') werden unerwünschte, in der Regel auf elektronischem Weg übertragene massenhafte Nachrichten (Informationen) bezeichnet, die dem Empfänger unverlangt zugestellt werden, ihn oft belästigen und auch häufig werbenden Inhalt enthalten.

Neu!!: Webcrawler und Spam · Mehr sehen »

Spider trap

Eine Spider trap (wörtlich „Spinnen-Falle“) ist eine Web-Struktur, die unerwünschte Webcrawler erkennen und optional an der Erfassung der Inhalte einer Website hindern soll.

Neu!!: Webcrawler und Spider trap · Mehr sehen »

Suchmaschine

Eine Suchmaschine ist ein Programm zur Recherche von Dokumenten, die in einem Computer oder einem Computernetzwerk wie z. B.

Neu!!: Webcrawler und Suchmaschine · Mehr sehen »

Suchmaschinenoptimierung

Suchmaschinenoptimierung – englisch search engine optimization (SEO) – bezeichnet Maßnahmen, die dazu dienen, die Sichtbarkeit einer Website und ihrer Inhalte für Benutzer einer Websuchmaschine zu erhöhen.

Neu!!: Webcrawler und Suchmaschinenoptimierung · Mehr sehen »

Teergrube (Informationstechnik)

Eine Teergrube (engl. Tarpit, dt. auch Teerfalle) stellt ein Verfahren dar, mit dem unerwünschte Netzwerkverbindungen künstlich verlangsamt werden und der Verbindungspartner möglichst lange blockiert wird.

Neu!!: Webcrawler und Teergrube (Informationstechnik) · Mehr sehen »

Textfeld

Tastatureingabe in ein Textfeld (Animation) Ein Textfeld oder eine Textbox, vereinfachend auch ein Eingabefeld, ist ein Steuerelement einer grafischen Benutzeroberfläche, das Tastatureingaben oder Programmausgaben in Form einer Zeichenkette aufnehmen und darstellen kann.

Neu!!: Webcrawler und Textfeld · Mehr sehen »

Uniform Resource Locator

Ein Uniform Resource Locator (Abk. URL; für „einheitlicher Ressourcenverorter“) identifiziert und lokalisiert eine Ressource, beispielsweise eine Webseite, über die zu verwendende Zugriffsmethode (zum Beispiel das verwendete Netzwerkprotokoll wie HTTP oder FTP) und den Ort der Ressource in Computernetzwerken.

Neu!!: Webcrawler und Uniform Resource Locator · Mehr sehen »

Usenet

Diskussionen werden im Newsreader als Bäume dargestellt. Hier eine Newsgroup in dem Programm Mozilla Thunderbird. Das Usenet (//, ursprünglich Unix User Network – für ‚Unix-Benutzer-Netzwerk‘) ist ein weltweites, elektronisches Netzwerk, das einen eigenen selbstständigen Dienst des Internets neben dem World Wide Web darstellt.

Neu!!: Webcrawler und Usenet · Mehr sehen »

Web-Feed

Web-Feed (oder News-Feed) ist eine Technik, mithilfe derer ein Feed von Beiträgen bzw.

Neu!!: Webcrawler und Web-Feed · Mehr sehen »

WebCrawler

WebCrawler ist eine Internet-Metasuchmaschine, die Google, Yahoo, Bing (früher Live Search, davor MSN Search), Ask.com und andere bekannte Suchmaschinen für die Suchanfrage benutzt.

Neu!!: Webcrawler und WebCrawler · Mehr sehen »

Webometrie

Die Webometrie (engl. „webometrics“) ist eine Forschungsrichtung, die mit Hilfe von Messungen das World Wide Web untersucht.

Neu!!: Webcrawler und Webometrie · Mehr sehen »

Webseite

Als Webseite (Wortzusammensetzung aus Web und Seite), Webdokument, Internetseite, Webpage oder kurz Seite wird ein Dokument als Bestandteil einer Website im World Wide Web bezeichnet, das mit einem Browser unter Angabe eines Uniform Resource Locators (URL) abgerufen und von einem Webserver angeboten werden kann.

Neu!!: Webcrawler und Webseite · Mehr sehen »

World Wide Web

Das historische WWW-Logo, entworfen von Robert Cailliau Grafische Darstellung einiger Webpräsenzen im World Wide Web um en.wikipedia.org im Juli 2004 Visualisierung des World Wide Web Common Crawls aus dem Jahr 2012 (44 Mio. Domains) Das World Wide Web (für „weltweites Netz“, kurz Web oder WWW) ist ein über das Internet abrufbares System von elektronischen Hypertext-Dokumenten, sogenannten Webseiten, welche mit HTML beschrieben werden.

Neu!!: Webcrawler und World Wide Web · Mehr sehen »

World Wide Web Wanderer

Der World Wide Web Wanderer (auch nur als Wanderer bekannt) wurde im Juni 1993 von Matthew Gray als erster Webcrawler für das World Wide Web am Massachusetts Institute of Technology entwickelt, um die Größe und den Zuwachs des Internets zu vermessen.

Neu!!: Webcrawler und World Wide Web Wanderer · Mehr sehen »

Wrapper (Informationsextraktion)

Als Wrapper bezeichnet man im Informatik-Teilbereich der Informationsextraktion eine Gruppe von speziellen Prozeduren zur automatischen Extrahierung von (semi-)strukturierten Daten aus einer bestimmten Datenquelle (Text).

Neu!!: Webcrawler und Wrapper (Informationsextraktion) · Mehr sehen »

Zeichenkette

Eine Zeichenkette, Zeichenfolge, Zeichenreihe oder ein String (aus dem Englischen) ist in der Informatik eine endliche Folge von Zeichen (z. B. Buchstaben, Ziffern, Sonderzeichen und Steuerzeichen) aus einem definierten Zeichensatz.

Neu!!: Webcrawler und Zeichenkette · Mehr sehen »

Leitet hier um:

Gecrawlt, Searchbot, Such-Harvester, Suchroboter, Suchspider, Web Crawler, Web-Crawler, Webspider.

AusgehendeEingehende
Hallo! Wir sind auf Facebook! »