Logo
Unionpedia
Kommunikation
Jetzt bei Google Play
Neu! Laden Sie Unionpedia auf Ihrem Android™-Gerät herunter!
Installieren
Schneller Zugriff als Browser!
 

Kullback-Leibler-Divergenz

Index Kullback-Leibler-Divergenz

Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Abstand und relative Entropie bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen.

28 Beziehungen: Absolut stetige Funktion, Ähnlichkeitsanalyse, Ban (Einheit), Bit, Code, Diskrete Wahrscheinlichkeitsverteilung, Entropie (Informationstheorie), Eta, Evidence lower bound, Informationstheorie, John Wiley & Sons, Kanalkapazität, Kovarianzmatrix, Kreuzentropie, Logarithmus, Mehrdimensionale Normalverteilung, Messraum (Mathematik), Nit (Informationseinheit), Richard Leibler, Satz von Radon-Nikodým, Shannon (Einheit), Solomon Kullback, Stetige Wahrscheinlichkeitsverteilung, The Annals of Mathematical Statistics, Transinformation, Wahrscheinlichkeitsdichtefunktion, Wahrscheinlichkeitsfunktion, Wahrscheinlichkeitsmaß.

Absolut stetige Funktion

In der Analysis ist die absolute Stetigkeit einer Funktion eine Verschärfung der Eigenschaft der Stetigkeit.

Neu!!: Kullback-Leibler-Divergenz und Absolut stetige Funktion · Mehr sehen »

Ähnlichkeitsanalyse

In der Statistik, insbesondere der Multivariaten Statistik, interessiert man sich für die Messung der Ähnlichkeit zwischen verschiedenen Objekten und definiert dazu Ähnlichkeits- und Distanzmaße.

Neu!!: Kullback-Leibler-Divergenz und Ähnlichkeitsanalyse · Mehr sehen »

Ban (Einheit)

Das Ban (Einheitenzeichen: ban, b) ist eine heute nicht mehr gebräuchliche dimensionslose Maßeinheit für die Datenmenge.

Neu!!: Kullback-Leibler-Divergenz und Ban (Einheit) · Mehr sehen »

Bit

Der Begriff Bit (Kofferwort aus) Duden, Bibliographisches Institut, 2016 wird in der Informatik, der Informationstechnik, der Nachrichtentechnik sowie verwandten Fachgebieten in folgenden Bedeutungen verwendet.

Neu!!: Kullback-Leibler-Divergenz und Bit · Mehr sehen »

Code

Ein Code oder Kode (deutsche Aussprache oder) ist eine Abbildungsvorschrift, die jedem Zeichen eines Zeichenvorrats (Urbildmenge) eindeutig ein Zeichen oder eine Zeichenfolge aus einem möglicherweise anderen Zeichenvorrat (Bildmenge) zuordnet.

Neu!!: Kullback-Leibler-Divergenz und Code · Mehr sehen »

Diskrete Wahrscheinlichkeitsverteilung

Eine diskrete (Wahrscheinlichkeits-)Verteilung bzw.

Neu!!: Kullback-Leibler-Divergenz und Diskrete Wahrscheinlichkeitsverteilung · Mehr sehen »

Entropie (Informationstheorie)

Entropie (nach dem Kunstwort ἐντροπία)Kulturgeschichte der Physik, Károly Simonyi, Urania-Verlag, Leipzig 1990, ISBN 3-332-00254-6, S. 372.

Neu!!: Kullback-Leibler-Divergenz und Entropie (Informationstheorie) · Mehr sehen »

Eta

Das Eta (griechisches Neutrum ἦτα ē̂ta, neugriechisch Ήτα Íta; Majuskel Η, Minuskel η) ist der 7.

Neu!!: Kullback-Leibler-Divergenz und Eta · Mehr sehen »

Evidence lower bound

Die Evidence lower bound (kurz ELBO), ist eine untere Schranke der Log-Likelihood-Funktion beobachteter Daten (X) und nützlich bei der Variational Inference.

Neu!!: Kullback-Leibler-Divergenz und Evidence lower bound · Mehr sehen »

Informationstheorie

Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf den US-amerikanischen Mathematiker Claude Shannon zurückgeht.

Neu!!: Kullback-Leibler-Divergenz und Informationstheorie · Mehr sehen »

John Wiley & Sons

John Wiley & Sons mit Sitz in Hoboken (New Jersey) ist ein börsennotierter US-amerikanischer Verlag vor allem für wissenschaftliche Literatur.

Neu!!: Kullback-Leibler-Divergenz und John Wiley & Sons · Mehr sehen »

Kanalkapazität

Die Kanalkapazität ist Teil der informationstheoretischen Beschreibung eines Übertragungskanals.

Neu!!: Kullback-Leibler-Divergenz und Kanalkapazität · Mehr sehen »

Kovarianzmatrix

zweidimensionalen Gauß-Verteilung mit der Kovarianzmatrix \mathbf\Sigma.

Neu!!: Kullback-Leibler-Divergenz und Kovarianzmatrix · Mehr sehen »

Kreuzentropie

Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung.

Neu!!: Kullback-Leibler-Divergenz und Kreuzentropie · Mehr sehen »

Logarithmus

Logarithmische Skaleneinteilung eines Rechenschiebers (Detail) e (rot) und 1/2 (blau) Logarithmus zur Basis 10. Als Logarithmus (Plural: Logarithmen; von, „Verständnis, Lehre, Verhältnis“, und ἀριθμός, arithmós, „Zahl“) einer Zahl bezeichnet man den Exponenten, mit dem eine vorher festgelegte Zahl, die Basis, potenziert werden muss, um die gegebene Zahl, den Numerus, zu erhalten.

Neu!!: Kullback-Leibler-Divergenz und Logarithmus · Mehr sehen »

Mehrdimensionale Normalverteilung

Dichte einer zweidimensionalen (bivariaten) Normalverteilung im dreidimensionalen Raum Die mehrdimensionale oder multivariate Normalverteilung ist eine multivariate Verteilung in der multivariaten Statistik.

Neu!!: Kullback-Leibler-Divergenz und Mehrdimensionale Normalverteilung · Mehr sehen »

Messraum (Mathematik)

Messraum oder auch messbarer Raum ist ein Begriff der Maßtheorie, einem Teilbereich der Mathematik, der sich mit der Verallgemeinerung von Volumenbegriffen beschäftigt.

Neu!!: Kullback-Leibler-Divergenz und Messraum (Mathematik) · Mehr sehen »

Nit (Informationseinheit)

Nit, auch als Nat oder als Naperian Digit bzw.

Neu!!: Kullback-Leibler-Divergenz und Nit (Informationseinheit) · Mehr sehen »

Richard Leibler

Richard Arthur Leibler (* 18. März 1914 in Chicago, Illinois; † 25. Oktober 2003 in Reston, Virginia) war ein US-amerikanischer Mathematiker und Kryptologe.

Neu!!: Kullback-Leibler-Divergenz und Richard Leibler · Mehr sehen »

Satz von Radon-Nikodým

In der Mathematik verallgemeinert der Satz von Radon-Nikodým die Ableitung einer Funktion auf Maße und signierte Maße.

Neu!!: Kullback-Leibler-Divergenz und Satz von Radon-Nikodým · Mehr sehen »

Shannon (Einheit)

Shannon (abgekürzt Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den Informationsgehalt einer Nachricht.

Neu!!: Kullback-Leibler-Divergenz und Shannon (Einheit) · Mehr sehen »

Solomon Kullback

Solomon Kullback Solomon Kullback (* 4. April 1907 in Brooklyn, New York; † 5. August 1994 in Boynton Beach, Florida) war ein US-amerikanischer Mathematiker (Statistik) und Kryptologe.

Neu!!: Kullback-Leibler-Divergenz und Solomon Kullback · Mehr sehen »

Stetige Wahrscheinlichkeitsverteilung

Die stetigen (Wahrscheinlichkeits)verteilungen, auch diffuse oder atomlose (Wahrscheinlichkeits)verteilungen bzw.

Neu!!: Kullback-Leibler-Divergenz und Stetige Wahrscheinlichkeitsverteilung · Mehr sehen »

The Annals of Mathematical Statistics

The Annals of Mathematical Statistics war eine Statistik-Fachzeitschrift mit Peer-Review, die zwischen 1930 und 1972 vom Institute of Mathematical Statistics herausgegeben wurde.

Neu!!: Kullback-Leibler-Divergenz und The Annals of Mathematical Statistics · Mehr sehen »

Transinformation

Transinformation oder gegenseitige Information (engl. mutual information) ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt.

Neu!!: Kullback-Leibler-Divergenz und Transinformation · Mehr sehen »

Wahrscheinlichkeitsdichtefunktion

Die Wahrscheinlichkeit, dass eine Zufallsvariable einen Wert zwischen a und b annimmt, entspricht dem Inhalt der Fläche S unter dem Graph der Wahrscheinlichkeits­dichtefunktion f. Eine Wahrscheinlichkeitsdichtefunktion, oft kurz Dichtefunktion, Wahrscheinlichkeitsdichte, Verteilungsdichte oder nur Dichte genannt und mit WDF oder englisch PDF (probability density function) abgekürzt, ist eine spezielle reellwertige Funktion in der Stochastik.

Neu!!: Kullback-Leibler-Divergenz und Wahrscheinlichkeitsdichtefunktion · Mehr sehen »

Wahrscheinlichkeitsfunktion

Wahrscheinlichkeitsfunktion eines fairen Würfels. Alle Augenzahlen haben die gleiche Wahrscheinlichkeit 1/6. Eine Wahrscheinlichkeitsfunktion, auch Zähldichte genannt, ist eine spezielle reellwertige Funktion in der Stochastik.

Neu!!: Kullback-Leibler-Divergenz und Wahrscheinlichkeitsfunktion · Mehr sehen »

Wahrscheinlichkeitsmaß

Ein Wahrscheinlichkeitsmaß dient dazu, den Begriff der Wahrscheinlichkeit zu quantifizieren und Ereignissen, die durch Mengen modelliert werden, eine Zahl im Intervall zuzuordnen.

Neu!!: Kullback-Leibler-Divergenz und Wahrscheinlichkeitsmaß · Mehr sehen »

Leitet hier um:

KL-Divergenz, Kullback-Leibler-Abstand, Kullback-Leibler-Diskrepanz, Kullback-Leibler-Distanz, Kullback-Leibler-Entropie, Kullback-Leibler-Information, Relative Entropie.

AusgehendeEingehende
Hallo! Wir sind auf Facebook! »