Theoretische Grundlagen der Informatik WS 09/10

Transkript

1 Theoretische Grundlagen der Informatik WS 09/10 - Tutorium 6 - Michael Kirsten und Kai Wallisch Sitzung

2 Inhaltsverzeichnis 1 Formeln zur Berechnung Aufgabe 1 2 Hamming-Distanz Aufgabe 2 3 4

3 : Formeln Formeln zur Berechnung Aufgabe 1 Definition Die wird berechnet durch: C = max I (X ; Y ) = max I (X ; Y ) X p(x) Erinnerung:

4 : Formeln Formeln zur Berechnung Aufgabe 1 Definition Die wird berechnet durch: C = max I (X ; Y ) = max I (X ; Y ) X p(x) Erinnerung: I (X ; Y ) = H(X ) H(X Y ) = H(Y ) H(Y X ) H(X Y ) = H(X ) I (X ; Y ) = H(X, Y ) H(Y ) H(X ) = x X p(x) log p(x)

5 Aufgabe 1: Formeln zur Berechnung Aufgabe 1 Aufgabe Gegeben sei ein binärer Kanal mit Sender X und Empfänger Y, genannt Z-Kanal, durch die folgende Matrix: ( ) ( ) P(Y = 0 X = 0) P(Y = 0 X = 1) Q = = P(Y = 1 X = 0) P(Y = 1 X = 1) Bestimmen Sie die! Hinweis: Sie können dabei folgendes verwenden: log b x dx = 1 x ln b

6 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Die wird berechnet durch: C = max I (X ; Y ) = max I (X ; Y ) X p(x) Weil es sich um einen binären Kanal handelt, gilt P(X = 0) = p und P(X = 1) = 1 p für eine feste Wahrscheinlichkeit p R, 0 p 1 bezüglich einer entsprechenden Quelle X. Der Parameter p muss also so gewählt werden, dass die Transinformation I(X;Y) maximal wird. Es gilt: I (X ; Y ) = H(Y ) H(Y X ) Berechne zuerst jeweils H(Y ) und H(Y X ) in Abhängigkeit von p.

7 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Beginne mit H(Y): P(Y = 0) = P(X = 0) P(Y = 0 X = 0) + P(X = 1) P(Y = 0 X = 1) = p 1 + (1 p) 0.5 = 0.5 (1 + p) P(Y = 1) = P(X = 0) P(Y = 1 X = 0) + P(X = 1) P(Y = 1 X = 1) = p 0 + (1 p) 0.5 = 0.5 (1 p) H(Y ) = (P(Y = 0) log 2 P(Y = 0) + P(Y = 1) log 2 P(Y = 1)) = ( 0.5) (1+p) log 2 (0.5 (1 + p))+( 0.5) (1 p) log 2 (0.5 (1 p))

8 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Als nächstes kommt H(Y X ): H(Y X = 0) = (P(Y = 0 X = 0) log 2 P(Y = 0 X = 0) + P(Y = 1 X = 0) log 2 P(Y = 1 X = 0)) = (1 log log 2 0) = 0 H(Y X = 1) = (P(Y = 0 X = 1) log 2 P(Y = 0 X = 1) + P(Y = 1 X = 1) log 2 P(Y = 1 X = 1)) = (0.5 log log 2 0.5) = 1 H(Y X ) = P(X = 0) H(Y X = 0) + P(X = 1) H(Y X = 1) = p 0 + (1 p) 1 = 1 p

9 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Daraus ergibt sich für I (X ; Y ): I (X ; Y ) = H(Y ) H(Y X ) = ( 0.5) (1 + p) log 2 (0.5 (1 + p)) + ( 0.5) (1 p) log 2 (0.5 (1 p)) 1 + p

10 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Um I (X ; Y ) zu maximieren brauchen wir ein bisschen Analysis. Ableitung von I (X ; Y ) I (X ; Y ) = di (X ;Y ) dp = ( 0.5) log 2 (0.5 (1 + p)) + ( 0.5) (1 + p) (1+p) ln log 2 (0.5 (1 p)) + ( 0.5) (1 p) (1 p) ln 2 ( 0.5) + 1 = 0.5 (log 2 (0.5 (1 p)) log 2 (0.5 (1 + p))) + ( 0.5) ( 1 ln 2 1 ln 2 ) + 1 = 0.5 log 2 ( 1 p 1+p ) + 1

11 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Um I (X ; Y ) zu maximieren brauchen wir ein bisschen Analysis. Ableitung von I (X ; Y ) I (X ; Y ) = di (X ;Y ) dp = ( 0.5) log 2 (0.5 (1 + p)) + ( 0.5) (1 + p) (1+p) ln log 2 (0.5 (1 p)) + ( 0.5) (1 p) (1 p) ln 2 ( 0.5) + 1 = 0.5 (log 2 (0.5 (1 p)) log 2 (0.5 (1 + p))) + ( 0.5) ( 1 ln 2 1 ln 2 ) + 1 = 0.5 log 2 ( 1 p 1+p ) + 1 Setze die Ableitung gleich 0 I (X ; Y ) = log 2 ( 1 p 1+p ) + 1 = 0 log 2 ( 1 p 1 p 1+p ) = 2 1+p = p = p p = 0.6

12 Lösung zu Aufgabe 1 Formeln zur Berechnung Aufgabe 1 Durch Einsetzen von p = 0.6 in I (X ; Y ) ergibt sich dann: C = ( 0.8) log ( 0.2) log bit

13 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt:

14 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k

15 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k Die Spalten der Prüfmatrix sind paarweise linear unabhängig.

16 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k Die Spalten der Prüfmatrix sind paarweise linear unabhängig. Bemerkungen:

17 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k Die Spalten der Prüfmatrix sind paarweise linear unabhängig. Bemerkungen: Ein Wort w F n 2 wird kodiert, indem man es mit G multipliziert, also die Abbildung φ G : F n 2 Fm 2, φ G (x) = G x darauf anwendet.

18 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k Die Spalten der Prüfmatrix sind paarweise linear unabhängig. Bemerkungen: Ein Wort w F n 2 wird kodiert, indem man es mit G multipliziert, also die Abbildung φ G : F n 2 Fm 2, φ G (x) = G x darauf anwendet. Da φ G injektiv ist, können wir korrekt übertragene Wörter mit der Umkehrfunktion dekodieren.

19 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k Die Spalten der Prüfmatrix sind paarweise linear unabhängig. Bemerkungen: Ein Wort w F n 2 wird kodiert, indem man es mit G multipliziert, also die Abbildung φ G : F n 2 Fm 2, φ G (x) = G x darauf anwendet. Da φ G injektiv ist, können wir korrekt übertragene Wörter mit der Umkehrfunktion dekodieren. Elemente der Menge Bild(φ G ) nennt man Codewörter.

20 Hamming Codes Hamming-Distanz Aufgabe 2 Definition: Hamming-Code Ein Hamming Code ist gegeben durch eine (Generator-)Matrix G = F m n 2, wobei gilt: m = 2 k 1, n = 2 k 1 k Die Spalten der Prüfmatrix sind paarweise linear unabhängig. Bemerkungen: Ein Wort w F n 2 wird kodiert, indem man es mit G multipliziert, also die Abbildung φ G : F n 2 Fm 2, φ G (x) = G x darauf anwendet. Da φ G injektiv ist, können wir korrekt übertragene Wörter mit der Umkehrfunktion dekodieren. Elemente der Menge Bild(φ G ) nennt man Codewörter. sind Blockcodes, d.h. alle Codewörter haben die selbe Länge.

21 Hamming-Distanz Hamming-Distanz Aufgabe 2 Definition Die Hamming-Distanz zwischen zwei Codewörtern ist die Anzahl der Stellen, an denen sich die Codewörter voneinander unterscheiden. Formal sieht das so aus: d(x, y) = #{i i = 1,..., n, x i y i }

22 Hamming-Distanz Hamming-Distanz Aufgabe 2 Definition Die Hamming-Distanz zwischen zwei Codewörtern ist die Anzahl der Stellen, an denen sich die Codewörter voneinander unterscheiden. Formal sieht das so aus: d(x, y) = #{i i = 1,..., n, x i y i } Beispiel Frage: Wie ist die Hamming-Distanz der folgenden Wörter? x= y=

23 Hamming-Distanz Hamming-Distanz Aufgabe 2 Definition Die Hamming-Distanz zwischen zwei Codewörtern ist die Anzahl der Stellen, an denen sich die Codewörter voneinander unterscheiden. Formal sieht das so aus: d(x, y) = #{i i = 1,..., n, x i y i } Beispiel Frage: Wie ist die Hamming-Distanz der folgenden Wörter? x= y= Antwort: d(x,y)=9

24 Weitere Definitionen... Hamming-Distanz Aufgabe 2 Definition: Maximum-Likelihood-Decodierung Ordne jedem empfangenen Wort e ein Codewort c zu, das zu e eine minimale Hamming-Distanz hat und dekodiere anschließend.

25 Weitere Definitionen... Hamming-Distanz Aufgabe 2 Definition: Maximum-Likelihood-Decodierung Ordne jedem empfangenen Wort e ein Codewort c zu, das zu e eine minimale Hamming-Distanz hat und dekodiere anschließend. Wenn das empfangene Wort bereits ein Codewort ist, dann ändert sich nichts.

26 Weitere Definitionen... Hamming-Distanz Aufgabe 2 Definition: Maximum-Likelihood-Decodierung Ordne jedem empfangenen Wort e ein Codewort c zu, das zu e eine minimale Hamming-Distanz hat und dekodiere anschließend. Wenn das empfangene Wort bereits ein Codewort ist, dann ändert sich nichts. Wenn das empfangene Wort kein Codewort ist, dann ist bei der Übertragung ein Fehler aufgetreten. Mit der Maximum-Likelihood- Decodierung versucht man jetzt, durch Kippen möglichst weniger Bits, wieder ein Codewort herzustellen, welches anschließend dekodiert wird.

27 Weitere Definitionen... Hamming-Distanz Aufgabe 2 Definition: Maximum-Likelihood-Decodierung Ordne jedem empfangenen Wort e ein Codewort c zu, das zu e eine minimale Hamming-Distanz hat und dekodiere anschließend. Wenn das empfangene Wort bereits ein Codewort ist, dann ändert sich nichts. Wenn das empfangene Wort kein Codewort ist, dann ist bei der Übertragung ein Fehler aufgetreten. Mit der Maximum-Likelihood- Decodierung versucht man jetzt, durch Kippen möglichst weniger Bits, wieder ein Codewort herzustellen, welches anschließend dekodiert wird. Definition: Perfekter Code Ein Blockcode heißt perfekt, wenn seine Maximum-Likelihood-Dekodierung immer eindeutig ist.

28 Aufgabe 2: Hamming-Code Hamming-Distanz Aufgabe 2 Gegeben ein [7, 4]-Hamming-Code C H mit G Erzeuger- und H Prüfmatrix: G = H =

29 Aufgabe 2: Hamming-Code Hamming-Distanz Aufgabe 2 Gegeben ein [7, 4]-Hamming-Code C H mit G Erzeuger- und H Prüfmatrix: G = H = Aufgabe: Dekodieren Sie die folgenden empfangenen Wörter! 1. w 1 = ( ) 2. w 2 = ( ) 3. w 3 = ( ) 4. w 4 = ( )

30 Lösung zu Aufgabe 2 Hamming-Distanz Aufgabe 2 1. Das Syndrom lautet (0 0 0), das Codewort wurde also korrekt übertragen und die Originalnachricht lautet ( ). 2. Das Syndrom lautet (1 1 1), das Codewort hat damit einen Fehler in Bit 7 und die Originalnachricht lautet ( ). 3. Das Syndrom lautet (0 0 0), das Codewort wurde also korrekt übertragen und die Originalnachricht lautet ( ). 4. Das Syndrom lautet (0 0 1), das Codewort hat damit einen Fehler in Bit 1 und die Originalnachricht lautet ( ).

31 Sei C ein binärer Code, der durch die folgende Generatormatrix gegeben ist: G =

32 Sei C ein binärer Code, der durch die folgende Generatormatrix gegeben ist: G = Aufgabe: Dekodieren Sie die folgenden empfangenen Wörter! 1. w 1 = ( ) 2. w 2 = ( ) 3. w 3 = ( )

33 Lösung zu Aufgabe 3 Aufgrund der Tatsache, dass es sich um einen systematischen Code handelt, wie man an der Teilmatrix I 4 der Generatormatrix G erkennen kann, kann man die drei Prüfgleichungen direkt aus den letzten drei Zeilen von G ablesen.

34 Lösung zu Aufgabe 3 Aufgrund der Tatsache, dass es sich um einen systematischen Code handelt, wie man an der Teilmatrix I 4 der Generatormatrix G erkennen kann, kann man die drei Prüfgleichungen direkt aus den letzten drei Zeilen von G ablesen. Sie lauten für ein Codewort c C F 7 2 : 1. c 1 + c 2 + c 5 = s 1 2. c 3 + c 4 + c 6 = s 2 3. c 1 + c 2 + c 3 + c 4 + c 7 = s 3

35 Lösung zu Aufgabe 3 Aufgrund der Tatsache, dass es sich um einen systematischen Code handelt, wie man an der Teilmatrix I 4 der Generatormatrix G erkennen kann, kann man die drei Prüfgleichungen direkt aus den letzten drei Zeilen von G ablesen. Sie lauten für ein Codewort c C F 7 2 : 1. c 1 + c 2 + c 5 = s 1 2. c 3 + c 4 + c 6 = s 2 3. c 1 + c 2 + c 3 + c 4 + c 7 = s 3 Daraus kann man nun die Kontrollmatrix H bilden:

36 Lösung zu Aufgabe 3 Aufgrund der Tatsache, dass es sich um einen systematischen Code handelt, wie man an der Teilmatrix I 4 der Generatormatrix G erkennen kann, kann man die drei Prüfgleichungen direkt aus den letzten drei Zeilen von G ablesen. Sie lauten für ein Codewort c C F 7 2 : 1. c 1 + c 2 + c 5 = s 1 2. c 3 + c 4 + c 6 = s 2 3. c 1 + c 2 + c 3 + c 4 + c 7 = s 3 Definition: Systematischer Code Daraus kann man nun die Kontrollmatrix H bilden: Ein systematischer Code, auch separierbarer Code genannt, liegt vor, wenn im Codewort zuerst alle Datenbits und nachfolgend alle Paritätsbits angeordnet sind.

37 Lösung zu Aufgabe 3 Aufgrund der Tatsache, dass es sich um einen systematischen Code handelt, wie man an der Teilmatrix I 4 der Generatormatrix G erkennen kann, kann man die drei Prüfgleichungen direkt aus den letzten drei Zeilen von G ablesen. Daraus kann man nun die Alternativer Rechenweg: H = Kern(G T ) T Definition: Systematischer Code Kontrollmatrix H bilden: Ein systematischer Code, auch separierbarer Code genannt, liegt vor, wenn im Codewort zuerst alle Datenbits und nachfolgend alle Paritätsbits angeordnet sind.

38 Lösung zu Aufgabe 3 Nun kann man für ein empfangenes Wort w über die Gleichung Hw T = s T das Syndrom s = (s 1 s 2 s 3 ) bestimmen. Gilt s = (0 0 0), so geht man von einer korrekten Übertragung aus. Gilt s (0 0 0), so geht man zunächst von einem 1-Bit-Fehler aus und vergleicht s T mit den Spalten der Kontrollmatrix. Bei einer eindeutigen Übereinstimmung kann das fehlerhafte Bit korrigiert werden. Bei mehreren Übereinstimmungen ist eine Korrektur nicht mehr möglich. Bei keiner Übereinstimmung liegt ein Mehr-Bit-Fehler vor und man muss dann Spaltensummen für den Vergleich verwenden.

39 Lösung zu Aufgabe 3 1. Das Syndrom lautet (0 0 0), das Codewort wurde also korrekt übertragen und die Originalnachricht lautet ( ). 2. Das Syndrom lautet (0 0 1), das Codewort hat damit einen Fehler in Bit 7 und die Originalnachricht lautet ( ). 3. Das Syndrom lautet (1 0 1), das Codewort hat damit einen Fehler in Bit 1 oder in Bit 2. Bei einem Fehler in Bit 1 lautet die Originalnachricht ( ), bei einem Fehler in Bit 2 lautet sie ( ).

40 Fragen Habt ihr

41 Ende Bis zum nächsten Mal...