2.11 Kontextfreie Grammatiken und Parsebäume

Transkript

1 2.11 Kontextfreie Grammatiken und Parsebäume Beispiel: Beispiel (Teil 3): Beweis für L(G) L: Alle Strings aus L der Länge 0 und 2 sind auch in L(G). Als Induktionsannahme gehen wir davon aus, dass alle Strings aus L der Länge 2i 0 auch in L(G) sind. Sei w L ein String der Länge 2i0 + 2, d.h. w = 0 i0+1 1 i0+1. s gilt S 0S1 0w 1 mit w L(G) {0, 1} 2i 0. Zu Beginn des Kapitels 2.7 (Folie 312) haben wir die Sprache L = { 0 n 1 n n N } kennengelernt und wir haben bewiesen, dass diese Sprache nicht regulär ist. Ist diese Sprache kontextfrei? Wir betrachten die Grammatik mit Produktionen G = ({S}, {0, 1}, P, S) S ε 0S1. G ist offensichtlich kontextfrei. Wie können wir Beweisen, dass L(G) = L ist? Aus der Induktionsannahme wissen wir, dass wir w = 0 i 0 1 i 0 ableiten können. Somit können wir auch w = 0 i0+1 1 i0+1 aus S ableiten. s gilt L(G) L {0, 1} 2i Beispiel (Teil 2): Beweis für L(G) L: Beispiel: Die in Aufgabe 2.3 betrachtete Sprache der Palindrome ist kontextfrei L pal = { w w = w rev und w {0, 1} } und mit Hilfe des Pumping-Lemmas für reguläre Sprachen können wir zeigen, dass diese Sprache nicht regulär ist. Wir betrachten die Grammatik mit Produktionen G = ({S}, {0, 1}, P, S) S ε 0 1 0S0 1S1. Für jeden Ableitungsschritt w w gilt: ntweder besteht w nur aus Terminalsymbolen und es gilt w = w 1 oder w beinhaltet noch eine Variable und es gilt w = w + 2. Somit hat jeder String in L(G) eine gerade Länge. Führen wir alle möglichen Ableitungen durch, die einen String w T der Länge w 2 ergeben, so sehen wir, dass entweder w = ε oder w = 01 ist. Somit gilt die Aussage für L(G) {0, 1} 2. Als Induktionsannahme gehen wir davon aus, dass alle Strings der Länge 2i 0, die wir aus S ableiten können von der Form 0 i 1 i mit 2i 2i 0 sind. Sei w L(G) mit 2 w 2i Die Ableitung von w hat folgende Form S 0S1 0w 1 = w mit w L(G) {0, 1} 2i 0. Somit gilt L(G) {0, 1} 2i 0+2 L G ist offensichtlich kontextfrei. Wie können wir Beweisen, dass L(G) = L ist? 370

2 Beispiel (Teil 2): Beweis für L(G) L pal : Für jeden Ableitungsschritt w w gilt: ntweder besteht w nur aus Terminalsymbolen und es gilt w 1 w w oder w beinhaltet noch eine Variable und es gilt w = w + 2. Führen wir alle möglichen Ableitungen durch, die einen String w T der Länge w 1 ergeben, so sehen wir, dass entweder w = ε, w = 0 oder w = 1 ist. Somit gilt die Aussage für L(G) {0, 1} 1. Als Induktionsannahme gehen wir davon aus, dass alle Strings der Länge i 0, die wir aus S ableiten können, Palindrome, d.h. in L pal sind. Sei w L(G) mit 2 w i Die Ableitung von w hat die Form oder S 0S0 0w 0 = w mit w L(G) {0, 1} i 0 S 1S1 1w 1 = w mit w L(G) {0, 1} i 0. Somit gilt L(G) {0, 1} i 0+1 L pal. Beispiel (Teil 3): Beweis für L(G) L pal : Alle Strings aus L pal der Länge 0, 1 und 2 sind auch in L(G). Als Induktionsannahme gehen wir davon aus, dass alle Strings aus L pal der Länge i 0 auch in L(G) sind. Sei w L pal ein String der Länge i 0 + 1, d.h. w = w rev. s gilt oder S 0S0 0w 0 mit w L(G) {0, 1} i 0 S 1S1 1w 1 mit w L(G) {0, 1} i 0. Aus der Induktionsannahme wissen wir, dass wir alle Strings w = w rev mit w i 0 ableiten können. Somit können wir auch w = 0w 0 = 0w rev 0 = w rev und w = 1w 1 = 1w rev 1 = w rev aus S ableiten. s gilt L(G) L pal {0, 1} i Ableitung: Den Begriff der Ableitung und der von einer Grammatik erzeugten Sprache haben wir schon auf Folie 211 kennen gelernt. Bei einer regulären Grammatik bestand jeder ableitbare String aus maximal einer Variablen und mehreren Terminale. in String, der in einer kontextfreien Grammatik abgeleitet werden kann, kann mehreren Variablen beinhalten. Wollen wir für einen String überprüfen, ob dieser durch eine Grammatik abgeleitet werden kann, dann müssen wir uns bei jedem Ableitungsschritt fragen, welche Variable wir im nächsten Schritt durch den Rumpf einer Produktion ersetzen wollen. Formen von Ableitungen: Um die Anzahl der möglichen Ableitungen zu beschränken, betrachten man oft spezielle Formen von Ableitungen: die linksseitige (leftmost) und die rechtsseitige (rightmost) Ableitung. Sei w 0 = S w 1... w k eine Ableitung mit w i = α i Hβ i und w i+1 = α i γ i+1 β i wobei H γ i+1 eine Produktion aus P ist. Wir nennen diese Ableitung eine linksseitige Ableitung, wenn für alle i [0..k 1] α i ein String aus T ist. Wir nennen diese Ableitung eine rechtsseitige Ableitung, wenn für alle i [0..k 1] β i ein String aus T ist. Für die linksseitige Ableitung benutzen wir auch die Symbole lm und lm und für die rechtsseitige Ableitung benutzen wir auch die Symbole rm und rm.

3 Satzformen: in String w (T V ), den wir über eine Grammatik ableiten können, wird auch Satzform genannt. xistiert eine linksseitige Ableitung für einen String w (T V ), so sprechen wir auch von einer linksseitigen Satzform. xistiert eine rechtsseitige Ableitung für einen String w (T V ), so sprechen wir auch von einer rechtsseitigen Satzform. Parsebäume: Parsebäume sind eine graphische, baumförmige Darstellung von Ableitungen, welche unter anderem auch beim Compilerbau als Datenstruktur Anwendung findet. in Baum B = (V B, B ) ist ein Parsebaum einer Grammatik G = (V, T, P, S), wenn jeder innere Knoten mit einer Variablen aus V beschriftet ist. jedes Blatt entweder mit einer Variablen, mit einem Terminal oder mit ε beschriftet ist. Falls ein Blatt mit ε beschriftet ist, dann ist es der einzige Nachfolger seines Vorgängers. Sei A V die Beschriftung eines inneren Knotens und X 1,..., X k die Beschriftung seiner Nachfolger von links nach rechts gesehen, dann ist A X 1... X k eine Produktion in P. Das rgebnis eines Parsebaums ist die Beschriftung seiner Blätter von links nach rechts gelesen mit ε beschriftete Blätter werden hierbei ignoriert Parsebäume von besonderer Bedeutung haben die folgende igenschaften: Das rgebnis ist eine String aus Terminalen. Alle Blätter sind entweder mit Terminale oder mit ε beschriftet. Die Wurzel ist mit dem Startsymbol beschriftet. Die rgebnisse dieser Parsebäume beschreiben die Strings, die durch die Grammatik abgeleitet werden können. Satz 54: Sei G = (V, T, P, S) eine kontextfreien Grammatik, dann sind die folgenden Aussagen äquivalent: 1. w L(G) 2. S lm w T 3. S rm w T 4. w ist das rgebnis eines Parsebaums, dessen Blätter alle mit Terminale oder ε beschriftet sind und dessen Wurzel mit S beschriftet ist.

4 Beweis: Die folgenden Aussagen aus Satz 54 sind sehr einfach nachzuweisen: Ist S lm w T, so gilt S w T und w L(G). Ist S rm w T, so gilt S w T und w L(G). Ist w das rgebnis eines Parsebaums, dessen Blätter alle mit Terminale oder ε beschriftet sind und dessen Wurzel mit S beschriftet ist, so können wir w aus S ableiten, indem wir die Ableitungen so wählen, wie sie durch den Parsebaum gegeben sind, wenn wir den Parsebaum von links nach rechts gehend traversieren. Dieses entspricht einer linksseitigen Ableitung. Somit gilt S lm w. Wählen wir die Ableitungen so, wie sie durch den Parsebaum gegeben sind, wenn wir den Parsebaum von rechts nach links gehend traversieren, so entspricht dieses einer rechtsseitigen Ableitung. Somit gilt S rm w. Wir werden daher auf einen detailierten Beweis verzichten. 379 Beweis (Teil 2): Wir müssen nun nur noch zeigen, dass w das rgebnis eines Parsebaums ist, dessen Blätter alle mit Terminale oder ε beschriftet sind und dessen Wurzel mit S beschriftet ist, wenn w L(G) ist. Diesen Beweis führen wir über eine vollständige Induktion. Wir beweisen hierzu folgendes Lemma: Lemma 16 Sei w T eine String, der sich durch t Ableitungsschritte aus einer Variablen A ableiten läßt, dann gibt es einen Parsebaum mit t inneren Knoten mit dem rgebnis w. Aus diesem Lemma folgt unmittelbar die gesuchte Aussage: Ist w L(G), so gibt es eine endliche Ableitung von w aus S. Nach Lemma 16 gibt es folglich auch einen Parsebaum endlicher Größe mit Wurzel S und rgebnis w. Aus der igenschaft Satz 54 a folgt igenschaft Satz 54 b und aus dieser igenschaft Satz 54 d. Aus dieser folgt wiederum igenschaft Satz 54 a. Die igenschaften a, b und d sind somit äquivalent. Analog folgt aus die Äquivalenz der igenschaften a, c und d. 380 Beweis von Lemma 16: Der Beweis erfolgt über eine Induktion. Im folgenden Beweis identifizieren wir Konten mit ihrer jeweiligen Beschriftung. Induktionserankerung: Sei w = w 1... w k ein String mit w 1,..., w k T, der sich über einen Ableitungsschritt aus der Variablen A ergibt, dann gibt es eine Produktion A w in P. Somit gibt es auch einen Parsebaum mit Wurzel A und k Nachfolgern w 1,..., w k. Lemma 16 gilt somit für t = 1. Induktionsannahme: Lemma 16 gilt für alle Parsebäume mit t t 0 inneren Knoten und für alle Ableitungen, die aus t t 0 Schritten bestehen. Beweis von Lemma 16 (Teil 2): Induktionsschritt: Sei w T ein String, der über t Ableitungsschritte aus A hergeleitet werden kann: u 0 = A u 1 = X 1... X k u 2... u t0 +1 = w. Dann gibt es eine Aufteilung von w in k Teilstrings w 1,..., w k, wobei für alle i [1..k] gilt und X i kann in t i t 0 Schritten in w i abgeleitet werden t = 1 + k t k. i=

5 Beweis von Lemma 16 (Teil 3): Somit gibt es für alle i [1..k] einen Parsebaum T i mit Wurzel X i, rgebnis w i und t i internen Knoten. X 1 T 1 X 2 T 2... X k T k Beweis von Lemma 16 (Teil 4): Fassen wir jetzt diese Parsebäume in einem neuen Parsebaum T zusammen, in dem wir eine neue Wurzel A mit Nachfolgern X 1,..., X k (in dieser Reihenfolge) generieren. s gilt: T hat 1 + k i=1 t i innere Knoten. Das rgebnis von T ist w 1... w k = w. Lemma 16 ist somit auch für Ableitungen, die aus t Schritt bestehen erfüllt. A w 1 w 2 w k X 1 X 2 T 1 T 2... X k T k w 1 w 2 w k Beispiel: Wir Betrachten die Sprache der arithmetischen Ausdrücke über die Operationen +, und den Variablen x{0, 1} +. s ist zwar einfach zu zeigen, dass diese Sprache auch regulär ist, sie eignet sich dennoch hervorragend als Beispiel für Parsebäume. Die folgende kontextfreie Grammatik G = ({N, }, {x, 0, 1, +, }, P, ) beschreibt die gewünschte Sprache. Für P wählen wir + xn und N 0 1 0N 1N. Beispiel (Teil 2): 2 Parsebäume für die Satzformen + : + Da uns die Teilstrings, die die Variablen in einem arithmetischen Ausdruck beschreiben im Folgenden nicht näher interessieren, wollen wir uns auf die Satzformen, die wir über die Produktionen + erreichen können, konzentrieren. +

6 Mehrdeutigkeiten von Grammatiken Wie aus dem Beispiel auf den Folien 385 und 386 zu erkennen ist, müssen die Parsebäume und die Ableitungen für eine Satzform nicht eindeutig sein. Definition Wir nennen eine kontextfreie Grammatik G mehrdeutig, wenn es eine Satzform w für G gibt, welche das rgebnis zweier unterschiedlicher Parsebäume ist. Für viele praktische Aufgaben ist es erstrebenswert, wenn eine kontextfreie Grammatik eindeutig ist: Betrachten wir die Struktur der Parsebäume als eine implizit gegebene Form der Klammerung und ersetzen wir die Nichtterminale in den Blättern der Parsebäume auf der Folie 386 durch die Werte 2, 3 und 4, so erhalten wir für den linken Parsebaum den Wert 2 (3 + 4) = 14 und für den rechten Parsebaum den Wert (2 3) + 4 = 10. Das entfernen von Mehrdeutigkeiten ist jedoch sehr aufwendig und nicht immer möglich: Im Allgemeinen ist es nicht entscheidbar, ob eine gegebene kontextfreie Grammatik mehrdeutig ist. s gibt keinen Algorithmus, der für eine gegebene kontextfreie Grammatik G entscheidet, ob es eine Satzform für G gibt, für welche es zwei unterschiedliche Parsebäume gibt. s gibt kontextfreie Sprachen, für die jede kontextfreie Grammatik mehrdeutig ist Für viele für die Praxis interessante Sprachen ist dieses Problem jedoch zu umgehen. So können wir im Parsergenerator YACC für die arithmetischen Ausdrücke beispielsweise angeben, dass Vorrang vor + hat und und + linksassoziativ sind. YACC gibt mit dieser Spezifikation dem rechten Parsebaum auf Folie 386 den Vorrang vor dem linken Parsebaum. Mehrdeutigkeiten können oft durch das Verwenden zusätzlicher Symbole (z.b. durch Klammerung) oder durch die Umstellung der Grammatik aufgehoben werden. Betrachten wir die Grammatik G = ({, T, I, N}, {x, 0, 1, +, }, P, ) mit + T T T T I I I xn N 0 1 0N 1N. In dieser Grammatik ist der linke Parsebaum nicht mehr möglich (wenn wir in den Blättern durch I bzw. durch T ersetzen). Nur der linke Parsebaum ist ein korrekter Parsebaum für die Satzform T I + T. Die Grammatik ist eindeutig

7 Selbst wenn eine Grammatik eindeutig ist, d.h. jede Satzform w, die durch Grammatik hergeleitet werden kann, hat einen eindeutigen Parsebaum, müssen die Ableitungen, die zu diesen Satzformen führen, nicht eindeutig sein: Gibt es in einer Satzform mehr als ein Nichtterminal, so gibt es keine Vorschrift, die uns vorschreibt, welches Nichtterminal als nächstes durch den Rumpf einer Produktion ersetzt werden soll. Für eine eindeutige Grammatik sind jedoch die linksseitige und die rechtsseitige Ableitung eindeutig. Dieses können wir aus unserer Beobachtung aus dem Beweis von Satz 54 (Folie 378) erkennen: Die Reihenfolge der Ableitungen in einer linksseitigen Ableitung entspricht der Reihenfolge die wir über eine Traversierung des Parsebaums erhalten, wenn wir in jedem Konten dessen Nachkommen von links nach rechts besuchen. Die Reihenfolge der Ableitungen in einer rechtsseitigen Ableitung entspricht der Reihenfolge die wir über eine Traversierung des Parsebaums erhalten, wenn wir in jedem Konten dessen Nachkommen von rechts nach links besuchen Inhärent mehrdeutige kontextfreie Sprachen s gibt kontextfreie Sprachen, die inhärent mehrdeutig sind, d.h. jede Grammatik für eine solche Sprache ist mehrdeutig. Diese Aussage werden wir nicht beweisen, jedoch an einem Beispiel erläutern. Die folgende kontextfreie Sprache ist inhärent mehrdeutig: Für Satzformen aus L(G), die die gleiche Anzahl von a s, b s, c s und d s beinhalten gibt es zwei verschiedene Formen von Parsebäumen: S L = { a n b n c m d m n, m 1 } { a n b m c m d n n, m 1 }. A B Die beiden Formen der in L enthaltenen Strings werden durch zwei Gruppen von Produktionen erzeugt: a A b c B d S AB S C A aab ab C acd add B cbd cd D bdc bc. a b c d

8 S a a b C C D D d d c Wir argumentieren, dass mit einer Ausnahme einer endlichen Anzahl von Strings, die über gleich viele a s, b s, c s und d s verfügen, alle Strings dieser Form auf zwei verschiedene Arten generiert werden können: 1. s muss ein Verfahren geben, welches die gleiche Anzahl a s und b s und die gleiche Anzahl c s und d s generiert. 2. s muss ein zweites Verfahren geben, welches die gleiche Anzahl a s und d s und die gleiche Anzahl b s und c s generiert. b c Die einzige Möglichkeit zur rzeugung von Strings, die über die gleiche Anzahl von a s und b s verfügt, besteht in der Verwendung einer Variablen, die wie A in der vorgestellten Grammatik auf Folie 393 arbeitet. Natürlich gibt es hierbei verschiedene Varianten, diese unterscheiden sich jedoch nicht wesentlich. Merke: Wir können auf keinen Fall vermeiden, dass es Mechanismen zur rzeugung gleich vieler a s und b s gibt. Analog können wir bezüglich der c s und d s argumentieren. Analog können wir für die zweite Teilsprache argumentieren: s muss einen Mechanismen zur rzeugung gleich vieler a s und d s geben. s muss einen Mechanismen zur rzeugung gleich vieler b s und c s geben. Auf diese Art und Weise können wir argumentieren, dass die Grammatik für L, gleichgültig, welche Modifikationen daran vorgenommen werden, stets zumindest einige Strings der Form a n b n c n d n auf zwei Arten, d.h. über zwei Parsebäume, generiert