klausur-web-mining-ss08

Semestralklausur zur VorlesungWeb MiningProf.J.F¨u rnkranzTechnische Universit¨a t Darmstadt—Sommersemester2008Termin:4.7.2008Name:Vorname:Matrikelnummer: Fachrichtung:Punkte:(1)....(2)....(3)....(4)....(5)....Summe:Wichtig!•Aufgaben:Diese Klausur enth¨a lt auf den folgenden Seiten5Aufgaben zu insgesamt100Punkten.Jede Aufgabe steht auf einem eigenen Blatt.Kontrollieren Sie sofort,ob Sie alle sechs Bl¨a tter erhalten haben!•Zeiteinteilung:Die Zeit ist knapp bemessen.Wir empfehlen Ihnen,daßSie sich zuerst einen kurzen ¨Uberblick¨u ber die Aufgabenstellungen verschaffen,und dann mit den Aufgaben beginnen,die Ihnen am meisten liegen.•Papier:Verwenden Sie nur Papier,das Sie von uns ausgeteilt bekommen.Sie k¨o nnen Ihre L¨o sungen beliebig auf die sechs Bl¨a tter verteilen,solange klar ersichtlich ist,welche L¨o sung zu welcher Aufgabe geh¨o rt.Sollten sich allerdings mehrere L¨o sungen zu derselben Aufgabefinden,suchen wir uns eine aus.Insbesondere k¨o nnen Sie auch auf den R¨u ckseiten schreiben!Brauchen Sie zus¨a tzlich Papier(auch Schmierpaper),bitte melden.•Hilfsmittel:Als Hilfsmittel darf ein handbeschriebenes DIN-A4-Blatt benutzt werden.Ausl¨a ndische Stu-denten d¨u rfen dar¨u ber hinaus gedruckte W¨o rterb¨u cher verwenden.Elektronische W¨o rterb¨u cher sind nicht erlaubt.•Fragen:Sollten Sie Teile der Aufgabenstellung nicht verstehen,bitte fragen Sie!•Abschreiben:Sollte es sich(wie in den letzten Jahren leider immer wieder)herausstellen,daßIhre L¨o sung und die eines Kommilitonen¨u ber das zu erwartende Maßhinaus¨u bereinstimmen,werden beide Arbeiten negativ beurteilt(ganz egal wer von wem und egal in welchem Umfang abgeschrieben hat).•Ausweis:Legen Sie Ihren Studentenausweis sichtbar auf Ihren Platz.•Aufr¨a umen:Sonst darf außer Schreibger¨a t,Essbarem,von uns ausgeteiltem Papier und eventuell W¨o rter-b¨u chern nichts auf Ihrem Platz liegen.Taschen bitte unter den Tisch!Wer bei diesen Temperaturen einen Mantel mithat,wird gebeten,ihn anzubehalten.Gutes Gelingen!Aufgabe120Punkte(4/4/4/4/4)Sie wollen einen Comparison Shopping Site f¨u r Studenten der TU Darmstadt aufbauen,der automatisch von verschiedenen Anbietern im Web Angebote zu Lehrb¨u chern sammelt,diese vergleicht,und die jeweils g¨u nstigen Angebote zur Verf¨u gung stellt.Beantworten Sie die folgenden Fragen und begr¨u nden Sie mit mindestens einem Satz.1–a Jeder Anbieter hat f¨u r jedes Buch eine eigene Seite,auf der sich unter anderem der Titel des Lehr-buchs,eine vom Verlag zur Verf¨u gung gestellte kurze Inhaltsangabe,der Name des Autors und der Preis bei diesem Anbieterfinden.Sie m¨o chten diese Informationen in einer Datenbank-Relation angebot(Autor,Titel,Inhalt,Anbieter,Preis)sammeln.Wie w¨u rden Sie vorgehen?1–b Leider stellen Sie fest,daßdieser Automatisierungsschritt nicht100%verl¨aßliche Ergebnisse bietet.Sie m¨u ssen nun erkennen,welche Seiten verschiedener Anbieter sich auf die gleichen B¨u cher beziehen,um die Daten angleichen zu k¨o nnen.Wie w¨u rden Sie dieses Problem l¨o sen?1–c Sie wollen das Angebot an Lehrb¨u chern strukturieren und versuchen,automatisch Gruppen von Fach-b¨u chern zufinden,die¨a hnliche Themen behandeln.Welche Technik w¨u rden Sie hier einsetzen?1–d Viele Anbieter bieten den Benutzern die M¨o glichkeit,ihre Meinung zu den B¨u chern in Form eines kurzen Texts zu¨a ußern.Bei einigen dieser Anbieter hat der Benutzer zus¨a tzlich noch die M¨o glichkeit, diese Bewertung auf einer Skala von eins bis f¨u nf zusammenzufassen.Wie w¨u rden Sie vorgehen,wenn Sie so eine numerische Zusammenfassung der schriftlichen Bewertungen auch f¨u r die restlichen Sites nachtr¨a glich automatisch erg¨a nzen m¨o chten?1–e Sie wollen außerdem Ihren Kunden B¨u cher empfehlen,die sie vielleicht interessieren k¨o nnen.Sie haben aber¨u ber die Kunden keinerlei Informationen außer welche B¨u cher sie bisher bei Ihnen gekauft haben.Wie w¨u rden Sie vorgehen?Aufgabe224Punkte(8/6/6/4)Sie betreiben eine Web-Site,die Empfehlungen f¨u r bestimmte Produkte abgibt,basierend auf bisherigen Be-wertungen dieser Produkte.Im Moment gibt es5Benutzer,die8Artikel auf einer Skala von0bis3bewertet haben(0ist am schlechtesten,3ist am besten,bei leeren Eintr¨a gen liegt noch keine Bewertung vor).Benutzer P1P2P3P4P5P6P7P8Adalbert13132Berta02233C¨a sar0332Dorian2220?Emil313122–a Sch¨a tzen Sie mit Hilfe dem in der Vorlesung besprochenen Verfahren die Bewertung,die Benutzer Dorian f¨u r das Produkt P7abgeben w¨u rde.i.ohne Ber¨u cksichtigung der Durchschnittsbewertungen m(u)ii.mit Ber¨u cksichtigung der Durchschnittsbewertungen m(u).Berechnen Sie die¨Ahnlichkeit zwischen den Benutzern dabei nicht mit den in der Vorlesung ange-gebenen Korrelations bzw.Kosinus-Maßen,sondern ziehen Sie die durschnittliche Abweichungen aller gemeinsamen Empfehlungen von3ab,also(in der Terminologie der Vorlesungsfolien):w(u1,u2)=3−1|I u1∩I u2|i∈I u1∩I u2|v(u1,i)−v(u2,i)|2–b Nehmen Sie an,daßalle Benutzer Produkte,die sie mit einer Bewertung>0bewertet haben,auch gekauft haben(und daßsie keine anderen Produkte gekauft haben).Wenn ein neuer Benutzer nun P6 kauft,welches andere Produkt w¨u rden Sie ihm aufgrund von Item-to-Item Korrelationen empfehlen?Stellen Sie die entsprechende Item-to-Item Matrix wie in der Vorlesung auf.2–c Geben Sie an,welche Zerlegung in zwei Cluster die folgenden Methoden auf der oben angegebenen Matrix jeweilsfinden sollten(Sie brauchen sich dabei nicht auf einen konkreten Clustering-Algorithmus zu beziehen):er-Clusteringii.Item-Clusteringiii.Co-Clustering2–d Geben Sie ein Beispiel f¨u r eine gute Assoziations-Regel,die man aus den Kaufdaten aus Aufgabe b) lernen k¨o nnte,und begr¨u nden Sie,warum Sie die Regel f¨u r gut halten.Aufgabe318Punkte(6/4/5/3)Gegeben seien die Web-Dokumente d1,d2,d3,d4,d5,d6und folgende Hyperlinks zwischen diesen Dokumenten: d2→d1d2→d5d3→d5d4→d3d4→d2d5→d1d5→d4d6→d4Sie erhalten als Antwort auf eine Query Q die Dokumente d1und d2zur¨u ck.3–a Berechnen Sie die Hub und Authority Scores f¨u r die Query Q anhand des in der Vorlesung vorgestellten HITS-Algorithmus(F¨u hren Sie maximal drei Iterationen durch).3–b Berechnen Sie die erste Iteration des PageRank-Algorithmus auf allen Knoten.Verwenden Sie dabeiund initialisieren Sie die Werte gleichverteilt.einen Damping-Faktor von233–c Um eine endg¨u ltige Reihung der Suchresultate vorzunehmen,kombiniert Google den PageRank noch mit Merkmalen,die sich auf den Inhalt der Seiten beziehen.1.Nennen Sie drei verschiedene Arten von Informationen,die hier ber¨u cksichtigt werden.2.Was w¨u rde passieren,wenn man nur den PageRank einer Seite zur Reihung der Suchresultateheranziehen w¨u rde?3–d Nehmen Sie an,daßdie Dokumente d2,d4,d6f¨u r die Query Q relevant gewesen w¨a ren.Berechnen Sie den F1-Wert f¨u r das oben angegebene Query-Resultat.Aufgabe416Punkte(2/3/4/3/4)Textklassifikation4–a Der Term-Frequency-Vektor eines Dokumentes bezieht sich auf eine bestimmte Termmenge.In die Term-menge sollte man nur W¨o rter aufnehmen,die vorkommen inder Trainingsmengeder Testmengeder Trainingsmenge und in der Testmengekeine der beiden Mengen4–b Welche der folgenden Techniken werden eingesetzt,um die Grundmenge der Terme zu verkleinern?ShinglingStemmingSparse EncodingDelta EncodingCase Folding4–c Wir sagen,ein bin¨a rer Klassifierer C ist bilinear,wenn es einen Vektor v und eine Zahl b gibt,so dass die Vorhersage C(x)∈{−1,+1}sich f¨u r jeden Eingabvektor x schreiben l¨a sst als C(x)=sign( v,x +b).Welche der folgenden Lernverfahren erzeugen bilineare Klassifizierer,wenn sie auf ein bin¨a res Klassifi-kationsproblem angewandt werden?RocchioNaive-Bayesk-NNlineare SVM4–d Erkl¨a ren Sie die Grundidee der TF-IDF-Gewichtung.4–e Bestimmen Sie,wie viele bin¨a re arithmetische Rechenoperationen ein Naive-Bayes Klassifizierer ben¨o tigt, um die Klassenwahrscheinlichkeiten f¨u r ein Testdokument zu berechnen,das als TF-Vektor(nicht spar-se)gegeben ist,wenn die Termmenge die Gr¨oße m hat und K Klassen zu Auswahl stehen.Aufgabe522Punkte(5/6/5/6)Gegeben sei folgende(symmetrische)Matrix von paarweisen Distanzen zwischen Dokumenten.Die letzte Zeile gibt dabei die Klassenzugeh¨o rigkeit der Dokumente an.d1d2d3d4d5d6d7d8d9d1—2743412591887770d2—23684211811510496d3—8166133129119105d4—3154483934d5—71705864d6—121452d7—1341d8—42d9—Klasse A A A B B C C C CHinweis:Sie k¨o nnen sich vorstellen,daßes sich dabei um euklidische Abst¨a nde handelt.Ein kleiner Wert bedeutet demnach eine hohe¨Ahnlichkeit und ein großer Wert steht f¨u r un¨a hnliche Dokumente.5–a Klassifizieren Sie jedes Dokument anhand eines k-NN Klassifizierers,der jeweils auf den restlichen Do-kumenten trainiert wurde.Trainieren Sie z.B.um d5zu klassifizieren auf{d1,d2,d3,d4,d6,d7,d8,d9}.Geben Sie die Vorhersage f¨u r jedes Dokument an und die daf¨u r verantwortlichen Nachbarn.Verwenden Sie k=1.5–b Erstellen Sie f¨u r die Resultate aus a)die Multiclass-Konfusionsmatrix.Berechnen Sie anhand dieser die Gesamt-Accuracy der Vorhersagen und f¨u r jede Klasse getrennt jeweils Precision und Recall.5–c Berechnen Sie die durchschnittlichen Recall-und Precision-Werte der Vorhersagen unter Verwendung von Micro-Averaging und Macro-Averaging.5–d Beim Micro-Averaging von Mehr-Klassen-Konfusionsmatrizen sind Recall und Precision allgemein gleich.Wie l¨aßt sich das erkl¨a ren?。