Knut Hoberg
info at knut-hoberg.de
Zurück
Lokale KI · Projekt
Aus meinem PDF-Archiv ist eine Wissensdatenbank geworden, die ich in normalen Sätzen befragen kann. Ein Sprachmodell auf meinem Rechner hat jeden Artikel gelesen, zusammengefasst und verschlagwortet. Ich stöbere in einem Raum voller Sterne, schlage Begriffe nach oder stelle Fragen. Jede Antwort nennt Heft und Seite, und das PDF öffnet an der Stelle. Nichts davon verlässt den Rechner.
01
Ein Python-Programm liest die PDF-Hefte und trennt sie in Artikel. Ein lokales Sprachmodell fasst jeden Artikel zusammen und vergibt Themen und Begriffe. Dazu kommen ein Volltextindex und Vektoren für die Bedeutungssuche, die ein Einbettungsmodell auf demselben Rechner berechnet. Der Raum aus Sternen, die Heftleiste und der Chat laufen im Browser.
02
Beim Stöbern ist jeder Stern ein Artikel, und je näher zwei Sterne beieinander stehen, desto ähnlicher ist ihr Inhalt. Beim Nachschlagen suchen kurze Begriffe im Volltext und in der Bedeutung. Beim Fragen wähle ich, wie viel das Modell liest: Schnell nimmt die besten Textstellen, Tief bis zu vierzig Artikel im Volltext. Unter der Antwort steht, wie viel Text es tatsächlich gesehen hat.
03
Das Modell ist klein. Die Zuordnung zu einem Fachgebiet stimmt nicht immer, Themen und Begriffe sind verlässlicher. Eine Zusammenfassung verliert Details, und ein Fehler darin wandert in jede Antwort. Deshalb nennt jede Antwort Heft und Seite, und das PDF öffnet an der Stelle. Ich lese die Antwort als Wegweiser und prüfe im Original.
