Erfahrungen mit ChatGPT & Postgres – Ontologie, RAG und „praktische“ Einsatzszenarien?

Hallo zusammen,

nach der letzten Diskussion zu ChatGPT und PostgreSQL (danke nochmal für die vielen spannenden Gedanken!) habe ich mich nochmal intensiver mit zwei Punkten beschäftigt, die ihr genannt habt:

  1. Ontologien – also ein gutes Datenmodell mit aussagekräftigen Beziehungen, das viele Abfragen schon ohne KI sehr mächtig macht.
  2. RAG-Ansätze (Retrieval Augmented Generation) – um große Datenmengen erst zu filtern/strukturieren, bevor eine KI sie interpretiert.

Ich habe inzwischen einen kleinen Proof-of-Concept gebaut, bei dem ich aus einem Produktdatenmodell (synthetische Testdaten) sowohl klassische SQL-Abfragen als auch KI-gestützte semantische Suchanfragen getestet habe. Dabei hat ChatGPT als externer Dienst zwar gut funktioniert, aber die Frage „lokal vs. Cloud“ bleibt natürlich relevant, vor allem wegen Datenschutz und Kosten.

  • ChatGPT kann bei freien Textabfragen recht gut helfen, wenn die Tabellen- und Spaltennamen bekannt sind.
  • Für komplexere Suchen (z. B. „alle Produkte, die zur Kategorie X gehören, ähnliche Eigenschaften wie Y haben und gleichzeitig im Preisbereich Z liegen“) ist das Datenmodell selbst aber fast wichtiger als die KI.
  • RAG könnte ein Ansatz sein, um solche Abfragen lokal mit einem Open-Source-LLM umzusetzen – quasi ChatGPT-ähnlich, aber ohne Cloud.

Wo seht ihr realistische Szenarien, bei denen eine KI wie ChatGPT wirklich Mehrwert bringt (abseits vom „SQL aus Text generieren“)?

Mich würde vor allem interessieren, ob jemand hier praktische Erfahrungen mit lokalen Ansätzen hat oder vielleicht sogar schon ein ähnliches Setup produktiv einsetzt.

Viele Grüße

Es scheint, dass dieses Thema für alle recht neu ist.

Das ist ein Ansatz, man lässt die Cloud (Drittanbieter) aus dem Spiel und macht das gleiche(!) lokal.

Das steht und fällt damit, wie gut das LLM ist, dass man einsetzt. Und natürlich, was “das LLM” in der Cloud tatsächlich ist. Bzw. nimmt man als gegeben hin, das ChatGPT ein fixes LLM einsetzt, wäre man noch lange nicht so weit, wenn man genau das gleiche lokal einsetzt. Dazwischen hängt das Prompting des Users (das man ja identisch, frei einsetzen kann) und das des ChatGPT Clients, das ebenso intransparent ist wie das closed source LLM.

Ich weiß es nicht auswendig, aber man darf wohl davon ausgehen, dass ChatGPT über sehr große Kontextgrößen verfügt, die demnach halt sehr viel Daten verarbeiten/berücksichtigen können. Das kann man @home nur begrenzt nachmachen. Ein lokales 12b oder sowas Modell, was noch ins VRAM passt, ist nett für ein paar verblüffende ad hoc Antworten und jenachdem welches, hat man auch Platz für eine Handvoll Zusatzinformationen, aber es dürfte verglichen mit den kommerziellen Anbietern eher Kindergarten sein. Datenvolumen bekommt man ohne viel RAM nicht hin.

Ich hab mir noch nicht den Spaß erlaubt, ein LLM zu einem gegebenen, komplexen RDBMS Datenmodell nach SQL queries zu fragen, schon gar nicht auf einem Ontologiemodell. Aber was bereits Modelle leisten, die auf Consumer Grakas laufen, kann ich mir vorstellen, dass sie einen guten Job machen würden.
Wenn ich Code generieren lasse ist meine Erfahrung allerdings, dass doch viele Fehler(chen) auftreten, die für sich genommen oft leicht korrigierbar sind. Für größere Dinge funktioniert das aber nicht so toll. Ähnlich ist es vielleicht bei komplexen SQL Abfragen bzw. komplexen Datenmodellen. (Welche ja im Übrigen unpopulär zu sein scheinen und vielleicht gar nicht gut trainiert sind)

Spannend finde ich die Kombination LLM und RDBMS allerdings schon. Was da realistisch ist, kann ich nicht beurteilen. Einerseits wegen Kindergarten Hardware und andererseits weil ich da noch nicht lange mit arbeite.

Was ich mir vorstellen könnte, hab ich glaub ich schon erwähnt, dass auch ein lokales LLM genug “know how” hat, einen Haufen Standardauswertungen zu generieren, obwohl das Datenmodell vielleicht nicht ganz Standard ist. Sowas wie: Gegeben ist Datenmodell xy und ich brauche KPI 97, 99, 1111-1324, weil es eben diese ganzen Banker, Finance und Controler Klamotten “kennt”. Ich kenne die nicht und muss das alles auf Anfrage Schritt für Schritt entwicklen.

Moderatorhinweis: Links entfernt, da diese nicht auf das Original verlinkt haben, sondern auf deine Drittanbieterseite, deren Seriosität nicht geprüft werden kann.

Dieses Thema wurde automatisch 60 Tage nach der letzten Antwort geschlossen. Es sind keine neuen Antworten mehr erlaubt.