GeODin zu PostGIS, aber wie?

So ich habe jetzt mal ein paar dinge probiert.

Vorallem das mit dem gesamten Kopieren der TAbelle ist tatsächlich blöd.
Ich habe jetzt einfach in den trigger ein delete vorne dran geschrieben und eine where klausel für die x-Koordinate eingefügt.
das funktioniert auch gut. Er schreibt mir jetzt nur die Zeilen rüber die koordinaten haben und auch jeweils nur den aktuellen stand…
ABER: das problem ist die gid-spalte mit dem serial… diese wird bei jedem anfassen weiter gezählt… das ist schlecht (weil ja jedesmal trotzdem wieder alle 4000 Zeilen mit Koordianten rüber kopiert werden :,( xD).

Ergo muss ich dies alles doch mit dem old und new machen. dazu bräuchte ich aber mal eine erklärung wie das funktioniert.

Desweiteren habe ich das Problem der SRID mit einem einfachen UPDATE WHERE behoben. Dies muss ich dann noch in einen eigenen Trigger in der Zieltabelle bauen. Und dann kann ich endlich die eigentliche Geschichte mit der Transformation angehen ^^ xD

Gruß

Hallo!

Drohne:
Ja, wie planen Ad-Hoc-Befliegungen für einige Monitoring- und Erkundungsprojekte :slight_smile:
Vielleicht schreib ich mal ein paar Zeilen dazu, wenn wir das Ganze im Griff haben.

SRID:
Für alte Daten kann man in der Tat den Ansatz verfolgen nach der ersten Ziffer zu unterscheiden. Für neuere und ganz neue Daten ist das aber nicht mehr eindeutig, da UTM-Koordinaten auch 7-stellig mit einer 3 vorkommen können.

old/new:
Das sind Präfixe, mit denen du innerhalb eines Triggers auf die jeweils übergebenen Werte zugreifen kannst. Damit kannst du z.B, Dinge mache wie

if new.xcoord <> old.xcoord or new.ycoord <> old.ycoord then new.geom = st_makepoint(new.xcoord, new.ycoord)

Das erzeugt eine neue Geometri, wenn sich die Koordinatenfelder ändern, sonst nicht.

if und Trigger:
Ich empfehle dir, das mal im Postgres-Handbuch nachzulesen. Da sind auch Beispiele dabei, damit kommt man schon weiter.

Soviel erstmal, Schönes Wochenende!

Uwe

Hi Uwe,

also ich hab jetzt mal ewig umher probiert mit dem old und new…
Ich habe aber nix hinbekommen. Es geht immernoch darum die bestimmten Spalten aus der Urtabelle in die neue Tabelle in dem anderen Schema automatisch zu “überführen” sobald etwas an der Urtabelle geändert wird (sei es Insert, Update oder Delete).

Ich habe folgende Funktion zusammengbastelt die zumindest keine Fehlermeldung zurückgibt und einen entsprechenden Trigger der auch keine Fehlermeldung zurück gibt. Füge ich aber etwas in die Urtabelle ein bekomme ich eine Fehlermeldung:

CREATE OR REPLACE FUNCTION public.insert()
  RETURNS trigger AS
$BODY$ 
      BEGIN
	if new.prj_id <> old.prj_id
	or new.xcoord <> old.xcoord 
	or new.ycoord <> old.ycoord
	or new.zcoordb <> old.zcoordb
	or new.longname <> old.longname
	or new.projekt <> old.projekt
	then 
		update "kopie"."stammdaten"
			set 	
			(old.prj_id, old.xcoord, old.ycoord, old.zcoordb, old.longname, old.projekt) 
			= (new.prj_id, new.xcoord, new.ycoord, new.zcoordb, new.longname, new.projekt);
	RETURN NULL;
	END if;
      END;
$BODY$
  LANGUAGE plpgsql VOLATILE
  COST 100;
ALTER FUNCTION public.insert()
  OWNER TO postgres;
  
  CREATE TRIGGER replication
	AFTER INSERT OR UPDATE OR DELETE 
	ON public.geodin_loc_ssgkrzt1
	FOR EACH ROW 
	EXECUTE PROCEDURE insert();
	
insert into public.geodin_loc_ssgkrzt1 
VALUES
('940000','0','1','4555474','5555556');

FEHLER:  Record „old“ hat noch keinen Wert
DETAIL:  Die Tupelstruktur eines Records ohne Wert ist unbestimmt.
CONTEXT:  PL/pgSQL-Funktion insert() Zeile 3 bei IF
********** Fehler **********

FEHLER: Record „old“ hat noch keinen Wert
SQL Status:55000
Detail:Die Tupelstruktur eines Records ohne Wert ist unbestimmt.
Kontext:PL/pgSQL-Funktion insert() Zeile 3 bei IF

ich hab keine Ahnugn von old und new… muss ich das vorher irgendwo declaren oder setten?
Langsam nervts ^^

Danke schonmal für deine Hilfe

Gruß Stefan

bei einem Insert gibt es kein OLD, du wirst also auch prüfen müssen, ob die aktuelle Aktion ein Insert, Update oder Delete ist.

Was genau hast Du denn genau vor? Was soll bei einem Insert, bei einem Update und bei einem Delete passieren? OLD und NEW sind Records, die bei den einzelnen Operationen unterschiedlich gesetzt sind:

NEW : Data type RECORD; variable holding the new database row for INSERT/UPDATE operations in row-level triggers. This variable is NULL in statement-level triggers and for DELETE operations.
OLD : Data type RECORD; variable holding the old database row for UPDATE/DELETE operations in row-level triggers. This variable is NULL in statement-level triggers and for INSERT operations.


Bis jetzt sehe ich da nur ein Update auf kopie.stammdaten, aber was soll bei einem DELETE / UPDATE passieren? TG_OP sagt Dir, ob es Insert/Update oder Delete ist, was den Trigger ausgelöst hat.

Davon abgesehen:warum der Aufwand? Du kannst doch auch immer sehen, was in der eigentlichen Tabelle drinsteht? Wenn das eine Replikation werden soll (so der Name des Triggers), dann gäbe es da möglicherweise generell sinnvollere Möglichkeiten. Wenn es eine Art Logging werden soll, und Du anhand der Logtabelle nachvollziehen können willst, wann sich was und wie geändert hat, auch.

Im Prinzip möchte ich nur eine Automatik die mir bestimmte Spalten aus der Urtabelle (im Schema public) in die neue Tabelle in meinem eigenen Schema “Kopie”, welches den Postgis-Aufsatz hat, “rüber geschoben” haben. Dabei wird die Urtabelle durch ein externes Programm (GeODin) geändert. Die Änderungen können eben Inserts, Deletes oder Updates irgend einer Zeile sein. DAs Problem ist, dass die Urtabelle viel mehr SPalten hat als die 5 Spalten die ich ausschließlich haben will. Die anderen Spalten können ebenfalls gelöscht oder geupdatet werden ohne das sich was an den 5 Spalten ändert die mich interessieren. Somit soll der Trigger dann dort nicht auslösen obwohl etwas in der ROW bzw Spalte geändert wird. Ich weiß nicht mal ob das möglich ist… Deshalb dachtre ich die OLD/NEW GEschichte wäre eine Lösung.

Etwaige Feinheiten wie das ausschließliche Kopieren bzw Löschen von Zeilen in die neue Tabelle die Koordinaten haben wären ein Bonus.
Für mich stellt sich erstmal die Grundfrage wie ich die Daten in das andere Schema bekomme OHNE VIEW oder FDW (also ganz und gar andere Datenbank).

Ich möchte die neue Tabelle ungern im selben Schema anlegen wie die GeODin-Tabellen (das sind 97). GeODin hat die Struktur automatisch angelegt und ist relativ schmerzfrei. Dennoch wäre mir die neue Tabelle lieber in einem anderen Schema, da ich dort auch den PostGIS Aufsatz hinlegen kann und dort alle Berechnungen die ich mit den Koordinaten vor habe ausführen kann ohne die Struktur der originalen Tabellen zu nötigen.

Achso: Das Ziel der neuen Tabelle sollen PostGIS-DAten sein die ich aus den orignalen Daten zusammenbaue und berechne um diese über ein WebGIS einzubinden. Das wichtigste daran: Es muss up to DAte sein… Das heißt wenn ich was in GeODin eingebe oder lösche oder update, soll dieses dann automatisch in den DAten für das WebGIS widergespiegelt werden. Deshalb fällt ein View oder ein MV aus. Das FWD möchte ich nur ungern machen weil ich davon gleich mal null Ahnung habe. Es sei denn mir erklärt dass jemand, was ich nicht glaube.

So ich hoffe ich hab es halbwegs sinnvoll erklärt.

Gruß Stefan

PS.: Ich hatte schon eine Lösung über einen Insert-Trigger mit vorlaufendem Delete der neuen Tabelle. Jedoch gab es Probleme mit einer Serial-Spalte und dem delete…

So langsam bin ich etwas ratlos.

Du meinst sicher FDW, nicht FWD?

In der Quelldatenbank:

Ich erstelle eine Tabelle mit 4 Spalten und einen VIEW, der nur 2 dieser Spalten hat. Ungefähr das, was Du also auch hast.
Dieser View soll dann als externe Tabelle dienen.

fdw_demo_source=# create table schweizerili(id serial primary key, col1 int, col2 int, col3 int, col4 int);
CREATE TABLE
fdw_demo_source=*# create view view_schweizerili as select id, col1, col4 from schweizerili;
CREATE VIEW
fdw_demo_source=*# commit;
COMMIT

In der Zieldatenbank:
Ich erstelle einen entfernten Server, eine entfernte Tabelle (die auf den oben erstellen View zeigt) und ein User-Mapping.

fdw_demo_destination=# create server server_schweizerili foreign data wrapper postgres_fdw options(host '127.0.0.1', port '5432', dbname 'fdw_demo_source');
CREATE SERVER
fdw_demo_destination=*# create foreign table kopie_schweizerili (id int, col1 int, col4 int) server server_schweizerili options(table_name 'view_schweizerili');
CREATE FOREIGN TABLE
fdw_demo_destination=*# create user mapping for akretschmer server server_schweizerili options (user 'akretschmer', password 'akretschmer');
CREATE USER MAPPING

That’s all. Du kannst nun in Deiner Quelltabelle “schweizerili” Daten eingeben, im View “view_schweizerili” siehst Du nur das, was exportiert werden soll, und in der anderen Datenbank, Tabelle “kopie_schweizerili” 1:1 das, was im View steht, und damit auch aktuell den Inhalt der Quelltabelle, begrenzt auf das, was Du sehen willst.


Das geht so nun auch über wirklich Remote Server, Du kannst das aber auch auf einem lokalen Server mit 2 DB’s so machen (mache ich ja auch)

Andere Lösungen wären triggerbasierte Replikationen wie Slony oder Londiste oder ab PostgreSQL 9.4 logical Streaming Replication. (etwas, was Kollegen aus meiner Firma entwickelt haben)

Du vermischt einige Begriffe, daher ist nicht ganz klar, was Du genacht hast/willst. Ein Schema ist was anderes als eine Datenbank. Ein TRIGGER und ein VIEW kann schemaübergreifend arbeiten, nicht aber Datenbank- oder gar Serverübergreifend. Wenn Du innerhalb einer DB bist und ‘nur’ schemaübergreifend arbeiten willst wäre das allereinfachste für Dich ein VIEW.

Ok, etwas konfus.
Du möchtest 5 Felder deiner GeoDIN-Tabelle in eine andere Tabelle in einem anderen Schema der gleichen Datenbank ablegen. Dazu verwendet man einen Trigger, der auf INSERT/UPDATE/DELETE reagiert. Ob an an dieser Stelle bereits nach den geänderten Felder filtern kann weiß ich nicht: bei Oracle geht das , Postgres bin ich mir nicht sicher. Du rufst den Trigger am Besten nach deiner Aktion auf als AFTER auf.
Innerhalb des Triggers kannst du mit der Systemvariablen (Kap. 40.9.1 in der Doku) unterscheiden, welche Operation deinen Trigger ausgelöst hat und nach Änderungen in den von dir ausgesuchten Felder suchen Hier kannst du mit einer einfachen IF-Abfrage entscheiden, welche Aktionen in der Kopie-Tabelle ausgeführt wird. Also z.B. Einfügen, wenn neue Daten hinzukommen, Ändern, wenn sich an deinen Feldern etwas geändert hat oder z.B. ignorieren, wenn ein Datensatz gelöscht wird (hier ist aber darauf zu achten, das im Original die ID nicht wieder vergeben wird).
Die suche nach Änderungen würde ich mit einer OR- Bedingung machen etwa so also:

if old.Feld1 <> new.Feld1 or old.Feld2 <> new.Feld2 ... then update kopie.kopie_tabelle (Feld1, Feld2,...) set (Feld1, Feld2,...) = (new.Feld1, new.Feld2,...) where original.id = kopie.kopie_tabelle.id

Zusatz: Wenn du das in einer anderen Lokalen Datenbank haben möchtest, lege dir in der Kopiedatenbank eine Foreign-Table mit fdw an, akretscher hat das ja beschrieben. Ich mache das im Übrigen auch gerne so. Mit der Foreign-Table kannst du dann nach belieben andere Views etc. füttern und Berechnungen vornehmen. Das wäre IMHO das einfachste und ist ohne externe Tools und Konfiguration zu erledigen.

Gruß Uwe

Ja, PostgreSQL kennt conditional Trigger. Damit kannst Du erreichen, daß der Trigger nur ausgelöst wird, wenn sich z.B. Inhalte definierte Spalten ändern.

Siehe Doku zu TRIGGER, WHEN ( condition ).

Puh ok, euch beiden danke.

Diesmal etwas weniger konfus:

  1. @ akretschmer: danke für das ding mit dem FDW. Hab ich sogar soweit verstanden. Nur dachte ich der View wird nicht automatisch geupdatet? Oder ist der immer 1:1 zur entsprechenden Quelle (also wenn ich was in die GeodinTAbelle eingebe ist es im View auch so?) Falls ja wäre das ein super Option.

Und ja ich hätte vor es mit 2 DB auf einem Server zu machen.

  1. @ akretschmer: die anderen Lösungen habe ich auch schon mal “in den Händen gehabt”. Wobei mich das logical Streaming Replication und Slony interessieren würden, falls du mir dazu mehr sagen kannst.

  2. @ Gismen: wie du 2 Posts weiter vorne siehst habe ich das mit dem Insert Trigger schon mehrfach auf verschiedene Art und Weisen versucht, jedoch das Problem mit der GID(Serial)-Spalte gehabt und es dann mit OLD/NEW probiert, wo akretschmer aber meinte es würde noch was fehlen… habe ja eine entsprechende Fehlermeldung beim Insert von neuen Daten in der Urtabelle bekommen.

Zusammenfassung: Wenn der View wirklich immer sofort das Live-Abbild der Geodin-Tabelle ist (also bei jedem Insert oder ähnlichem in die Urtabelle das sofort so abbildet) und dies dann per FDW in eine andere DB-Tabelle übernommen wird, ist es wohl die sinnvollste Lösung.

Frage zu deinem FDW-Beispiel: Ich möchte auf dem selben Server eine zweite DB machen. Nehme ich dann anstatt create server, create db?

Danke euch schon mal. Ich verabschiede mich schon heute in die Ferien und melde mich somit erst Anfang des neuen Jahres wieder.

Schöne Weihnachten und bis nächstes Jahr.

Gruß Stefan

Slony ist etwas, ähm, nicht mehr zeitgemäß. logical Streaming Replication ist eine sehr junge Entwicklung, die aber In-Code ist, und die Grundlage für BDR (Bi-Directional Replication) bildet. Das wird (hoffentlich) in 10 In-Core sein. Einige unserer Kunden nutzen das schon, produktiv, insbesondere in Anwendungen, wo man 2 oder mehr Rechenzentren geographisch verteilt hat, also z.B. New York, Singapure und Sydney. Die Architektur läßt (derzeit) bis zu 48 Master zu.

Es gibt einige Anleitungen im Internet, wie man das nutzt, z.B. bei uns:

https://2ndquadrant.com/de/resources/pglogical/

Du kannst dafür auch professionellen Support bekommen. Z.B. bei uns ;-). Ist nicht ganz trivial alles, z.B. mußt Du aufpassen bei DDL-Befehlen, also z.B. ALTER TABLE etc., und natürlich muß man sich ausreichend Gedanken machen, wie man Konflikte möglichst vermeided. (also z.B. globale Sequencen)


Zusammenfassung: Wenn der View wirklich immer sofort das Live-Abbild der Geodin-Tabelle ist (also bei jedem Insert oder ähnlichem in die Urtabelle das sofort so abbildet) und dies dann per FDW in eine andere DB-Tabelle übernommen wird, ist es wohl die sinnvollste Lösung.

Ja. Ein VIEW ist nix weiter als ein Alias auf das Select, auf dem der View basiert. Es wird also in Wahrheit nur das Select ausgeführt. Etwas anders ist das bei materialized Views, die benötigen ein Refresh.

Ok cool, danke.

Und anstatt Server kann ich auch einfach eine DB im FDW createn oder?

jupp. Siehe die Options im Befehl.

Ok.

Super, dann nun endgültig Danke und bis zum nächsten Jahr.

Gruß

Hallo im Neuen Jahr,

ich habe gerade die GEschichte mit dem FDW versucht… Alle Sachen wurden successfully ausgeführt… SOweit so gut… Nun finde ich aber diese foreign Tabelle nirgends ^^ auch der Foreign Server ist nicht auf zu finden… ich bin dabei im PG_Admin… Wo finde ich denn nun diese ZielTabelle?

Ich habe folgende Schritte ausgeführt:

In der Quelldatenbank “Testobjekt”

create view view_select as select prj_id, xcoord, ycoord, zcoordb, longname from geodin_loc_ssgkrzt1;
commit;

In der Zieldatenbank “FDW-Server” habe ich dann folgende Schritte ausgeführt:

CREATE SERVER "FDW-Server" FOREIGN DATA WRAPPER postgres_fdw 
OPTIONS (host '192.168.31.239', dbname 'Testobjekt', port '5432');

create user mapping for postgres server "FDW-Server" options 
(user 'postgres', password '********');

create foreign table kopie_stammdaten 
	(prj_id character varying(6), 
	xcoord double precision, 
	ycoord double precision, 
	zcoordb double precision, 
	longname character varying(40)) 
server "FDW-Server" options(table_name 'view_select');

All diese Schritte wurden ohne Probleme ausgeführt.
Aber wo finde ich jetzt diese foreign table kopie_stammdaten?.
In der ZielDB “FDW-Server” ist nix.

Oder hab ich was falsch verstanden?

dort, wo Du grad bist. Möglicherweise ‘sieht’ PGAdmin das nur nicht, schaue mit psql nach.

du hast recht, die tabelle war da… pgadmin zeigt sie mir nur nicht an. habe bisher pgadmin3 benutzt. Gerade habe ich gesehen dass es schon die 4 gibt… damit lassen sich nun auch super easy diese FDW-Geschichten machen. dort wird mir die tabelle auch angezeigt und entsprechend aktualisiert…
super sache. danke schon mal für diese hilfe.

kann ich in dieser foreign tabelle nun auch spalten anhängen und trigger verwenden? ich würde nämlich gerne noch die postgis geometrie mit reinbringen.
oder sollte ich das lieber in dem view machen!?
ich frage lieber vorher eh ich was an der tabelle kaputt mache.

probiere es doch mal aus :wink:

Du kannst ja eine Testtabelle erstellen, das tut nicht weh.

Jo hab ich.
Ich kann zwar Spalten der foreign Tabelle hinzufügen, aber dann meckert es, dass diese Spalten nicht gibt. Trigger gehen gleich gar nicht.
Könnte ich das in einem weiteren view machen? Also würde das Sinn ergeben, mal abgesehen von der Machbarkeit!?
Ich bräuchte in der Zieltabelle mindestens 3 neue Spalten welche mit Funktionen ausgestattet werden sollen, welche durch Trigger ausgelöst werden sollen. Eine der Spalten soll außerdem ein Serial sein.

hm ich kann mit dieser foreign tabelle absolut nix machen… nicht mal ne spalte anfügen.
aaahhhh… bis dahin ist das ne super sache mit der aktualisierung, aber ich kann nicht wirklich weiter dami arbeiten oder gibts da eine möglcihkeit die ich noch nicht gefunden habe?