GeODin zu PostGIS, aber wie?

Probleme, Fragen die mit der Installation und Anwendung der PostGIS-Erweiterung zu tun haben.
schweitzerili
Benutzer
Beiträge: 59
Registriert: Di 13. Okt 2015, 09:35

Re: GeODin zu PostGIS, aber wie?

Beitrag von schweitzerili » Do 1. Dez 2016, 11:14

Hi Gisman,

ich habe mich gerade mal wieder an diese Geschichte gesetzt. Nachdem ich versucht habe bestimmte Spalten unserer Ur-Datenbank mit einem Insert Befehl in eine ander Datenbank zu kopieren und mit dem Fehler der nicht implementierten Funktion zwischen zwei Datenbanken zu kopieren gescheitert bin, habe ich einfach ein neues Schema in der selben DB erstellt und konnte mit hilfe des Inserts-Befehl zwischen diesen beiden kopieren.
Die Tabelle in dem neuen Schema sieht folgendermaßen aus:

Code: Alles auswählen

CREATE TABLE "Kopie"."Stammdaten"
(
  prj_id character varying(6) NOT NULL,
  xcoord double precision,
  ycoord double precision,
  zcoordb double precision,
  longname character varying(40),
  projekt character varying(40)
)
WITH (
  OIDS=FALSE
);
ALTER TABLE "Kopie"."Stammdaten"
  OWNER TO postgres;
GRANT ALL ON TABLE "Kopie"."Stammdaten" TO public;
GRANT ALL ON TABLE "Kopie"."Stammdaten" TO postgres;
So und nun hänge ich wieder... Ich habe auch schon einen entsprechenden Matrialized View erstellt, aber komme genauso wenig weiter.

1) Ich habe mir nochmal deinen Code vom Beginn der Konversation angeschaut und bin über etwa gestolpert dass mich stutzig macht.
Du hast da irgendwoher die Spalte SRID bekommen. Wo kommt die her oder ist das der Bestandteil der PostGIS Erweiterung und wird einfach hinten dran gehangen? Aber woher weiß die DB welche SRID passt? Ich kann ja nicht 60000 Zeilen durchgehen und das entsprechend zuordnen!?

2) Mir gefällt die Lösung mit dem FWD am besten, jedoch verstehe ich den Hintergrund nicht ganz. Wird die geklonte DB ständig aktualisiert?
Ich bin auch offen für den MV. Wird dieser ständig aktualisiert wenn etwas in die Urtabelle hinzu kommt oder gelöscht wird? Oder doch lieber ein Trigger?

3) Gehen wir davon aus ich benutze einen MV. Kann ich im Prinzip den MV um die Spalte geom erweitern, diese mit der Transform-Funktion versehen und habe am Ende immer eine aktuelle geom-Spalte? Oder ist das zu einfach gedacht?

Ich würde mich sehr über deine und alle anderen Antworten freuen.

Gruß Schweitzer

schweitzerili
Benutzer
Beiträge: 59
Registriert: Di 13. Okt 2015, 09:35

Re: GeODin zu PostGIS, aber wie?

Beitrag von schweitzerili » Do 1. Dez 2016, 18:18

UPDATE:

Ich habe es heute geschafft einen Trigger zu bauen der mir die Daten aus bestimmte Spalten aus der Urdatenbank in eine Tabelle in ein anderes Schema kopiert sobald sich irgendetwas an der Urdatenbank ändert.

Dies habe ich wie folgt gelöst:

Code: Alles auswählen

CREATE OR REPLACE FUNCTION insert()
	RETURNS trigger AS
  $BODY$
      BEGIN
        insert into "Kopie"."Stammdaten" (prj_id,xcoord,ycoord,zcoordb,longname,projekt)
	select prj_id,xcoord,ycoord,zcoordb,longname,projekt
	from public.geodin_loc_ssgkrzt1;
	RETURN NULL;
      END;
  $BODY$
  LANGUAGE 'plpgsql' VOLATILE
  COST 100000;
  
  CREATE TRIGGER sync 
AFTER 
INSERT OR UPDATE OR DELETE 
ON public.geodin_loc_ssgkrzt1 
FOR EACH ROW
EXECUTE PROCEDURE insert();
  
Sooooo.... nun zum eigentlichen Problem:

Ich möchte nun dass in der Zieltabelle (Stammdaten) die Koordinaten in eine geom-Spalte im Postgis-Format automatisch überführt werden.

Ich setze also eine Spalte geom hinten an die Tabelle dran.

Wie bekomme ich es nun hin, dass die geom-Spalte automatisch herausfindet um welches Koordinatensystem es sich in der jeweiligen Zeile handelt und diese in UTM umrechnet und im postgis format speichert!? Und das alles schon sobald diese Tabelle durch den Trigger erneuert wird!?

Hier brauche ich echt grundlegende Hilfe.

Danke schon mal.

Gruß Schweitzer

schweitzerili
Benutzer
Beiträge: 59
Registriert: Di 13. Okt 2015, 09:35

Re: GeODin zu PostGIS, aber wie?

Beitrag von schweitzerili » Do 8. Dez 2016, 15:44

Need Help Gisman ^^

Gisman
Erfahrener Benutzer
Beiträge: 1132
Registriert: Fr 20. Jan 2006, 15:30
Wohnort: Pfalz
Kontaktdaten:

Re: GeODin zu PostGIS, aber wie?

Beitrag von Gisman » Mo 12. Dez 2016, 15:54

Sorry, aber ich bin/war grad mit unserer neuen Drohne beschäfigt :)

Du musst entweder die srid mit geben oder halt anderweitig feststellen was da für Koordinaten angeflogen kommen. Das ist aber immer mit Einschränkungen verbunden oder mißverständlich. Die Wahl wäre dann, ob du mit dem Trigger gleich eine entsprechende Geometrie in die Zieltabelle schreibst oder ob du das mit eine Trigger auf der Zieltabelle erledigst. Beides mal wäre der Befehl so was wie st_transform(st_setsrid(st_makepoint(xcoord, ycoord, zcoord), koord_srid), utm_srid). Ich würde das gleich mit dem hier aufgeführten Trigger erledigen, es sei denn es kämen noch Geometrien aus anderen Tabellen in die Kopie-Tabelle.

Ist es korrekt, das Daten in die Kopie geschrieben werden, wenn du im Original welche löschst? Macht jedenfalls der Trigger...
Du schreibst im übrigen bei jedem Insert etc die ganze Tabelle in die Kopie. Du kannst auch auf die jeweils gerade geschriebenen oder veränderten Daten einer Row mit dem Präfix 'new.' oder 'old.' zugreifen. Dann schreibt er nur eine Zeile in die Kopie und du brauchst kein Select.

Soweit erstmal,

Grüßle
UWe

schweitzerili
Benutzer
Beiträge: 59
Registriert: Di 13. Okt 2015, 09:35

Re: GeODin zu PostGIS, aber wie?

Beitrag von schweitzerili » Di 13. Dez 2016, 15:48

Hi Gisman,

das mit der SRID wird wohl das größte Problem, denn diese ist für alte Projekte, die ebenfalls mit in die Kopie übernommen werden, einfach nicht vorhanden.
GeODin hat auch keine Möglichkeit der EIngabe einer SRID.
Das heißt ich muss dies irgendwie DB-intern lösen.
Mein Gedanke war folgender: Ich lege in der Kopie Tabelle eine weitere Spalte mit SRID an. Nun bräuchte ich wahrscheinlich einen Trigger (oder ich baue das auch gleich noch in den vorhandenen Trigger ein) der mir die erste Ziffer der ankommenden X-Koordinate auswertet. In etwa so:
Ist die erste Zahl der X-Koordinate eine 3 dann schreibe mir 31586 in die entsprechende Zeile in der SRID Spalte. Genauso mit 4 an erster Stelle.
Im Prinzip haben wir nur GK3 oder GK4. Alles andere ist mir im Moment sowieso erstmal egal ^^. Das Problem an der ganzen SAche ist, ich habe keine Ahnung wie so eine IF klausel aussieht und wie ich sowas in den Trigger baue... Da wäre in ANsatz sehr hilfreich.

Das mit dem old und new versteh ich nicht. Aber das mit der row stört mich auch etwas. habe schon überlegt ob ich es auf Statement reduziere. Aber keine Ahnung ob das sinnvoll ist. Das DELETE war eigentlich so gedacht, dass wenn ich etwas in der Urtabelle lösche, es auch in der Kopietabelle gelöscht wird, oder ist das ein Denkfehler? Es kommt oft vor das wir unsere Daten von alten Projekten ändern oder ganz löschen (vorallem Koordinaten ^^).


Eventuell wäre die SRID GEschichte der erste Schritt ^^

Ich danke dir schonmal und übrigens: Wieso hast du jetzt ne Drohne??? Fotogrammetrie oder wie? =P =D

Gruß

UPDATE:

Ich habe gerade überlegt überhaupt nur die Zeilen zu nehmen in der eine 3 oder 4 am anfang steht... die anderen brauch ich gar nicht in der Kopietabelle... Das bedeutet ich muss die Funktion komplett umschreiben auf diese beide Fälle... aaaaahhhhhhhhhhh -.- und ich habe keine AHnung wie ^^

P.S: Mein Shift klemmt =P

schweitzerili
Benutzer
Beiträge: 59
Registriert: Di 13. Okt 2015, 09:35

Re: GeODin zu PostGIS, aber wie?

Beitrag von schweitzerili » Mi 14. Dez 2016, 08:41

So ich habe jetzt mal ein paar dinge probiert.

Vorallem das mit dem gesamten Kopieren der TAbelle ist tatsächlich blöd.
Ich habe jetzt einfach in den trigger ein delete vorne dran geschrieben und eine where klausel für die x-Koordinate eingefügt.
das funktioniert auch gut. Er schreibt mir jetzt nur die Zeilen rüber die koordinaten haben und auch jeweils nur den aktuellen stand...
ABER: das problem ist die gid-spalte mit dem serial... diese wird bei jedem anfassen weiter gezählt... das ist schlecht (weil ja jedesmal trotzdem wieder alle 4000 Zeilen mit Koordianten rüber kopiert werden :,( xD).

Ergo muss ich dies alles doch mit dem old und new machen. dazu bräuchte ich aber mal eine erklärung wie das funktioniert.

Desweiteren habe ich das Problem der SRID mit einem einfachen UPDATE WHERE behoben. Dies muss ich dann noch in einen eigenen Trigger in der Zieltabelle bauen. Und dann kann ich endlich die eigentliche Geschichte mit der Transformation angehen ^^ xD

Gruß

Gisman
Erfahrener Benutzer
Beiträge: 1132
Registriert: Fr 20. Jan 2006, 15:30
Wohnort: Pfalz
Kontaktdaten:

Re: GeODin zu PostGIS, aber wie?

Beitrag von Gisman » Sa 17. Dez 2016, 08:44

Hallo!

Drohne:
Ja, wie planen Ad-Hoc-Befliegungen für einige Monitoring- und Erkundungsprojekte :)
Vielleicht schreib ich mal ein paar Zeilen dazu, wenn wir das Ganze im Griff haben.

SRID:
Für alte Daten kann man in der Tat den Ansatz verfolgen nach der ersten Ziffer zu unterscheiden. Für neuere und ganz neue Daten ist das aber nicht mehr eindeutig, da UTM-Koordinaten auch 7-stellig mit einer 3 vorkommen können.

old/new:
Das sind Präfixe, mit denen du innerhalb eines Triggers auf die jeweils übergebenen Werte zugreifen kannst. Damit kannst du z.B, Dinge mache wie

Code: Alles auswählen

if new.xcoord <> old.xcoord or new.ycoord <> old.ycoord then new.geom = st_makepoint(new.xcoord, new.ycoord)
Das erzeugt eine neue Geometri, wenn sich die Koordinatenfelder ändern, sonst nicht.

if und Trigger:
Ich empfehle dir, das mal im Postgres-Handbuch nachzulesen. Da sind auch Beispiele dabei, damit kommt man schon weiter.

Soviel erstmal, Schönes Wochenende!

Uwe

schweitzerili
Benutzer
Beiträge: 59
Registriert: Di 13. Okt 2015, 09:35

Re: GeODin zu PostGIS, aber wie?

Beitrag von schweitzerili » Di 20. Dez 2016, 16:59

Hi Uwe,

also ich hab jetzt mal ewig umher probiert mit dem old und new...
Ich habe aber nix hinbekommen. Es geht immernoch darum die bestimmten Spalten aus der Urtabelle in die neue Tabelle in dem anderen Schema automatisch zu "überführen" sobald etwas an der Urtabelle geändert wird (sei es Insert, Update oder Delete).

Ich habe folgende Funktion zusammengbastelt die zumindest keine Fehlermeldung zurückgibt und einen entsprechenden Trigger der auch keine Fehlermeldung zurück gibt. Füge ich aber etwas in die Urtabelle ein bekomme ich eine Fehlermeldung:

Code: Alles auswählen

CREATE OR REPLACE FUNCTION public.insert()
  RETURNS trigger AS
$BODY$ 
      BEGIN
	if new.prj_id <> old.prj_id
	or new.xcoord <> old.xcoord 
	or new.ycoord <> old.ycoord
	or new.zcoordb <> old.zcoordb
	or new.longname <> old.longname
	or new.projekt <> old.projekt
	then 
		update "kopie"."stammdaten"
			set 	
			(old.prj_id, old.xcoord, old.ycoord, old.zcoordb, old.longname, old.projekt) 
			= (new.prj_id, new.xcoord, new.ycoord, new.zcoordb, new.longname, new.projekt);
	RETURN NULL;
	END if;
      END;
$BODY$
  LANGUAGE plpgsql VOLATILE
  COST 100;
ALTER FUNCTION public.insert()
  OWNER TO postgres;
  
  CREATE TRIGGER replication
	AFTER INSERT OR UPDATE OR DELETE 
	ON public.geodin_loc_ssgkrzt1
	FOR EACH ROW 
	EXECUTE PROCEDURE insert();
	
insert into public.geodin_loc_ssgkrzt1 
VALUES
('940000','0','1','4555474','5555556');

FEHLER:  Record „old“ hat noch keinen Wert
DETAIL:  Die Tupelstruktur eines Records ohne Wert ist unbestimmt.
CONTEXT:  PL/pgSQL-Funktion insert() Zeile 3 bei IF
********** Fehler **********

FEHLER: Record „old“ hat noch keinen Wert
SQL Status:55000
Detail:Die Tupelstruktur eines Records ohne Wert ist unbestimmt.
Kontext:PL/pgSQL-Funktion insert() Zeile 3 bei IF
ich hab keine Ahnugn von old und new... muss ich das vorher irgendwo declaren oder setten?
Langsam nervts ^^

Danke schonmal für deine Hilfe

Gruß Stefan

akretschmer
Erfahrener Benutzer
Beiträge: 7645
Registriert: So 29. Okt 2006, 13:35
Wohnort: Kaufbach, Sachsen, Germany, Germany
Kontaktdaten:

Re: GeODin zu PostGIS, aber wie?

Beitrag von akretschmer » Di 20. Dez 2016, 17:24

bei einem Insert gibt es kein OLD, du wirst also auch prüfen müssen, ob die aktuelle Aktion ein Insert, Update oder Delete ist.
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services

akretschmer
Erfahrener Benutzer
Beiträge: 7645
Registriert: So 29. Okt 2006, 13:35
Wohnort: Kaufbach, Sachsen, Germany, Germany
Kontaktdaten:

Re: GeODin zu PostGIS, aber wie?

Beitrag von akretschmer » Di 20. Dez 2016, 18:23

Was genau hast Du denn genau vor? Was soll bei einem Insert, bei einem Update und bei einem Delete passieren? OLD und NEW sind Records, die bei den einzelnen Operationen unterschiedlich gesetzt sind:

NEW : Data type RECORD; variable holding the new database row for INSERT/UPDATE operations in row-level triggers. This variable is NULL in statement-level triggers and for DELETE operations.
OLD : Data type RECORD; variable holding the old database row for UPDATE/DELETE operations in row-level triggers. This variable is NULL in statement-level triggers and for INSERT operations.


Bis jetzt sehe ich da nur ein Update auf kopie.stammdaten, aber was soll bei einem DELETE / UPDATE passieren? TG_OP sagt Dir, ob es Insert/Update oder Delete ist, was den Trigger ausgelöst hat.

Davon abgesehen:warum der Aufwand? Du kannst doch auch immer sehen, was in der eigentlichen Tabelle drinsteht? Wenn das eine Replikation werden soll (so der Name des Triggers), dann gäbe es da möglicherweise generell sinnvollere Möglichkeiten. Wenn es eine Art Logging werden soll, und Du anhand der Logtabelle nachvollziehen können willst, wann sich was und wie geändert hat, auch.
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services

Antworten