Zum Anfang: ich hab das schon 2x auf diese Weise gemacht und es hat fehlerfrei geklappt. Wie übolich hab ich den neuen Server installiert, mit dem neuen pg_dump/pg_dumpall die alte DB ausgelesen und in die neue gepiped. Dabei trat bei einem zugegebener Massen sehr grossen Geometriefeldern (Binärformat) folgender Fehler auf der jeweils die ganze Transaktion zum Erliegen brachte:
Ich habe das dann auf verschieden Arten und Weisen mal mit zwischenspeichern, mal erst Schema erzeugen, dann Daten einspielen versucht mit immer demselben Ergebnis. Dier Lösung war schliesslich, statt dem Copy-Befehl, den pg_dump verwendet inserts zu machen.Code:ERROR:* out of memory DETAIL:* Cannot enlarge string buffer containing 0 bytes by 1597848223 more bytes.
Was ist der Grund für dieses Verhalten? Kann man das irgendwie umgehen? >200GB Geodaten per Insert upzugraden ist , nunja, ermüdened
Grüssle Uwe
Have a lot of fun!
--
https://www.xing.com/profile/Andreas_Kretschmer7ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)
Ja, beides auf default, da wird sich wohl nichts geändert haben. Bisher traten solche Probleme auch nicht auf, in Ermangelung von Polygonen aus x00000 Punkten...
Ursprünglich eingelesen wurden sie mit shp2pgsql, das per default auch inserts generiert. Gibts da einen signifikanten Unterschied wie Copy und Insert so ein Feld mit Binärdaten behandeln?
Grüssle Uwe
Have a lot of fun!
Hallo,
wie es ausschaut liegt hier das Problem:
PostgreSQL Source Code: src/backend/lib/stringinfo.c Source File
Zeile 242ff
MaxAllocSize ist so definiert
#define MaxAllocSize ((Size) 0x3fffffff) /* 1 gigabyte - 1 */
zu finden in
PostgreSQL Source Code: src/include/utils/memutils.h Source File
Zeile 38
Wenn ich es Recht verstehe, ensteht der Fehler, weil auf einmal mehr als 1 GB Speicher reserviert werden soll.
Ob das ein Problem des Server oder von pg_restore ist, kann ich leider nicht nachvollziehen, habe nur nach deiner Fehlermeldung in Google gesucht.
Freundliche Grüße
hkocam
Danke für die Links. Leider liefert er keine Erklärung, warum Copy und Insert unterschiedliches Verhalten zeigen beim gleichen Datensatz. Naja, nu gehts ja und ich bin glücklich und zufrieden![]()
Gruß Uwe
Have a lot of fun!
Links: Tobias Bauer - IT- und Funkdienstleistungen - Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen - Funkforum
Lesezeichen