Schau mal, ob du "client_encoding" passend setzen kannst.
Hallo
Ich habe gestern in meinem jugendlichen Leichtsinn dann auch gleich mal versucht meine Importer zu starten (der mit INSERT arbeitet),
worauf hin ich feststellen musste das ich für die 1,5 Mrd Einträge wohl um die 100 Tage brauchen würden.
Woraufhin ich mich dann panisch in den COPY Befehl eingelesen habe...
Der funktioniert zwar schnell wirft mir aber andere Probleme entgegen...
Die Datenbank ist UTF-8 formatiert und muss es wohl auch bleiben (ich glaube das ist eine Vorgabe von PostGis korrigiert mich bitte wenn ich falsch liege)
die CSV Dateien sind aber LATIN Codiert... was jetzt dazu führt das ich entweder einen Workaround finde oder alle 20000 Dateien konvertieren muss...
Auch will COPY anscheinend nur varchar als column typ das kann ich zwar nachträglich ändern aber ich weiß nicht genau wie lange das dann wieder dauert...
Die GUI ist in diesem Falle Desktop Gis Marke Eigenbau, unnötige Datensätze gibt es leider nicht und es sollen hauptsächlich Statistische Informationen gewonnen...
Schau mal, ob du "client_encoding" passend setzen kannst.
Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören
Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler
PostgreSQL Service & Support
Ok werde ich versuchen, inzwischen habe ich mir eine Batch Datei geschrieben mit der ich gerade alle 2000 Dateien in UTF-8 convertiere. sicher ist sicher...
Übernimmt COPY auch das Clientencoding?
COPY selbst nicht. Aber wenn du "client_encoding" passend setzt, macht das die Datenbank für dich.
Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören
Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler
PostgreSQL Service & Support
Das hat so auch alles funktioniert! Habe die client encoding auf Latin1 gesetzt und schon lief es... wenn gewünscht werde ich gerne mal ein paar Erfahrungen über die Performance posten!
Sehr gewünscht.
Alternativ: komm zur FrOSCon, dort treffen sich eine Reihe PostgreSQL Leute und es gibt einen Tag lang Vorträge.
Dürfte auch etwas für sich dabei sein.
Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören
Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler
PostgreSQL Service & Support
Hier mal ein kleines Update...
Ich habe jetzt fürs erste eine große Tabelle mit 450 000 000 Einträgen, für den Rest wird dann wohl ein zweiter Server kommen, upload mit COPY hat so 6 Stunden gedauert,
erzeugen der Geometrie nochmal so 10 Stunden und das erstellen des Indexes etwa 19 Stunden.
Eine Suchanfrage nach Punkten um einen Linestring herrum kommt nach etwa 2 bis 3 Minuten zurück.
Den Shared Buffer konnte ich noch nicht ändern weil Ubuntu da nicht mehr als 16MB zulässt.
Working Memory habe ich auch 1 GB, maintenance memory auf 512 MB...
Ich schaue da jetzt erst mal wieder wie das Schwein ins Uhrwerk und werde jetzt langsam versuchen weiter zu optimieren.
Was denkt ihr kann man da jetzt noch an Performance rausholen??
Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören
Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler
PostgreSQL Service & Support
Links: Tobias Bauer - IT- und Funkdienstleistungen - Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen - Funkforum
Lesezeichen