Seite 2 von 2 ErsteErste 12
Ergebnis 11 bis 18 von 18

Thema: Sehr große Datanbank machbar? Tipps?

  1. #11
    tklemmer ist offline Neuer Benutzer
    Registriert seit
    10.08.2011
    Beiträge
    15

    Standard

    Hallo

    Ich habe gestern in meinem jugendlichen Leichtsinn dann auch gleich mal versucht meine Importer zu starten (der mit INSERT arbeitet),
    worauf hin ich feststellen musste das ich für die 1,5 Mrd Einträge wohl um die 100 Tage brauchen würden.

    Woraufhin ich mich dann panisch in den COPY Befehl eingelesen habe...
    Der funktioniert zwar schnell wirft mir aber andere Probleme entgegen...

    Die Datenbank ist UTF-8 formatiert und muss es wohl auch bleiben (ich glaube das ist eine Vorgabe von PostGis korrigiert mich bitte wenn ich falsch liege)
    die CSV Dateien sind aber LATIN Codiert... was jetzt dazu führt das ich entweder einen Workaround finde oder alle 20000 Dateien konvertieren muss...

    Auch will COPY anscheinend nur varchar als column typ das kann ich zwar nachträglich ändern aber ich weiß nicht genau wie lange das dann wieder dauert...

    Die GUI ist in diesem Falle Desktop Gis Marke Eigenbau, unnötige Datensätze gibt es leider nicht und es sollen hauptsächlich Statistische Informationen gewonnen...

  2. #12
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    Schau mal, ob du "client_encoding" passend setzen kannst.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  3. #13
    tklemmer ist offline Neuer Benutzer
    Registriert seit
    10.08.2011
    Beiträge
    15

    Standard

    Ok werde ich versuchen, inzwischen habe ich mir eine Batch Datei geschrieben mit der ich gerade alle 2000 Dateien in UTF-8 convertiere . sicher ist sicher...

    Übernimmt COPY auch das Clientencoding?

  4. #14
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    COPY selbst nicht. Aber wenn du "client_encoding" passend setzt, macht das die Datenbank für dich.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  5. #15
    tklemmer ist offline Neuer Benutzer
    Registriert seit
    10.08.2011
    Beiträge
    15

    Standard

    Das hat so auch alles funktioniert! Habe die client encoding auf Latin1 gesetzt und schon lief es... wenn gewünscht werde ich gerne mal ein paar Erfahrungen über die Performance posten!

  6. #16
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    Sehr gewünscht.
    Alternativ: komm zur FrOSCon, dort treffen sich eine Reihe PostgreSQL Leute und es gibt einen Tag lang Vorträge.
    Dürfte auch etwas für sich dabei sein.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  7. #17
    tklemmer ist offline Neuer Benutzer
    Registriert seit
    10.08.2011
    Beiträge
    15

    Standard

    Hier mal ein kleines Update...

    Ich habe jetzt fürs erste eine große Tabelle mit 450 000 000 Einträgen, für den Rest wird dann wohl ein zweiter Server kommen, upload mit COPY hat so 6 Stunden gedauert,
    erzeugen der Geometrie nochmal so 10 Stunden und das erstellen des Indexes etwa 19 Stunden.

    Eine Suchanfrage nach Punkten um einen Linestring herrum kommt nach etwa 2 bis 3 Minuten zurück.

    Den Shared Buffer konnte ich noch nicht ändern weil Ubuntu da nicht mehr als 16MB zulässt.

    Working Memory habe ich auch 1 GB, maintenance memory auf 512 MB...

    Ich schaue da jetzt erst mal wieder wie das Schwein ins Uhrwerk und werde jetzt langsam versuchen weiter zu optimieren.

    Was denkt ihr kann man da jetzt noch an Performance rausholen??

  8. #18
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    Zitat Zitat von tklemmer Beitrag anzeigen
    Den Shared Buffer konnte ich noch nicht ändern weil Ubuntu da nicht mehr als 16MB zulässt.
    Du weisst schon, das man das im Betriebssystem einstellen kann?
    Steht eigentlich in so ziemlich jeder Dokumentation beschrieben, wie man shared buffers berechnet und im OS anpasst.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

Seite 2 von 2 ErsteErste 12

Ähnliche Themen

  1. Frage Differentielles Backup machbar?
    Von dsteinwe im Forum Allgemeines
    Antworten: 6
    Letzter Beitrag: 03.05.2011, 15:15
  2. Frage zu Indexen und Performance Tipps
    Von sly im Forum Allgemeines
    Antworten: 19
    Letzter Beitrag: 22.11.2010, 21:30
  3. Große Forenumstellung
    Von Xandrian im Forum Neuigkeiten & Ankündigungen
    Antworten: 30
    Letzter Beitrag: 18.08.2010, 13:02
  4. Große Datenbanken
    Von Ymris im Forum Allgemeines
    Antworten: 10
    Letzter Beitrag: 19.12.2008, 09:35
  5. Große DB mit Bildern
    Von Matrix-NTN im Forum Allgemeines
    Antworten: 4
    Letzter Beitrag: 04.04.2008, 22:39

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  

Links: Tobias Bauer - IT- und Funkdienstleistungen   -   Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen   -   Funkforum