Seite 1 von 2 12 LetzteLetzte
Ergebnis 1 bis 10 von 19

Thema: Performance Tuning?

  1. #1
    Markus_ ist offline Neuer Benutzer
    Registriert seit
    29.05.2011
    Beiträge
    6

    Standard Performance Tuning?

    Hallo,

    mein rechner meckert beim Import von über 5000 Zeilen mit Punktgeometrien rum. Speicher voll oder so ähnlich ??? Ich sollte allerdings 120.000 Zeilen importieren.

    Nun habe ich mir die postgresql.conf vorgenommen und sehe, dass die zeile

    "effective_cache_size" = 128 MB mit einer # auskommentiert ist.

    "shared_buffers" ist mit 12MB angegeben.

    Kann mir jemand Tipps geben, wie ich Postgresql/postgis konfigurieren muss? Habe leider nur 2 GB RAM zur Verfügung.

    lg Markus

  2. #2
    akretschmer ist offline Super-Moderator
    Registriert seit
    29.10.2006
    Ort
    Dresden
    Beiträge
    5.472

    Standard

    Zitat Zitat von Markus_ Beitrag anzeigen
    Hallo,

    mein rechner meckert beim Import von über 5000 Zeilen mit Punktgeometrien rum. Speicher voll oder so ähnlich ??? Ich sollte allerdings 120.000 Zeilen importieren.

    Nun habe ich mir die postgresql.conf vorgenommen und sehe, dass die zeile

    "effective_cache_size" = 128 MB mit einer # auskommentiert ist.

    "shared_buffers" ist mit 12MB angegeben.

    Kann mir jemand Tipps geben, wie ich Postgresql/postgis konfigurieren muss? Habe leider nur 2 GB RAM zur Verfügung.

    lg Markus
    Ist das ein dedizierter Server, nur für PG?

    Falls ja, würde ich mit 512 MByte für shared_buffers und 1,5 gbyte für effective_cache_size starten.

    Und ja, in Zukunft nicht a la 'Fehler lautet so ähnlich', sondern hier mal dem Guttenberg in Dir freien Lauf lassen und die Fehlermeldung einfach reinkopieren. Kann doch nicht so schwer sein, oder?

    Andreas
    --
    ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)
    https://www.xing.com/profile/Andreas_Kretschmer7

  3. #3
    Gisman ist offline Erfahrener Benutzer
    Registriert seit
    20.01.2006
    Ort
    Pfalz
    Beiträge
    794

    Standard

    Zitat Zitat von akretschmer Beitrag anzeigen
    Und ja, in Zukunft nicht a la 'Fehler lautet so ähnlich', sondern hier mal dem Guttenberg in Dir freien Lauf lassen und die Fehlermeldung einfach reinkopieren. Kann doch nicht so schwer sein, oder?
    Da steht ja sogar normalerweise automatisch dran wo es herkommt, brauchst also gar keine Angst zu haben...
    In der Tat sollten 120000 Punkte selbst bei dieser HW kein allzu großes Problem sein. Allerdings können mehrere Fehlerquellen in Frage kommen. Wie liest du die Daten denn ein?

    Gruß Uwe
    Have a lot of fun!

  4. #4
    Markus_ ist offline Neuer Benutzer
    Registriert seit
    29.05.2011
    Beiträge
    6

    Standard

    Hallo Andreas, Hallo Uwe,

    danke für die schnellen Antworten.

    @Andreas:
    Es handelt sich um keinen Server sondern um meinen Privat-PC. Wird das shared_buffer und cache_size dann für PG reserviert, oder stehen die Ressourcen für andere Programme weiter zur Verfügung solange PG im Leerlauf ist? Oder muss ich PG dann stoppen um die Ressourcen für andere Progs freizugeben?

    @Uwe
    Für den Import habe ich mir ein php-script zusammengefrickelt. Die Punktgeometrie habe ich hier als long-lat in Textform. Beim Import wird also aus WKT WKB.

    @all
    ist bei euch "effective_cache_size" nach der installation auch auskommentiert? Die Raute (#) steht doch für Kommentare, oder?

    lg Markus

  5. #5
    akretschmer ist offline Super-Moderator
    Registriert seit
    29.10.2006
    Ort
    Dresden
    Beiträge
    5.472

    Standard

    Zitat Zitat von Markus_ Beitrag anzeigen
    Hallo Andreas, Hallo Uwe,

    danke für die schnellen Antworten.

    @Andreas:
    Es handelt sich um keinen Server sondern um meinen Privat-PC. Wird das shared_buffer und cache_size dann für PG reserviert, oder stehen die Ressourcen für andere Programme weiter zur Verfügung solange PG im Leerlauf ist? Oder muss ich PG dann stoppen um die Ressourcen für andere Progs freizugeben?

    @Uwe
    Für den Import habe ich mir ein php-script zusammengefrickelt. Die Punktgeometrie habe ich hier als long-lat in Textform. Beim Import wird also aus WKT WKB.

    @all
    ist bei euch "effective_cache_size" nach der installation auch auskommentiert? Die Raute (#) steht doch für Kommentare, oder?

    lg Markus
    shared_buffer wird echt allokiert, effective_cache_size ist für den Planner nur ein Hinweis, wieviel Cache (shared_buffer + OS-Cache) auf dem System ist, da wird aber nix allokiert.

    Andreas
    --
    ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)
    https://www.xing.com/profile/Andreas_Kretschmer7

  6. #6
    Gisman ist offline Erfahrener Benutzer
    Registriert seit
    20.01.2006
    Ort
    Pfalz
    Beiträge
    794

    Standard

    Wenn das auskommentiert ist, wird der Default-wert gesetzt.
    Wie commitest du denn die Daten? Einzeln oder als eine Transaktion?

    Grüßle Uwe

    PS: Es fehlt immer noch eine aussagekräftige Fehlermeldung...
    Have a lot of fun!

  7. #7
    Markus_ ist offline Neuer Benutzer
    Registriert seit
    29.05.2011
    Beiträge
    6

    Standard

    die sache ist die: genau genommen handelt es sich um UPDATE. Das skript erzeugt mir 120.000 Zeilen mit jeweils einem

    "update tabelle set the_geom = fromtext(x y) where id=1"
    "update tabelle set the_geom = fromtext(x y) where id=2"
    ...

    lg

    ps: fehlermeldung kann ich derzeit keine liefern. kriege seit config-änderung den server nicht mehr gestartet.

  8. #8
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    UPDATEs ... langsamer kann man die Sache echt nicht angehen :-(
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  9. #9
    Markus_ ist offline Neuer Benutzer
    Registriert seit
    29.05.2011
    Beiträge
    6

    Standard

    Zitat Zitat von ads Beitrag anzeigen
    UPDATEs ... langsamer kann man die Sache echt nicht angehen :-(
    du meinst also die daten in eine zweite tabelle mit insert?

  10. #10
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    Ich meine, das man sicherlich zuerst einmal schauen müsste, was das zu lösende Problem ist.
    Aber einzelne UPDATEs zu feuern, ggf. auch noch in einzelnen Transaktionen, mit nicht vorbereiteten Anfragen, dürfte im Endeffekt sehr sehr langsam sein.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

Seite 1 von 2 12 LetzteLetzte

Ähnliche Themen

  1. Performance tuning
    Von acki4711 im Forum Allgemeines
    Antworten: 39
    Letzter Beitrag: 01.10.2009, 16:38
  2. Frage Abfragen-Tuning
    Von martin.sauer im Forum SQL
    Antworten: 2
    Letzter Beitrag: 26.09.2008, 13:14
  3. Postgresql Tuning - Viele konkurriende Inserts
    Von floriannn im Forum Konfiguration
    Antworten: 1
    Letzter Beitrag: 17.07.2007, 18:10
  4. Performance-Tuning für Plattenzugriffe
    Von gnoerz im Forum Konfiguration
    Antworten: 13
    Letzter Beitrag: 11.02.2007, 12:15
  5. Antworten: 0
    Letzter Beitrag: 21.10.2006, 18:19

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  

Links: Tobias Bauer - IT- und Funkdienstleistungen   -   Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen   -   Funkforum