Seite 4 von 4 ErsteErste ... 234
Ergebnis 31 bis 37 von 37

Thema: Riesiges Sqlfile über psql einlesen

  1. #31
    Sigh ist offline Benutzer
    Registriert seit
    12.09.2008
    Ort
    Köln
    Beiträge
    69

    Standard

    vielleicht sollte man mal in ein Logfile schauen

    TopMemoryContext: 50992 total in 6 blocks; 5704 free (27 chunks); 45288 used
    PL/PgSQL function context: 24576 total in 2 blocks; 16544 free (8 chunks); 8032 used
    PL/PgSQL function context: 24576 total in 2 blocks; 11520 free (11 chunks); 13056 used
    RI compare cache: 8192 total in 1 blocks; 1800 free (0 chunks); 6392 used
    RI query cache: 8192 total in 1 blocks; 5968 free (0 chunks); 2224 used
    Operator class cache: 8192 total in 1 blocks; 3848 free (0 chunks); 4344 used
    Operator lookup cache: 24576 total in 2 blocks; 14072 free (6 chunks); 10504 used
    PL/PgSQL function context: 24576 total in 2 blocks; 11520 free (11 chunks); 13056 used
    CFuncHash: 8192 total in 1 blocks; 4936 free (0 chunks); 3256 used
    Rendezvous variable hash: 8192 total in 1 blocks; 3848 free (0 chunks); 4344 used
    PLpgSQL function cache: 24596 total in 2 blocks; 5904 free (0 chunks); 18692 used
    Record information cache: 8192 total in 1 blocks; 1800 free (0 chunks); 6392 used
    TopTransactionContext: 8192 total in 1 blocks; 7208 free (0 chunks); 984 used
    ExecutorState: 57344 total in 3 blocks; 22032 free (3 chunks); 35312 used
    MessageContext: 1169536032 total in 51 blocks; 1208 free (1 chunks); 1169534824 used
    smgr relation table: 8192 total in 1 blocks; 2808 free (0 chunks); 5384 used
    TransactionAbortContext: 32768 total in 1 blocks; 32752 free (0 chunks); 16 used
    Portal hash: 8192 total in 1 blocks; 3912 free (0 chunks); 4280 used
    PortalMemory: 8192 total in 1 blocks; 8176 free (2 chunks); 16 used
    Relcache by OID: 8192 total in 1 blocks; 3376 free (0 chunks); 4816 used
    CacheMemoryContext: 667472 total in 20 blocks; 187168 free (1 chunks); 480304 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    pids_pid_key: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    pids_pkey: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 312 free (0 chunks); 712 used
    CachedPlanSource: 3072 total in 2 blocks; 1896 free (3 chunks); 1176 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 616 free (0 chunks); 408 used
    CachedPlanSource: 1024 total in 1 blocks; 304 free (0 chunks); 720 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    uas_ua_key: 1024 total in 1 blocks; 304 free (0 chunks); 720 used
    uas_pkey: 1024 total in 1 blocks; 304 free (0 chunks); 720 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 3072 total in 2 blocks; 1920 free (0 chunks); 1152 used
    CachedPlanSource: 3072 total in 2 blocks; 1544 free (0 chunks); 1528 used
    SPI Plan: 1024 total in 1 blocks; 904 free (0 chunks); 120 used
    CachedPlan: 1024 total in 1 blocks; 496 free (0 chunks); 528 used
    CachedPlanSource: 1024 total in 1 blocks; 32 free (0 chunks); 992 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 344 free (0 chunks); 680 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 3072 total in 2 blocks; 1696 free (0 chunks); 1376 used
    CachedPlanSource: 3072 total in 2 blocks; 1168 free (0 chunks); 1904 used
    SPI Plan: 1024 total in 1 blocks; 904 free (0 chunks); 120 used
    CachedPlan: 1024 total in 1 blocks; 368 free (0 chunks); 656 used
    CachedPlanSource: 1024 total in 1 blocks; 72 free (0 chunks); 952 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 504 free (0 chunks); 520 used
    CachedPlanSource: 1024 total in 1 blocks; 128 free (0 chunks); 896 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    CachedPlan: 1024 total in 1 blocks; 640 free (0 chunks); 384 used
    CachedPlanSource: 1024 total in 1 blocks; 352 free (0 chunks); 672 used
    SPI Plan: 1024 total in 1 blocks; 928 free (0 chunks); 96 used
    CachedPlan: 1024 total in 1 blocks; 616 free (0 chunks); 408 used
    CachedPlanSource: 1024 total in 1 blocks; 312 free (0 chunks); 712 used
    SPI Plan: 1024 total in 1 blocks; 928 free (0 chunks); 96 used
    CachedPlan: 1024 total in 1 blocks; 616 free (0 chunks); 408 used
    CachedPlanSource: 1024 total in 1 blocks; 304 free (0 chunks); 720 used
    SPI Plan: 1024 total in 1 blocks; 912 free (0 chunks); 112 used
    ...
    LOCALLOCK hash: 8192 total in 1 blocks; 3912 free (0 chunks); 4280 used
    Timezones: 48616 total in 2 blocks; 5968 free (0 chunks); 42648 used
    ErrorContext: 540696 total in 3 blocks; 16256 free (10 chunks); 524440 used
    2008-11-24 11:47:40 CET ERROR: out of memory
    2008-11-24 11:47:40 CET DETAIL: Failed on request of size 1048576.
    MessageContext: 1169536032 total in 51 blocks; 1208 free (1 chunks); 1169534824 used

    Kommt mir doch sehr übel vor. Was ist das ?

  2. #32
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.055

    Standard

    Zitat Zitat von Sigh Beitrag anzeigen
    Failed on request of size 1048576
    Dem würde ich mehr Aufmerksamkeit widmen: der Query (bzw. das, womit sich die DB gerade beschäftigt) ist ca. 1 MB groß und macht Probleme.

    akretschmer kann vielleicht die passende Option aus dem Hut zaubern.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  3. #33
    Sigh ist offline Benutzer
    Registriert seit
    12.09.2008
    Ort
    Köln
    Beiträge
    69

    Idee

    OMG

    Doch:

    MessageContext: 1169536032 total in 51 blocks; 1208 free (1 chunks); 1169534824 used

    ist ein guter Indikator .............

    Das besagt nämlich das der Server über 1GB an output an den client schicken möchte (welcher daran verreckt).

    Ich habe das > 2GB file.sql in stücke zerhackt und ausprobiert.

    die ganze Zeit vermutete ich das die Filegröße ein Problem darstellt da ja kleinere Dateien funktionieren.

    -> Falsch

    das ca. 120.000.000 Mio Statement hat mist gebaut und alles was darauf folgte dann auch. in den kleineren dateien habe ich ja nie alle ca. 120 Stück ausprobiert sondern mal die jene oder diese.

    das ganze hat dann soviel error msg gebaut das der server das nicht mehr an den client schicken konnte

    Na da haben wir doch alle was gelernt.

    Ist eine Transaction soooo groß das ein Statementfehler irgendwo darin soviel Error erzeugt das er nicht mehr an den Client gesendet werden kann, so gibt es anscheinend den am Anfang beschriebenen Fehler.

    Danke euch trotzdem für die Diskussion und Anregungen.


    Anschlußfrage ist nun

    Kann man das Verhalten beeinflussen ?

    Also es würde mir ja reichen wenn der Server beim ersten Statement das nicht klappt die Transaction abbricht und mir den Fehler entgegen wirft. Er muss ja in der Transaktion nicht erst noch die unzähligen folgenden Zeilen durchgehen.

  4. #34
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.055

    Standard

    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  5. #35
    akretschmer ist offline Super-Moderator
    Registriert seit
    29.10.2006
    Ort
    Dresden
    Beiträge
    5.465

    Standard

    Zitat Zitat von ads Beitrag anzeigen
    Das ist allerdings nicht die offizielle Doku...

    Andreas
    --
    ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)
    https://www.xing.com/profile/Andreas_Kretschmer7

  6. #36
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.055

    Standard

    Zitat Zitat von akretschmer Beitrag anzeigen
    Das ist allerdings nicht die offizielle Doku...
    Nein, aber dort habe ich das auch bloß her ;-)
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  7. #37
    Sigh ist offline Benutzer
    Registriert seit
    12.09.2008
    Ort
    Köln
    Beiträge
    69

    Standard

    Wie ich bin suche ich solche guten Infos immer nochmal in der offiziellen Doku (Auch um ein Gefühl für die Doku zu bekommen wo man etwas vermuten könnte)

    Falls es also nochmal jemand dort nachlesen möchte sei er auf den folgenden Link verwiesen.

    psql


    Prima

    Damit kann das Thema geschlossen werden.

    Dankeschön euch allen nochmal für die Hilfe.

Seite 4 von 4 ErsteErste ... 234

Ähnliche Themen

  1. Problem Datenimport aus CSV über PSQL
    Von Schmidti79 im Forum Sonstige
    Antworten: 2
    Letzter Beitrag: 05.10.2011, 19:30
  2. Antworten: 2
    Letzter Beitrag: 22.07.2011, 09:51
  3. Variable Dateien in DB einlesen
    Von Sharky im Forum Programmierung
    Antworten: 4
    Letzter Beitrag: 30.12.2009, 17:01
  4. Abschnitts aus Dump einlesen
    Von karl_ha im Forum SQL
    Antworten: 4
    Letzter Beitrag: 18.11.2009, 09:22
  5. Problem XML-Dateien einlesen
    Von Binaural im Forum Allgemeines
    Antworten: 5
    Letzter Beitrag: 01.07.2008, 09:57

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  

Links: Tobias Bauer - IT- und Funkdienstleistungen   -   Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen   -   Funkforum