Seite 2 von 2 ErsteErste 12
Ergebnis 11 bis 17 von 17

Thema: Insert mit vielen Spalten sehr langsam

  1. #11
    donhaaare ist offline Neuer Benutzer
    Registriert seit
    16.01.2009
    Beiträge
    8

    Standard

    Zitat Zitat von ads Beitrag anzeigen
    Der erste ist wohl schon mal, dass ihr nicht wisst, wie man eine relationale Datenbank nutzt.
    Da muss ich Dir widersprechen. Der Fehler liegt in der Konzeption der DataCapture-Software, die als Unterbau nun mal keine relationale DB im herkömmlichen Sinne nutzt. Die Anforderungen an das System sind teils durch klinische Standards bedingt. Für diese Aufgabe, die ich jetzt zu optimieren versuche, war das System nie ausgelegt. Sowas war ürsprünglich so geplant, dass über xml die Daten exportiert werden und dann eben von SPSS oder SAS weiterbearbeitet werden oder mit ähnlichen Systemen Daten ausgetauscht werden. Das kann unsere Software nämlich hervorragend.

    Zitat Zitat von ads Beitrag anzeigen
    Der zweite Fehler: ihr habt eine richtig performante Maschine hingestellt, wisst aber nicht, wie ihr die konfigurieren sollt bzw. müsstet. Wie akretschmer sagt nutzt ihr wahrscheinlich nur einen Bruchteil der Ressourcen und der Rest liegt brach.
    Da hast Du wohl recht. Hinzukommt, dass wir mit den Problemen lernen. Wir konnten uns nicht vorher etwas passendes überlegen, weil wir den Umfang und Aufwand nicht kannten. Der Server war ausserdem nicht für dieses Aufgabe exklusiv gedacht.

    Zitat Zitat von ads Beitrag anzeigen
    Der dritte Fehler: die Datenbank wurde entwickelt als das Interface (woran du gerade arbeitest) noch nicht feststand. Wenn es - wie jetzt - zu Problemen kommt, kann nichts mehr geändert werden. So ein Entwicklungsprozess ist - gelinde gesagt - suboptimal.
    Das Interface habe ich auch nicht entwickelt. Ich bin nur der Dumme, der jetzt schauen muss, dass halbwegs gut funktioniert. Und wie gesagt, für diese Aufgabe war das System nie bestimmt.


    Zitat Zitat von ads Beitrag anzeigen
    Die Probleme und Schmerzen werden allerdings nur noch größer, nicht weniger werden, glaub mir.
    Das muss ich Gott sei Dank auch bei uns in der Firma keinem mehr erklären...

    Zitat Zitat von ads Beitrag anzeigen
    Welche Möglichkeiten hast du, in den Entscheidungsprozess einzugreifen?
    Keine. Ich verwalte nur die Havarie.

    Danke trotzdem,

    donhaaare

  2. #12
    donhaaare ist offline Neuer Benutzer
    Registriert seit
    16.01.2009
    Beiträge
    8

    Standard

    Zitat Zitat von akretschmer Beitrag anzeigen
    Nur zur Info:

    Code:
    psql:dummes.sql:15002: ERROR:  tables can have at most 1600 columns
    Danke, ich werds mir merken.

    Zitat Zitat von akretschmer Beitrag anzeigen
    Ich würde da mal in Richtung work_mem da probieren.
    Danke, ich probier das aus.

    donhaaare

  3. #13
    donhaaare ist offline Neuer Benutzer
    Registriert seit
    16.01.2009
    Beiträge
    8

    Standard

    Zitat Zitat von klimaschreck Beitrag anzeigen
    habt ihr denn auch ein 64-bit OS im Einsatz?
    Nein, Debian Etch 32bit. Kernel:

    Code:
    Linux 2.6.18-6-686-bigmem #1 SMP
    donhaaare

  4. #14
    akretschmer ist gerade online Super-Moderator
    Registriert seit
    29.10.2006
    Ort
    Dresden
    Beiträge
    5.472

    Standard

    Zitat Zitat von donhaaare Beitrag anzeigen
    Nein, Debian Etch 32bit. Kernel:

    Code:
    Linux 2.6.18-6-686-bigmem #1 SMP
    donhaaare
    Das kann IIRC nur max. 4 GByte nutzen.

    Andreas
    --
    ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)
    https://www.xing.com/profile/Andreas_Kretschmer7

  5. #15
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    Richtig, bei Bigmem ist wohl bei 4 GB Schluß ... der Rest liegt brach und wird umsonst bezahlt - na, nicht ganz, der Stromverbrauch ist immerhin vorhanden ;-)

    donhaaare: nun, welchen Sinn macht es, diese Daten in eine relationale Datenbank zu pressen, wenn das ganze doch nicht dafür gedacht war? Und würde es nicht mehr Sinn machen, die Struktur aufzuteilen? Import und Export in beliebige Formate kannst du doch selbst handhaben, deshalb muss man die Struktur nicht 1:1 übernehmen. Noch ein paar Spalten und ihr seid sowieso am Limit und müsst euch etwas überlegen.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

  6. #16
    donhaaare ist offline Neuer Benutzer
    Registriert seit
    16.01.2009
    Beiträge
    8

    Standard

    Zitat Zitat von akretschmer Beitrag anzeigen
    Das kann IIRC nur max. 4 GByte nutzen.
    Hi,

    so, mein free -m sagt
    Code:
    # free -m
                 total       used       free     shared    buffers     cached
    Mem:          8088       7756        331          0        160       6163
    -/+ buffers/cache:       1432       6655
    Swap:         2047          0       2047
    das würde für mich heißen, dass der Speicher genutzt wird. Unser Hoster bietet die Kisten mit dem Betriebssystem und diesem Kernel an, also würde ich voraussetzen, dass der komplette Speicher auch unterstützt wird.

    Was Sinn und Unsinn dieses Verfahrens angeht, kann ich wenig dazu sagen. Es hat sich bei anderen Projekten (mit viel schmäleren Tabellen) als sehr gute Möglichkeit erwiesen, den Projektleuten und Statistikern für Ihre BIRT-Report-Designer und SPSSe die Daten leicht verwertbar zur Verfügung zu stellen.
    Auf all das habe ich keinen Einfluss. Ich kann lediglich versuchen, die Probleme mit den extremsten Projekten zu begrenzen und an unsere Entwickler weiterzugeben.
    Das sich zwischen den RDBMS-Leuten und den XMLern Welten auftun, habe ich wieder mal erfahren ...

  7. #17
    ads
    ads ist offline Super-Moderator
    Registriert seit
    08.02.2006
    Ort
    MD
    Beiträge
    4.056

    Standard

    Du vermittelst da zwischen zwei Parteien und wenigstens die Datenbankleute sind dir aufgrund dieses Tabellendesigns nicht an die Gurgel gespriungen?
    Eigentlich unterständlich.
    Xandrian: Kurz gesagt: Du hast ein falsches Konzept und willst nicht auf ads hören

    Jetzt NEU: PostgreSQL - Datenbankpraxis für Anwender, Administratoren und Entwickler

    PostgreSQL Service & Support

Seite 2 von 2 ErsteErste 12

Ähnliche Themen

  1. Problem Postgres sehr langsam unter Win7, unter Win XP nicht
    Von groucho im Forum Allgemeines
    Antworten: 2
    Letzter Beitrag: 06.02.2012, 10:06
  2. Like mit vielen werten
    Von Painstation im Forum SQL
    Antworten: 4
    Letzter Beitrag: 26.07.2010, 09:17
  3. bytea Performance sehr langsam
    Von ratio im Forum Allgemeines
    Antworten: 14
    Letzter Beitrag: 25.08.2009, 22:43
  4. Programmabsturz nach vielen Zugriffen
    Von Red-Flash im Forum Allgemeines
    Antworten: 1
    Letzter Beitrag: 27.10.2006, 13:28
  5. PostGres ODBC über Internet sehr langsam
    Von Eser im Forum Allgemeines
    Antworten: 13
    Letzter Beitrag: 28.08.2006, 11:40

Stichworte

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  

Links: Tobias Bauer - IT- und Funkdienstleistungen   -   Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen   -   Funkforum