Ergebnis 1 bis 2 von 2

Thema: Replikation bei häufigen Bulk-Imports via COPY

  1. #1
    identify ist offline Neuer Benutzer
    Registriert seit
    14.01.2010
    Beiträge
    1

    Frage Replikation bei häufigen Bulk-Imports via COPY

    Hallo zusammen,

    in einem anstehenden Projekt stehe ich vor der Aufgabe, aus >300 verschiedenen Quellen eine gleiche Anzahl identischer Dateien mit durchschnittlich jeweils ca. 50.000 Datensätzen regelmäßig (Ziel: alle zwei Stunden) in separate Datenbanken zu laden (pro Quelle eine Datenbank). Die Zieltabellen werden dabei immer wieder zuerst geleert und dann aus den Dateiimporten neu befüllt. Eine Webapplikation greift dann auf diese Daten zu. Meine Idee war also ursprünglich, die Applikation auf mehrere Applikationsserver mit lokaler PostgreSQL-Installation zu verteilen. Das Laden der Daten geschieht auf einem separaten und ausschließlich dafür definierten Server. Die separaten Datenbanken sollen dann auf die einzelnen Applikationsserver repliziert werden.

    Jetzt stellt sich mir jedoch die Frage: macht das Sinn? Replikation, wenn immer wieder durch INSERTs Daten angehängt oder durch UPDATEs einzelne Daten geändert werden - OK. Aber bei regelmäßigem TRUNCATE und COPY bei den Datenmengen?

  2. #2
    akretschmer ist offline Super-Moderator
    Registriert seit
    29.10.2006
    Ort
    Dresden
    Beiträge
    5.465

    Standard

    Zitat Zitat von identify Beitrag anzeigen
    Hallo zusammen,

    in einem anstehenden Projekt stehe ich vor der Aufgabe, aus >300 verschiedenen Quellen eine gleiche Anzahl identischer Dateien mit durchschnittlich jeweils ca. 50.000 Datensätzen regelmäßig (Ziel: alle zwei Stunden) in separate Datenbanken zu laden (pro Quelle eine Datenbank). Die Zieltabellen werden dabei immer wieder zuerst geleert und dann aus den Dateiimporten neu befüllt. Eine Webapplikation greift dann auf diese Daten zu. Meine Idee war also ursprünglich, die Applikation auf mehrere Applikationsserver mit lokaler PostgreSQL-Installation zu verteilen. Das Laden der Daten geschieht auf einem separaten und ausschließlich dafür definierten Server. Die separaten Datenbanken sollen dann auf die einzelnen Applikationsserver repliziert werden.
    Gibt es Gründe, dafür >300 separate Datenbanken zu machen? Auf ein und derselben Kiste?

    Jetzt stellt sich mir jedoch die Frage: macht das Sinn? Replikation, wenn immer wieder durch INSERTs Daten angehängt oder durch UPDATEs einzelne Daten geändert werden - OK. Aber bei regelmäßigem TRUNCATE und COPY bei den Datenmengen?

    Mach Dich mal schlau über Slony und TRUNCATE. Das sollte Dir bei der Entscheidungsfindung helfen.

    Ansonsten ist es relativ schwer, Dir zu antworten. Da fehlen schlicht zu viele Details.


    Andreas
    --
    ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)
    https://www.xing.com/profile/Andreas_Kretschmer7

Ähnliche Themen

  1. Frage Trigger und Replikation
    Von kiaaap im Forum Trigger und Funktionen
    Antworten: 3
    Letzter Beitrag: 23.03.2012, 10:11
  2. Problem bulk load über java
    Von MeisterU im Forum Programmierung
    Antworten: 10
    Letzter Beitrag: 16.03.2010, 14:38
  3. replikation
    Von karl_ha im Forum Allgemeines
    Antworten: 15
    Letzter Beitrag: 08.12.2009, 16:13
  4. Postgres und replikation
    Von foexle im Forum Konfiguration
    Antworten: 18
    Letzter Beitrag: 01.10.2009, 18:03
  5. Bereiche im Bulk dump zu groß
    Von melodoi im Forum Allgemeines
    Antworten: 10
    Letzter Beitrag: 22.01.2009, 12:26

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  

Links: Tobias Bauer - IT- und Funkdienstleistungen   -   Bilderrahmen-kaufen.de - Der Onlineshop für Bilderrahmen & Fotorahmen   -   Funkforum