streaming replication über wan extrem langsam

Allgemeines zu PostgreSQL.
Antworten
richie1985
Neuer Benutzer
Beiträge: 12
Registriert: Mo 15. Jul 2013, 11:42

streaming replication über wan extrem langsam

Beitrag von richie1985 » Do 5. Okt 2017, 08:34

hi,

wir nutzen den befehl:

"C:\Program Files\PostgreSQL\9.5\bin\pg_basebackup.exe" -P -R -X stream -c fast -h 192.168.2.12 -U postgres -D D:\Postgres_Data

um eine streaming replication von unserem Main Server 192.168.2.12 über eine WAN Strecke zu erstellen. das funktioniert auch, nur extrem langsam. Die DB hat natürlich schon paar GB. Die WAN Leitungen (100Mbit) wird gerade mal zu ca. 20% genutzt. Gibt es eine Möglichkeit das zu optimieren?

Danke!

Erik

akretschmer
Erfahrener Benutzer
Beiträge: 7319
Registriert: So 29. Okt 2006, 13:35
Wohnort: Kaufbach, Sachsen, Germany, Germany
Kontaktdaten:

Re: streaming replication über wan extrem langsam

Beitrag von akretschmer » Do 5. Okt 2017, 09:30

Du hast 3 Partner hier: den Quellserver, die Leitung und den Zielserver. Der langsamste Teilnehmer bestimmt die Geschwindigkeit. Offenbar ist dies NICHT die Leitung. Allerdings, wenn das ein WAN ist, kommen Latenzen durch das TCP/IP-Protokoll mit ins Spiel, die hier auch eine Ursache sein könnten.

Wäre das OS ein Linux, würde ich Dir zu repmgr raten und dessen Möglichkeiten. Da könnte das auch via rsync erfolgen, wäre evtl. schneller. Über was für Zeiten reden wir denn? Minuten, Stunden, Tage?

PS.: -P, also progress reporting, kostet auch Zeit.
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services

richie1985
Neuer Benutzer
Beiträge: 12
Registriert: Mo 15. Jul 2013, 11:42

Re: streaming replication über wan extrem langsam

Beitrag von richie1985 » Do 5. Okt 2017, 10:41

Hi,

korrekt aber beide Server sind auch nicht (zumindest nicht erkennbar) ausgelastet. Disk Usage und CPU Usage etc. sind extrem niedrig.
Die DB ist ca. 140GB gross. wir haben gestern früh um 09:00 angefangen und bis jetzt sind wir bei 80%. Also mindestens ca. 1,5 Tage.

Leider haben wir kein Linux zur Verfügung... (Streaming Replication geht ja nicht zwischen Windows und Linux)

akretschmer
Erfahrener Benutzer
Beiträge: 7319
Registriert: So 29. Okt 2006, 13:35
Wohnort: Kaufbach, Sachsen, Germany, Germany
Kontaktdaten:

Re: streaming replication über wan extrem langsam

Beitrag von akretschmer » Do 5. Okt 2017, 11:19

wie weit auseinander (geographisch) sind die 2 server?
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services

richie1985
Neuer Benutzer
Beiträge: 12
Registriert: Mo 15. Jul 2013, 11:42

Re: streaming replication über wan extrem langsam

Beitrag von richie1985 » Do 5. Okt 2017, 13:49

knapp 700 km

akretschmer
Erfahrener Benutzer
Beiträge: 7319
Registriert: So 29. Okt 2006, 13:35
Wohnort: Kaufbach, Sachsen, Germany, Germany
Kontaktdaten:

Re: streaming replication über wan extrem langsam

Beitrag von akretschmer » Do 5. Okt 2017, 14:10

okay, das geht ja noch...


Nun - schwer zu sagen. Die 100MBit, die sind aber sicher verfügbar? Oder ist das ein Anschluß, wo 100MBit Download und nur ein Teil davon Upload ist?
Ansonsten: sollte ja bald vorbei sein. Wenn ihr Replication Slots nutzt sollte die Replikation dann auch relativ stabil laufen.
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services

richie1985
Neuer Benutzer
Beiträge: 12
Registriert: Mo 15. Jul 2013, 11:42

Re: streaming replication über wan extrem langsam

Beitrag von richie1985 » Do 5. Okt 2017, 15:50

ja beide standorte sind synchron im Up und Download (das eine ist ein rechenzentrum), der andere ein standort hat eine 100MBit Company Connect Leitung. ja sind jetzt bei 98% ... trotzdem würde ich gern erfahren warum nicht die vollen resourcen ausgenutzt werden. kann im netzt dazu auch leider fast gar nichts finden.

akretschmer
Erfahrener Benutzer
Beiträge: 7319
Registriert: So 29. Okt 2006, 13:35
Wohnort: Kaufbach, Sachsen, Germany, Germany
Kontaktdaten:

Re: streaming replication über wan extrem langsam

Beitrag von akretschmer » Do 5. Okt 2017, 16:13

ich vermute die Ursache im Windows-Nebel ...
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services

pogomips
Benutzer
Beiträge: 43
Registriert: Fr 18. Nov 2016, 09:55

Re: streaming replication über wan extrem langsam

Beitrag von pogomips » Do 5. Okt 2017, 20:28

Nur mal als Idee:
Ich erinnere mich dunkel an irgendwelche Probleme mit Verschlüsselung, ssh, vpn Tunnel.
Sieht auf einer Mehrkernmaschine u.U. harmlos aus, aber ein Kern ist am Anschlag, 13% im Taskmanager unter Windows, immer schlecht. Hat dann auch glaub ich nichts mit PG zu tun.

Antworten