streaming replication über wan extrem langsam

hi,

wir nutzen den befehl:

“C:\Program Files\PostgreSQL\9.5\bin\pg_basebackup.exe” -P -R -X stream -c fast -h 192.168.2.12 -U postgres -D D:\Postgres_Data

um eine streaming replication von unserem Main Server 192.168.2.12 über eine WAN Strecke zu erstellen. das funktioniert auch, nur extrem langsam. Die DB hat natürlich schon paar GB. Die WAN Leitungen (100Mbit) wird gerade mal zu ca. 20% genutzt. Gibt es eine Möglichkeit das zu optimieren?

Danke!

Erik

Du hast 3 Partner hier: den Quellserver, die Leitung und den Zielserver. Der langsamste Teilnehmer bestimmt die Geschwindigkeit. Offenbar ist dies NICHT die Leitung. Allerdings, wenn das ein WAN ist, kommen Latenzen durch das TCP/IP-Protokoll mit ins Spiel, die hier auch eine Ursache sein könnten.

Wäre das OS ein Linux, würde ich Dir zu repmgr raten und dessen Möglichkeiten. Da könnte das auch via rsync erfolgen, wäre evtl. schneller. Über was für Zeiten reden wir denn? Minuten, Stunden, Tage?

PS.: -P, also progress reporting, kostet auch Zeit.

Hi,

korrekt aber beide Server sind auch nicht (zumindest nicht erkennbar) ausgelastet. Disk Usage und CPU Usage etc. sind extrem niedrig.
Die DB ist ca. 140GB gross. wir haben gestern früh um 09:00 angefangen und bis jetzt sind wir bei 80%. Also mindestens ca. 1,5 Tage.

Leider haben wir kein Linux zur Verfügung… (Streaming Replication geht ja nicht zwischen Windows und Linux)

wie weit auseinander (geographisch) sind die 2 server?

knapp 700 km

okay, das geht ja noch…


Nun - schwer zu sagen. Die 100MBit, die sind aber sicher verfügbar? Oder ist das ein Anschluß, wo 100MBit Download und nur ein Teil davon Upload ist?
Ansonsten: sollte ja bald vorbei sein. Wenn ihr Replication Slots nutzt sollte die Replikation dann auch relativ stabil laufen.

ja beide standorte sind synchron im Up und Download (das eine ist ein rechenzentrum), der andere ein standort hat eine 100MBit Company Connect Leitung. ja sind jetzt bei 98% … trotzdem würde ich gern erfahren warum nicht die vollen resourcen ausgenutzt werden. kann im netzt dazu auch leider fast gar nichts finden.

ich vermute die Ursache im Windows-Nebel …

Nur mal als Idee:
Ich erinnere mich dunkel an irgendwelche Probleme mit Verschlüsselung, ssh, vpn Tunnel.
Sieht auf einer Mehrkernmaschine u.U. harmlos aus, aber ein Kern ist am Anschlag, 13% im Taskmanager unter Windows, immer schlecht. Hat dann auch glaub ich nichts mit PG zu tun.