2 Datenbanken zusammenführen

Allgemeines zu PostgreSQL.

2 Datenbanken zusammenführen

Beitragvon andreas » Mi 20. Jun 2012, 13:52

Hallo an Alle,

ich muss 2 Kundendatenbanken (pg 8.2) von dem gleichen Programm zu einer Datenbank zusammenführen.
Die Anpassung der Daten habe ich schon gemacht, damit die IDs usw. sich nicht überschneiden und von den benötigten Tabellen die ASCII-Sicherung mit den Insert-Befehlen erstellt.
Einige der Dateien konnte ich dann direkt über PGAdmin ausführen, um die Daten in die Zieldatenbank einzulesen.
Bei den anderen Dateien habe ich ein Problem, dass die Dateien zu groß (z.B. 144 und 233 MB) sind. Beim Einlesen dieser Dateien stürzt der PGAdmin ab.

Wie kann ich diese Dateien ausführen lassen?
oder gibt es eine Möglichkeit beim Backuperstellen die Dateien aufzuteilen?
Oder bin ich auf dem völlig falschen Weg und die Datenzusammenführung muss irgendwie anders erfolgen?
Gruß

Andreas
andreas
Neuer Benutzer
 
Beiträge: 27
Registriert: Di 5. Okt 2010, 09:40
Wohnort: Osnabrück

Beitragvon Xandrian » Mi 20. Jun 2012, 14:13

Hi,

wenn du SQL Statements (also Dumps hast), nachdem es sich ja anhört, da du von ASCII-Sicherung schreibst, was spricht gegen psql auf der Kommandozeile? ;-)

cu tb
pg-forum.de unterstützen? Meine Wunschliste

Bild Bild
Benutzeravatar
Xandrian
Erfahrener Benutzer
 
Beiträge: 1612
Registriert: Mi 23. Nov 2005, 10:17
Wohnort: Bayreuth

Beitragvon andreas » Mi 20. Jun 2012, 15:00

Danke für die Antwort, das hilft mir erst mal weiter.

Gibt es eigentlich die Möglichkeit die ASCII-Dumps bei der Erstellung unter Windows sofort in kleinere Dateien aufzuteilen?
Mein Vorgänger hat ein Programm erstellt, dass die Dateien verarbeitet aber auch mit den großen Dateien nicht zu recht kommt. Dafür müssen die ganzen Verbindungsangaben nicht gemacht werden. Irgendwie hatte mein Vorgänger seine Daten aufgeteilt bekommen, was ich bei den alten Dateien sehe, aber wie?
Gruß

Andreas
andreas
Neuer Benutzer
 
Beiträge: 27
Registriert: Di 5. Okt 2010, 09:40
Wohnort: Osnabrück

Beitragvon castorp » Mi 20. Jun 2012, 15:03

andreas hat geschrieben:Irgendwie hatte mein Vorgänger seine Daten aufgeteilt bekommen
Wozu? Nimm psql und Du hast keine Probleme mit der Dateigröße
A SQL query walks into a bar and sees two tables. He walks up to them and says 'Can I join you?'
castorp
Erfahrener Benutzer
 
Beiträge: 673
Registriert: Sa 27. Jun 2009, 22:24

Beitragvon akretschmer » Mi 20. Jun 2012, 15:13

andreas hat geschrieben:Danke für die Antwort, das hilft mir erst mal weiter.

Gibt es eigentlich die Möglichkeit die ASCII-Dumps bei der Erstellung unter Windows sofort in kleinere Dateien aufzuteilen?
Mein Vorgänger hat ein Programm erstellt, dass die Dateien verarbeitet aber auch mit den großen Dateien nicht zu recht kommt. Dafür müssen die ganzen Verbindungsangaben nicht gemacht werden. Irgendwie hatte mein Vorgänger seine Daten aufgeteilt bekommen, was ich bei den alten Dateien sehe, aber wie?


Wozu?

Mit psql und/oder pg_restore kannst Du Dateien im Terabytebereich verarbeiten. Und pg_restore kann sogar mit mehreren Tasks gleichzeitig laufen, nur die Anzahl der Jobs angeben. Deine paar MByte sind lächerlich ... ich glaub auch nicht, daß PGAdmin da ein Problem hat. (ruft auch nur die Tools auf) Gibt es denn konkrete Fehlermeldungen?

Andreas
--
ads Das hatte dir akretschmer gestern schon gesagt und siehe da sobald du das machst, funktioniert es ;-)

https://www.xing.com/profile/Andreas_Kretschmer7
Hosting-Provider mit PostgreSQL-Support gesucht? Mich fragen!
akretschmer
Erfahrener Benutzer
 
Beiträge: 5938
Registriert: So 29. Okt 2006, 14:35
Wohnort: Kaufbach, Sachsen, Germany, Germany

Beitragvon andreas » Mi 20. Jun 2012, 16:17

Ich habe mit Chef gesprochen und dem reicht auch die Übernahme mit psql, also ist das Problem damit erledigt.

PgAdminIII stürzte beim Laden der Datei in den Abfragedialog ab.
Hier sind die Fehlermeldungen aus Windowsereignisanzeige und das dazu passende Bericht, falls diese hier noch gebraucht werden:
Code: Alles auswählen
Name der fehlerhaften Anwendung: pgAdmin3.exe, Version: 1.6.3.99, Zeitstempel: 0x4603f9de
Name des fehlerhaften Moduls: pgAdmin3.exe, Version: 1.6.3.99, Zeitstempel: 0x4603f9de
Ausnahmecode: 0xc0000005
Fehleroffset: 0x00377fd3
ID des fehlerhaften Prozesses: 0x1304
Startzeit der fehlerhaften Anwendung: 0x01cd4ed7907fa51f
Pfad der fehlerhaften Anwendung: C:\Program Files\PostgreSQL\8.2\bin\pgAdmin3.exe
Pfad des fehlerhaften Moduls: C:\Program Files\PostgreSQL\8.2\bin\pgAdmin3.exe
Berichtskennung: dcf8a99b-baca-11e1-852d-005056c00008


Code: Alles auswählen
Fehlerbucket , Typ 0
Ereignisname: APPCRASH
Antwort: Nicht verfügbar
CAB-Datei-ID: 0

Problemsignatur:
P1: pgAdmin3.exe
P2: 1.6.3.99
P3: 4603f9de
P4: pgAdmin3.exe
P5: 1.6.3.99
P6: 4603f9de
P7: c0000005
P8: 00377fd3
P9:
P10:

Angefügte Dateien:
C:\Users\Andreas\AppData\Local\Temp\WER2311.tmp.WERInternalMetadata.xml

Diese Dateien befinden sich möglicherweise hier:
C:\Users\Andreas\AppData\Local\Microsoft\Windows\WER\ReportArchive\AppCrash_pgAdmin3.exe_1b7a4cb5b154644740e942343b659fce3b16e_17e4293b

Analysesymbol:
Es wird erneut nach einer Lösung gesucht: 0
Berichts-ID: dcf8a99b-baca-11e1-852d-005056c00008
Gruß

Andreas
andreas
Neuer Benutzer
 
Beiträge: 27
Registriert: Di 5. Okt 2010, 09:40
Wohnort: Osnabrück

Beitragvon andreas » Mi 20. Jun 2012, 16:18

Der Bericht passte nicht mehr in die vorherige Nachricht:

Code: Alles auswählen
Version=1
EventType=APPCRASH
EventTime=129846652261894531
ReportType=2
Consent=1
UploadTime=129846652262832031
ReportIdentifier=dcf8a99c-baca-11e1-852d-005056c00008
IntegratorReportIdentifier=dcf8a99b-baca-11e1-852d-005056c00008
Response.type=4
Sig[0].Name=Anwendungsname
Sig[0].Value=pgAdmin3.exe
Sig[1].Name=Anwendungsversion
Sig[1].Value=1.6.3.99
Sig[2].Name=Anwendungszeitstempel
Sig[2].Value=4603f9de
Sig[3].Name=Fehlermodulname
Sig[3].Value=pgAdmin3.exe
Sig[4].Name=Fehlermodulversion
Sig[4].Value=1.6.3.99
Sig[5].Name=Fehlermodulzeitstempel
Sig[5].Value=4603f9de
Sig[6].Name=Ausnahmecode
Sig[6].Value=c0000005
Sig[7].Name=Ausnahmeoffset
Sig[7].Value=00377fd3
DynamicSig[1].Name=Betriebsystemversion
DynamicSig[1].Value=6.1.7601.2.1.0.256.28
DynamicSig[2].Name=Gebietsschema-ID
DynamicSig[2].Value=1031
DynamicSig[22].Name=Zusatzinformation 1
DynamicSig[22].Value=0a9e
DynamicSig[23].Name=Zusatzinformation 2
DynamicSig[23].Value=0a9e372d3b4ad19135b953a78882e789
DynamicSig[24].Name=Zusatzinformation 3
DynamicSig[24].Value=0a9e
DynamicSig[25].Name=Zusatzinformation 4
DynamicSig[25].Value=0a9e372d3b4ad19135b953a78882e789
UI[2]=C:\Program Files\PostgreSQL\8.2\bin\pgAdmin3.exe
UI[3]=pgAdmin III - PostgreSQL Tools funktioniert nicht mehr
UI[4]=Windows kann online nach einer Lösung für das Problem suchen.
UI[5]=Online nach einer Lösung suchen und das Programm schließen
UI[6]=Später online nach einer Lösung suchen und das Programm schließen
UI[7]=Programm schließen
LoadedModule[0]=C:\Program Files\PostgreSQL\8.2\bin\pgAdmin3.exe
LoadedModule[1]=C:\Windows\SYSTEM32\ntdll.dll
LoadedModule[2]=C:\Windows\system32\kernel32.dll
LoadedModule[3]=C:\Windows\system32\KERNELBASE.dll
LoadedModule[4]=C:\Program Files\PostgreSQL\8.2\bin\LIBPQ.dll
LoadedModule[5]=C:\Windows\system32\ADVAPI32.DLL
LoadedModule[6]=C:\Windows\system32\msvcrt.dll
LoadedModule[7]=C:\Windows\SYSTEM32\sechost.dll
LoadedModule[8]=C:\Windows\system32\RPCRT4.dll
LoadedModule[9]=C:\Program Files\PostgreSQL\8.2\bin\comerr32.dll
LoadedModule[10]=C:\Windows\system32\USER32.dll
LoadedModule[11]=C:\Windows\system32\GDI32.dll
LoadedModule[12]=C:\Windows\system32\LPK.dll
LoadedModule[13]=C:\Windows\system32\USP10.dll
LoadedModule[14]=C:\Program Files\PostgreSQL\8.2\bin\libeay32.dll
LoadedModule[15]=C:\Windows\system32\WSOCK32.dll
LoadedModule[16]=C:\Windows\system32\WS2_32.dll
LoadedModule[17]=C:\Windows\system32\NSI.dll
LoadedModule[18]=C:\Program Files\PostgreSQL\8.2\bin\libintl-2.dll
LoadedModule[19]=C:\Program Files\PostgreSQL\8.2\bin\libiconv-2.dll
LoadedModule[20]=C:\Program Files\PostgreSQL\8.2\bin\krb5_32.dll
LoadedModule[21]=C:\Windows\system32\SHFOLDER.DLL
LoadedModule[22]=C:\Windows\system32\SHELL32.dll
LoadedModule[23]=C:\Windows\system32\SHLWAPI.dll
LoadedModule[24]=C:\Program Files\PostgreSQL\8.2\bin\ssleay32.dll
LoadedModule[25]=C:\Windows\system32\wldap32.dll
LoadedModule[26]=C:\Program Files\PostgreSQL\8.2\bin\libxml2.dll
LoadedModule[27]=C:\Program Files\PostgreSQL\8.2\bin\iconv.dll
LoadedModule[28]=C:\Program Files\PostgreSQL\8.2\bin\zlib1.dll
LoadedModule[29]=C:\Program Files\PostgreSQL\8.2\bin\libxslt.dll
LoadedModule[30]=C:\Windows\WinSxS\x86_microsoft.windows.common-controls_6595b64144ccf1df_6.0.7601.17514_none_41e6975e2bd6f2b2\COMCTL32.dll
LoadedModule[31]=C:\Windows\system32\comdlg32.dll
LoadedModule[32]=C:\Windows\system32\ole32.dll
LoadedModule[33]=C:\Windows\system32\OLEAUT32.dll
LoadedModule[34]=C:\Windows\WinSxS\x86_microsoft.vc80.crt_1fc8b3b9a1e18e3b_8.0.50727.6195_none_d09154e044272b9a\MSVCR80.dll
LoadedModule[35]=C:\Windows\system32\IMM32.DLL
LoadedModule[36]=C:\Windows\system32\MSCTF.dll
LoadedModule[37]=C:\Windows\system32\CRYPTBASE.dll
LoadedModule[38]=C:\Windows\system32\uxtheme.dll
LoadedModule[39]=C:\Windows\system32\CLBCatQ.DLL
LoadedModule[40]=C:\Windows\system32\dwmapi.dll
LoadedModule[41]=C:\Windows\system32\SspiCli.dll
LoadedModule[42]=C:\Windows\system32\CRYPTSP.dll
LoadedModule[43]=C:\Windows\system32\rsaenh.dll
LoadedModule[44]=C:\Windows\system32\RpcRtRemote.dll
LoadedModule[45]=C:\Windows\system32\NLAapi.dll
LoadedModule[46]=C:\Windows\system32\napinsp.dll
LoadedModule[47]=C:\Windows\system32\pnrpnsp.dll
LoadedModule[48]=C:\Windows\System32\mswsock.dll
LoadedModule[49]=C:\Windows\system32\DNSAPI.dll
LoadedModule[50]=C:\Windows\System32\winrnr.dll
LoadedModule[51]=C:\Windows\system32\IPHLPAPI.DLL
LoadedModule[52]=C:\Windows\system32\WINNSI.DLL
LoadedModule[53]=C:\Windows\System32\fwpuclnt.dll
LoadedModule[54]=C:\Windows\system32\rasadhlp.dll
LoadedModule[55]=C:\Windows\System32\wshtcpip.dll
LoadedModule[56]=C:\Program Files\Common Files\microsoft shared\ink\tiptsf.dll
LoadedModule[57]=C:\Windows\system32\explorerframe.dll
LoadedModule[58]=C:\Windows\system32\DUser.dll
LoadedModule[59]=C:\Windows\system32\DUI70.dll
LoadedModule[60]=C:\Windows\system32\WindowsCodecs.dll
LoadedModule[61]=C:\Windows\system32\apphelp.dll
LoadedModule[62]=C:\Windows\system32\EhStorShell.dll
LoadedModule[63]=C:\Windows\system32\SETUPAPI.dll
LoadedModule[64]=C:\Windows\system32\CFGMGR32.dll
LoadedModule[65]=C:\Windows\system32\DEVOBJ.dll
LoadedModule[66]=C:\Windows\system32\PROPSYS.dll
LoadedModule[67]=C:\PROGRA~1\MICROS~2\Office14\GROOVEEX.DLL
LoadedModule[68]=C:\Windows\WinSxS\x86_microsoft.vc90.crt_1fc8b3b9a1e18e3b_9.0.30729.6161_none_50934f2ebcb7eb57\MSVCR90.dll
LoadedModule[69]=C:\Windows\WinSxS\x86_microsoft.vc90.crt_1fc8b3b9a1e18e3b_9.0.30729.6161_none_50934f2ebcb7eb57\MSVCP90.dll
LoadedModule[70]=C:\Windows\WinSxS\x86_microsoft.vc90.atl_1fc8b3b9a1e18e3b_9.0.30729.6161_none_51cd0a7abbe4e19b\ATL90.DLL
LoadedModule[71]=C:\PROGRA~1\COMMON~1\MICROS~1\OFFICE14\Cultures\office.odf
LoadedModule[72]=C:\PROGRA~1\MICROS~2\Office14\1031\GrooveIntlResource.dll
LoadedModule[73]=C:\Windows\System32\cscui.dll
LoadedModule[74]=C:\Windows\System32\CSCDLL.dll
LoadedModule[75]=C:\Windows\system32\CSCAPI.dll
LoadedModule[76]=C:\Windows\system32\ntshrui.dll
LoadedModule[77]=C:\Windows\system32\srvcli.dll
LoadedModule[78]=C:\Windows\system32\slc.dll
LoadedModule[79]=C:\Windows\system32\msls31.dll
LoadedModule[80]=C:\Windows\system32\profapi.dll
LoadedModule[81]=C:\Windows\system32\xmllite.dll
LoadedModule[82]=C:\Windows\system32\MPR.dll
LoadedModule[83]=C:\Windows\System32\drprov.dll
LoadedModule[84]=C:\Windows\System32\WINSTA.dll
LoadedModule[85]=C:\Windows\System32\ntlanman.dll
LoadedModule[86]=C:\Windows\System32\davclnt.dll
LoadedModule[87]=C:\Windows\System32\DAVHLPR.dll
LoadedModule[88]=C:\Windows\system32\wkscli.dll
LoadedModule[89]=C:\Windows\system32\netutils.dll
LoadedModule[90]=C:\Windows\System32\StructuredQuery.dll
LoadedModule[91]=C:\Windows\System32\Secur32.dll
LoadedModule[92]=C:\Windows\system32\actxprxy.dll
LoadedModule[93]=C:\Program Files\Internet Explorer\ieproxy.dll
LoadedModule[94]=C:\Windows\system32\thumbcache.dll
LoadedModule[95]=C:\Windows\system32\PSAPI.DLL
LoadedModule[96]=C:\Windows\system32\SearchFolder.dll
LoadedModule[97]=C:\Windows\system32\SHDOCVW.dll
LoadedModule[98]=C:\Windows\system32\ieframe.DLL
LoadedModule[99]=C:\Windows\system32\OLEACC.dll
LoadedModule[100]=C:\Windows\system32\iertutil.dll
LoadedModule[101]=C:\Windows\system32\ntmarta.dll
LoadedModule[102]=C:\Windows\system32\NetworkExplorer.dll
LoadedModule[103]=C:\Windows\system32\WINMM.dll
LoadedModule[104]=C:\Windows\system32\PortableDeviceApi.dll
LoadedModule[105]=C:\Windows\system32\LINKINFO.dll
LoadedModule[106]=C:\Windows\system32\NetworkItemFactory.dll
LoadedModule[107]=C:\Windows\system32\dtsh.dll
LoadedModule[108]=C:\Windows\system32\FirewallAPI.dll
LoadedModule[109]=C:\Windows\system32\VERSION.dll
LoadedModule[110]=C:\Windows\system32\WINTRUST.dll
LoadedModule[111]=C:\Windows\system32\CRYPT32.dll
LoadedModule[112]=C:\Windows\system32\MSASN1.dll
LoadedModule[113]=C:\Windows\system32\EhStorAPI.dll
LoadedModule[114]=C:\Windows\system32\dsrole.dll
LoadedModule[115]=C:\Windows\System32\cscobj.dll
LoadedModule[116]=C:\Windows\System32\USERENV.dll
LoadedModule[117]=C:\Windows\System32\npmproxy.dll
LoadedModule[118]=C:\Windows\system32\FunDisc.dll
LoadedModule[119]=C:\Windows\system32\ATL.DLL
LoadedModule[120]=C:\Windows\System32\msxml6.dll
LoadedModule[121]=C:\Windows\system32\fdproxy.dll
LoadedModule[122]=C:\Windows\System32\fdwcn.dll
LoadedModule[123]=C:\Windows\System32\wcnapi.dll
LoadedModule[124]=C:\Windows\system32\fdWNet.dll
LoadedModule[125]=C:\Windows\system32\dfscli.dll
LoadedModule[126]=C:\Windows\system32\browcli.dll
LoadedModule[127]=C:\Windows\System32\wship6.dll
LoadedModule[128]=C:\Windows\system32\dhcpcsvc6.DLL
LoadedModule[129]=C:\Windows\system32\dhcpcsvc.DLL
FriendlyEventName=Nicht mehr funktionsfähig
ConsentKey=APPCRASH
AppName=pgAdmin III - PostgreSQL Tools
AppPath=C:\Program Files\PostgreSQL\8.2\bin\pgAdmin3.exe
Gruß

Andreas
andreas
Neuer Benutzer
 
Beiträge: 27
Registriert: Di 5. Okt 2010, 09:40
Wohnort: Osnabrück


Zurück zu Allgemeines

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste

cron