csv import Apltraum

hallo,
ca. 50.000 Kunde per csv import, habt super geklappt.
ca. 50.000 Auftrag per csv import, habt super geklappt (bis jetzt).

COPY filmpos(x,jj, mm, m1, fn, ku, m2, ta, da, tb, r, pa,aaa,bbb,ccc)
FROM '/tmp/tbk2editor.csv' DELIMITER '	' CSV HEADER;

die Import Datei ist so aufgebau:
Die erste Splate ist zu 99,99 % leer.Die 2te Spalte geht vob jj:95 bis jj:16.

jj:95 TAB lbalblaTAB blablab u.s.w.
Es kommen ca. 500 mal ----> jj:95 …wie Zeile 1, aber mit verschiedene Inhalte.
Dann kommt:
jj:96 TAB lbalblaTAB blablab u.s.w.(auch ca.500)
gefolgt mit jj:97…jj:98…
nach ca. 200 mal jj:98 kommt einaml jj:01…Auftrag wie gehabt.
…gefolgt mit jj:98…jj:99…jj:00…jj:01…bis jj:16

Zu dem Problem:
Wenn ich was in jj:95 suche kommt alles wie gehabt. ABER mit der Suche jj:01 gibt mit postgres NUR ein Ergebnis ?!
Ab.jj:10 fehlen mir auch ein paar Aufträge, aber jj:01 ist halt auffällig, obwohl später noch jj:01 Aufträge kommen.
Beim Importen habe ich keinen Fehler erhalten, 33659 Eintrage sind in der Tabelle. Die csv Datei hat 47719 Zeilen.

ich denke mal dass der Beitrag nicht so verständlich war.

2ter Ansatz:

COPY filmpos(x,jj, mm, m1, fn, ku, m2, ta, da, tb, r, pa,aaa,bbb,ccc)
FROM '/tmp/tbk2editor.csv' DELIMITER '   ' CSV HEADER;

x ist eine fortlaufende Zahl, gefolgt von Daten, nach jedem Datenblock kommt immer ein /t.
Die csv hat 47000 Zeilen, postgres sagt aber dass er 33000 übernommen hat.
Mir wurde gesagt, dass ewtl Steuerzeichen (a mit einem kries) drin sind, die postgres Probleme macht.
Gibt es eine Liste mit Zeichen die genutzt werden dürfen und welche nicht?

Hallo Tomovic,

ich bin jetzt nicht so erfahren mit dem copy Befehl. Verwende ihn eher selten. Aber mich wundert es, sollte es keinen Fehler oder Warnungen ausgegeben werden.

  • Eventuell gibt es Probleme beim Zeichensatz.
  • Die 33.000 importierten Datensätze sehen in der Postgresql-Tabelle in Ordnung aus? In den richten Spalten gelandet usw.
  • Exportiere dir die Daten bspw. nur die laufende Nummer x. Das gleiche extrahierst du von der CSV. Und dann kannst du per diff herausfinden, welche Datensätze fehlen. Eventuell siehst du dann schon was nicht passt.

So zumindest würde ich in dieses Situation vorgehen.

thx

keine Fehlermeldung.Keine Warung.

UDF8 habe ich, denke ich mal.

Alle in der richtigen Spalte.

kann ich probieren.