IRC logs of #tryton.de for Tuesday, 2009-09-22

chat.freenode.net #tryton.de log beginning Tue Sep 22 00:00:02 CEST 2009
-!- yangoon(n=mathiasb@p549F34C7.dip.t-dialin.net) has joined #tryton.de05:19
-!- MarkusB(n=burli@dslb-088-068-141-244.pools.arcor-ip.net) has joined #tryton.de07:54
-!- Timitos(n=timitos@88.217.184.172) has joined #tryton.de08:29
-!- paepke(n=paepke@mail.metaldyne-nue.de) has joined #tryton.de08:36
-!- essich(n=essich@p4FCF9D6A.dip0.t-ipconnect.de) has joined #tryton.de09:10
-!- yangoon1(n=mathiasb@p549F6AE5.dip.t-dialin.net) has joined #tryton.de10:19
-!- paepke(n=paepke@mail.metaldyne.de) has joined #tryton.de10:38
paepkeyangoon1: darf ich mal dieses party_bank_de-xml in frage stellen? ich find das ein wenig sub-optimal. so wie ich die diskussion bei google groups gelesen habe sind die anderen optionen, die cedk vorgeschlagen hat ein wenig komplizierter.18:36
paepkeyangoon1: mit ein wenig tuning am postgres hab ichs den import auf 6.30 runterbekommen, trotzdem find ich das recht heftig.18:36
yangoon1paepke: das eine hat ja mit dem anderen nichts zu tun18:37
yangoon1paepke: ich bin noch nicht dazugekommen, das zu testen, aber wenn man die indexes auf der tabelle vorher löschen würde, könnte das ein ziemlicher gewinn für das import tempo sein18:38
paepkeyangoon1: die hauptlast ist im python programm, ja. und da find ich ich die xml-verarbeitung recht langsam. ein csv oder ähnliches wäre praktikabler.18:38
yangoon1paepke: das ändert aber nichts daran, dass xml für (semi)statische daten the way to go ist18:39
paepkeyangoon1: ja, index löschen und hinterher erstellen wäre ne möglichkeit. aber es braucht die abarbeitung im python die längste zeit18:39
yangoon1paepke: sicher? nicht die postgres?18:39
paepkeyangoon1: csv serverbasiert sollte auch noch ne möglichkeit sein. gerade der import von grossen datenmengen kann mit nem COPY statement sehr gut erfolgen18:40
yangoon1paepke: es geht weniger darum, wie ich die daten schnellstmöglich in die postgres geschaufelt bekomme, als darum wie tryton sie nachher behandelt18:41
paepkeyangoon1: ja, ich bin mir sehr sicher. wenn ich die query-zeiten anschaue liege ich bei nem statement bei 0.1 ms - 0.2 ms. da brauchts ca 5 selects für einen import. und das mal 60000 datensätzen ergäbe 60 sekunden, oder?18:42
yangoon1paepke: ein einfacher import reicht nicht, du musst auch an das update denken18:42
paepkeyangoon1: ja, das versteh ich auch. ich hab mich durch das ein wenig durchgewurschtelt weil ich dieses modul ein wenig zum benchmarken nehme.18:43
paepkeich bin allerdings noch nicht so weit gekommen den python code anzuschauen. bisher sind mir nur die selects aufgefallen. und das die im vergleich wenig zeit brauchen18:43
yangoon1paepke: a propos deine gemessenen select zeiten: das liegt u.U. der Hund begraben, es sind nich tdie selects, sondern es ist die index erstellung auf der postgres18:45
paepkeyangoon1: das soll keine kritik an dir sein. ich frage mich nur obs mit einem netrpc-import script aus ner csv vielleicht schneller geht18:45
yangoon1paepke: wie gesagt, lies den thread nochmal durch18:45
paepkeyangoon1: ich schaus mir nachher nochmal an.18:46
yangoon1paepke: und dann schau dir an, was tryton dir sagt, wenn du einen per xml importierten datensatz ändern willst: er gehört zur systemkonfiguration18:46
yangoon1paepke: und genau das ist in diesem fall gewollt18:46
paepkeyangoon1: brb18:49
-!- yangoon(n=mathiasb@p549F6AE5.dip.t-dialin.net) has joined #tryton.de18:50
-!- paepke(n=paepke@R8d4e.r.pppool.de) has joined #tryton.de19:43
-!- MarkusB(n=burli@dslb-088-068-141-244.pools.arcor-ip.net) has joined #tryton.de22:31

Generated by irclog2html.py 2.11.0 by Marius Gedminas - find it at mg.pov.lt!