| chat.freenode.net #tryton.de log beginning Tue Sep 22 00:00:02 CEST 2009 | ||
| 2009-09-22 05:19 -!- yangoon(n=mathiasb@p549F34C7.dip.t-dialin.net) has joined #tryton.de | ||
| 2009-09-22 07:54 -!- MarkusB(n=burli@dslb-088-068-141-244.pools.arcor-ip.net) has joined #tryton.de | ||
| 2009-09-22 08:29 -!- Timitos(n=timitos@88.217.184.172) has joined #tryton.de | ||
| 2009-09-22 08:36 -!- paepke(n=paepke@mail.metaldyne-nue.de) has joined #tryton.de | ||
| 2009-09-22 09:10 -!- essich(n=essich@p4FCF9D6A.dip0.t-ipconnect.de) has joined #tryton.de | ||
| 2009-09-22 10:19 -!- yangoon1(n=mathiasb@p549F6AE5.dip.t-dialin.net) has joined #tryton.de | ||
| 2009-09-22 10:38 -!- paepke(n=paepke@mail.metaldyne.de) has joined #tryton.de | ||
| 2009-09-22 18:36 <paepke> yangoon1: darf ich mal dieses party_bank_de-xml in frage stellen? ich find das ein wenig sub-optimal. so wie ich die diskussion bei google groups gelesen habe sind die anderen optionen, die cedk vorgeschlagen hat ein wenig komplizierter. | ||
| 2009-09-22 18:36 <paepke> yangoon1: mit ein wenig tuning am postgres hab ichs den import auf 6.30 runterbekommen, trotzdem find ich das recht heftig. | ||
| 2009-09-22 18:37 <yangoon1> paepke: das eine hat ja mit dem anderen nichts zu tun | ||
| 2009-09-22 18:38 <yangoon1> paepke: ich bin noch nicht dazugekommen, das zu testen, aber wenn man die indexes auf der tabelle vorher löschen würde, könnte das ein ziemlicher gewinn für das import tempo sein | ||
| 2009-09-22 18:38 <paepke> yangoon1: die hauptlast ist im python programm, ja. und da find ich ich die xml-verarbeitung recht langsam. ein csv oder ähnliches wäre praktikabler. | ||
| 2009-09-22 18:39 <yangoon1> paepke: das ändert aber nichts daran, dass xml für (semi)statische daten the way to go ist | ||
| 2009-09-22 18:39 <paepke> yangoon1: ja, index löschen und hinterher erstellen wäre ne möglichkeit. aber es braucht die abarbeitung im python die längste zeit | ||
| 2009-09-22 18:39 <yangoon1> paepke: sicher? nicht die postgres? | ||
| 2009-09-22 18:40 <paepke> yangoon1: csv serverbasiert sollte auch noch ne möglichkeit sein. gerade der import von grossen datenmengen kann mit nem COPY statement sehr gut erfolgen | ||
| 2009-09-22 18:41 <yangoon1> paepke: es geht weniger darum, wie ich die daten schnellstmöglich in die postgres geschaufelt bekomme, als darum wie tryton sie nachher behandelt | ||
| 2009-09-22 18:42 <paepke> yangoon1: ja, ich bin mir sehr sicher. wenn ich die query-zeiten anschaue liege ich bei nem statement bei 0.1 ms - 0.2 ms. da brauchts ca 5 selects für einen import. und das mal 60000 datensätzen ergäbe 60 sekunden, oder? | ||
| 2009-09-22 18:42 <yangoon1> paepke: ein einfacher import reicht nicht, du musst auch an das update denken | ||
| 2009-09-22 18:43 <paepke> yangoon1: ja, das versteh ich auch. ich hab mich durch das ein wenig durchgewurschtelt weil ich dieses modul ein wenig zum benchmarken nehme. | ||
| 2009-09-22 18:43 <paepke> ich bin allerdings noch nicht so weit gekommen den python code anzuschauen. bisher sind mir nur die selects aufgefallen. und das die im vergleich wenig zeit brauchen | ||
| 2009-09-22 18:45 <yangoon1> paepke: a propos deine gemessenen select zeiten: das liegt u.U. der Hund begraben, es sind nich tdie selects, sondern es ist die index erstellung auf der postgres | ||
| 2009-09-22 18:45 <paepke> yangoon1: das soll keine kritik an dir sein. ich frage mich nur obs mit einem netrpc-import script aus ner csv vielleicht schneller geht | ||
| 2009-09-22 18:45 <yangoon1> paepke: wie gesagt, lies den thread nochmal durch | ||
| 2009-09-22 18:46 <paepke> yangoon1: ich schaus mir nachher nochmal an. | ||
| 2009-09-22 18:46 <yangoon1> paepke: und dann schau dir an, was tryton dir sagt, wenn du einen per xml importierten datensatz ändern willst: er gehört zur systemkonfiguration | ||
| 2009-09-22 18:46 <yangoon1> paepke: und genau das ist in diesem fall gewollt | ||
| 2009-09-22 18:49 <paepke> yangoon1: brb | ||
| 2009-09-22 18:50 -!- yangoon(n=mathiasb@p549F6AE5.dip.t-dialin.net) has joined #tryton.de | ||
| 2009-09-22 19:43 -!- paepke(n=paepke@R8d4e.r.pppool.de) has joined #tryton.de | ||
| 2009-09-22 22:31 -!- MarkusB(n=burli@dslb-088-068-141-244.pools.arcor-ip.net) has joined #tryton.de |
Generated by irclog2html.py 2.17.3 by Marius Gedminas - find it at https://mg.pov.lt/irclog2html/!