BG Development


  Reply to this topicStart new topicStart Poll

> Python: fast loading and querying of data
hWnd
Публикувано на: 24-05-2019, 15:51
Quote Post


Group Icon
Име: Г.
Група: VIP
Ранг: Почетен член

Мнения: 1320
Регистриран на: 10.04.04



Здравейте,

Правя един анализ на данни и се сблъсквам с проблем как да обработя доста голямо количество данни лесно с Python. Става въпрос за около 8.5 милиона реда и 15тина колони.

Тук съм обяснил подробно и с код:
https://stackoverflow.com/questions/5629386...-data-in-python

Помислих, че някой тук ще има идея?

Поздрави,
Георги


--------------------
"Programs must be written for people to read, and only incidentally for machines to execute."

-- Abelson & Sussman, SICP
PMEmail Poster
Top
ici
Публикувано на: 24-05-2019, 17:17
Quote Post


Group Icon
Име: Ивайло Илчев ики
Група: VIP
Ранг: Почетен член

Мнения: 16323
Регистриран на: 06.06.04



Използвай SQLite в паметта (":memory:"), ако данните ти се побират. Иначе numpy ама трябва да ти видя данните и какво искаш от тях, а сега трябва да излизам.


--------------------
Reading undefined locations provides undefined data.
PMEmail PosterUsers Website
Top
purjola
Публикувано на: 25-05-2019, 14:34
Quote Post



Име:
Група: Потребител
Ранг: Почетен член

Мнения: 2366
Регистриран на: 18.10.11



И на мен ми стана интересно. Базата данни затворена ли е или постоянно се добавят записи? Сортирана ли е по някоя от колоните?
PMEmail Poster
Top
hWnd
Публикувано на: 26-05-2019, 14:49
Quote Post


Group Icon
Име: Г.
Група: VIP
Ранг: Почетен член

Мнения: 1320
Регистриран на: 10.04.04



Решението беше да запиша данните като речник {isin -> dataframe}. Много по-ефективно е да се вземат директно данните за продукт от речника вместо да се търси в голям dataframe.


--------------------
"Programs must be written for people to read, and only incidentally for machines to execute."

-- Abelson & Sussman, SICP
PMEmail Poster
Top
dedal
Публикувано на: 04-06-2019, 17:54
Quote Post



Име: Григор Колев
Група: Потребител
Ранг: Посетител

Мнения: 104
Регистриран на: 17.11.10



QUOTE (hWnd @ 24-05-2019, 15:51)
Здравейте,

Правя един анализ на данни и се сблъсквам с проблем как да обработя доста голямо количество данни лесно с Python. Става въпрос за около 8.5 милиона реда и 15тина колони.

Тук съм обяснил подробно и с код:
https://stackoverflow.com/questions/5629386...-data-in-python

Помислих, че някой тук ще има идея?

Поздрави,
Георги

Пробвай да ги вдигнеш в memorycache
При мен работи доста бързо.
PMEmail Poster
Top
1 потребители преглеждат тази тема в момента (1 гости, 0 анонимни потребители)
Потребители, преглеждащи темата в момента:

Topic Options Reply to this topicStart new topicStart Poll

 


Copyright © 2003-2019 | BG Development | All Rights Reserved
RSS 2.0