BG Development


Страници: (2) 1 [2]   ( Първото ново мнение ) Reply to this topicStart new topicStart Poll

> Четене на голям XML файл, 57GB
dvader
Публикувано на: 17-06-2015, 21:14
Quote Post


Group Icon
Име:
Група: VIP
Ранг: Почетен член

Мнения: 4133
Регистриран на: 12.07.05



Подозирам, че и нормализация на данните ще трябва да се прави...
Иначе обемът не е проблем, има SAX парсери.


--------------------
I find your lack of faith disturbing
PM
Top
ivan84
Публикувано на: 18-06-2015, 07:47
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 8170
Регистриран на: 01.04.11



Мен нещо ме съмнява тая работа. Как ще се генерира всеки месец подобно количество данни (нови)? Най-вероятно става дума за някакви дъмпове на цялата база данни. Дори да приемем, че 50% от файлът е боклук (xml маркерите) пак има голям обем от данни, който трудно ще се генерира за месец.

Но както и да е. Струва ми се, че ще трябва да се търси денормализиране (ако са с такива обеми наистина) за да може да държи някакво прилично ниво на скорост, при работа с тях. Например, може да се денормализира по месеци или години (в отделни таблици) и да се работи с ограничен период, който само при нужда да се разширява.
В зависимост то естеството на задачата, може да се укаже че не е необходима релационна база данни (уж nosql базите данни дават по добри резултати при работа с информация вместо с данни).

Това мнение е било редактирано от ivan84 на 18-06-2015, 07:51
PMEmail Poster
Top
alphasoftwarebg
Публикувано на: 18-06-2015, 08:29
Quote Post



Име:
Група: Потребител
Ранг: Редовен член

Мнения: 543
Регистриран на: 23.12.12



.

Това мнение е било редактирано от alphasoftwarebg на 17-12-2015, 09:29


--------------------
zzz.bg - NoSQL ZZZ Base, ZZZ Server, ZZZ++
zzz.bg/zzzbase-micro - NoSQL ZZZ Base Micro
zzz.bg/zzzbase-mini - NoSQL ZZZ Base Mini
PMEmail PosterUsers Website
Top
ivan84
Публикувано на: 18-06-2015, 08:40
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 8170
Регистриран на: 01.04.11



Това е ясно. Всяка база данни предлага подобна функционалност (плюс индексирания и тям подобни оптимизации).

Идеята е, че релационната база данни борави с данни м/у които има изградени релации. Тези релации се ползват за да се свържат данните и да се получи информацията която иска потребителя. Например, статистически данни за това, колко форда с двулитров двигател са регистрирани в софия за периодът ....

При nosql базите данни се борави директно с информация (документи). При такава база данни е трудно да извлечеш информация която не е съхранена в нея (тъй като нямаш директен достъп до самите данни). Но пък достъпът до информацията която е съхранена става изключително бързо (тъй като не се налага тази информация да се генерира в момента на поискването). Та с такава база данни ще получиш много по-бързо информация за всички фордове с двулитров двигател регистрирани в софия за определен период, но трудно ще получиш статистика за това, какъв процент от тях са дизелови.

Това мнение е било редактирано от ivan84 на 18-06-2015, 08:40
PMEmail Poster
Top
alphasoftwarebg
Публикувано на: 18-06-2015, 08:57
Quote Post



Име:
Група: Потребител
Ранг: Редовен член

Мнения: 543
Регистриран на: 23.12.12



.

Това мнение е било редактирано от alphasoftwarebg на 17-12-2015, 09:30


--------------------
zzz.bg - NoSQL ZZZ Base, ZZZ Server, ZZZ++
zzz.bg/zzzbase-micro - NoSQL ZZZ Base Micro
zzz.bg/zzzbase-mini - NoSQL ZZZ Base Mini
PMEmail PosterUsers Website
Top
ivan84
Публикувано на: 18-06-2015, 09:14
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 8170
Регистриран на: 01.04.11



Е аз горе за подобни денормализации говорех. Но ако ще трябва да се работи директно с документите, и функциите ще са само за търсене по критерий ми се струва че документна база данни е идеалното решение.
Ама все пак, само с гадаене не става. Трябва ОП да се включи с инфо.
PMEmail Poster
Top
1 потребители преглеждат тази тема в момента (1 гости, 0 анонимни потребители)
Потребители, преглеждащи темата в момента:

Topic Options Страници: (2) 1 [2]  Reply to this topicStart new topicStart Poll

 


Copyright © 2003-2018 | BG Development | All Rights Reserved
RSS 2.0