BG Development


Страници: (2) [1] 2   ( Първото ново мнение ) Reply to this topicStart new topicStart Poll

> Четене на голям XML файл, 57GB
therockbg
  Публикувано на: 17-06-2015, 13:31
Quote Post



Име: Димитър Колев
Група: Потребител
Ранг: Старо куче

Мнения: 841
Регистриран на: 11.07.05



Здравейте icon_smile.gif Отдавна не съм влизал в този форум. От няколко дни се опитвам да се справя с един невъобразимо голям фаил.
Имам xml фаил който е голям почти 57 гигабайта
Опитвам се да го вкарам в база данни с access 2013 естествено целия аксес блокира като се опитам да го отворя ... реших да пробвам по старата процедура със VB и да отворя фаилът за четене, като чета само около ... 10000 символа и например да го запазя като друг фаил, който да импортирам в аксес и така докато прочета целия фаил и го импортирам.
До тук добре ... прочетохме 10к символа без да крашнем, сложих завършващите тагове на xml-a, но аксес ми реве, че нещо не е наред със таговете ... та после се зачудих да не правя аз нещо грешно и реших да се опитам да видя колко байта е файлът и да отведа курсора в края и да взема последните еди-колко си символа за да затвори всички тагове автоматично. - да но нещо функцията не ме праща в края на файла .. и сега съм в една чуденка .. има ли начин да го отворя .. някой правел ли е подоба операция с огромни файлове ... ако някой може да помогне по някакъв начин .. icon_smile.gif

Също съм съгласен да експериментирам и с друг софтуер .. не е задължително да е аксес ... може и на mysql или някакъв друг вид база данни ... само да стане работата .. icon_smile.gif


--------------------
PMEmail PosterMSN
Top
Bender
Публикувано на: 17-06-2015, 13:35
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 4993
Регистриран на: 19.06.14



1. Товит свърши славословието.
2. Той беше на осемдесет и осем години, когато изгуби зрението, и след осем години прогледа. И правеше милостиня и продължаваше да благоговее пред Господа Бога и да Го прославя.
3. Най-сетне, той остаря твърде много и повика сина си и шестте му сина и му рече: сине, вземи синовете си; ето аз остарях и вече съм при края на живота си.
4. Иди в Мидия, сине, защото съм уверен, че Ниневия ще бъде разорена, както говори пророк Иона; а в Мидия ще бъде по-спокойно до някое време. Нашите братя, които се намират в прадедската земя, ще бъдат пръснати вън от тая добра земя; Иерусалим ще стане пустиня, и домът Божий в него ще бъде изгорен и до някое време ще остане пуст.
5. Но Бог пак ще ги помилува и ще ги върне в земята; и те ще издигнат дом Божий, - не такъв като предишния, - докле се изпълни времето на вековете. И след това ще се върнат от плен и ще построят Иерусалим великолепно, и домът Божий ще бъде обновен в него за всички родове на вековете, - сграда величествена, както говориха за него пророците.
6. И всички народи ще се обърнат и истински ще благоговеят пред Господа Бога и ще съборят идолите си;
7. и всички народи ще благославят Господа. И Неговият народ ще прославя Бога, и Господ ще въздигне Своя народ; и всички, които истински и праведно обичат Господа Бога, ще се радват, като правят милост на нашите братя.
8. И тъй, сине, излез из Ниневия, защото бездруго ще се изпълни това, което говори пророк Иона.
9. Но ти пази закона и заповедите и бъди милостив и справедлив, за да ти бъде добре.
10. Погреби ме прилично, и майка си с мене, и после не оставайте в Ниневия. Сине, гледай, какво направи Аман с Ахиахара, който го възпита: как той от светлина го въведе в тъмнина, и как му биде отвърнато. Ахиахар биде спасен, а оня получи достойна награда - слезе в тъмнина. Манасия прави милостиня, и биде спасен от смъртната мрежа, която му бяха поставили; Аман пък падна в мрежата и загина.
11. И тъй, деца, знайте, какво милостиня върши и как справедливост спасява. - Като каза това, душата му го напусна в леглото; той беше на сто петдесет и осем години, и син му го погреба с чест.
12. Когато умря Ана, той погреба и нея заедно с баща си. След това Товия с жена си и децата си отиде в Екбатана при тъста си Рагуила,
13. и достигна честна старост, и погреба прилично тъста и тъща си и наследи имота им и имота на баща си Товита,
14. и умря на сто двайсет и седем години в Екбатана Мидийска.
15. Но преди да умре, той чу за гибелта на Ниневия, която плени Навуходоносор и Асуир, и пред смъртта си се възрадва поради Ниневия.



Това мнение е било редактирано от Bender на 07-01-2018, 19:52
PM
Top
therockbg
Публикувано на: 17-06-2015, 13:37
Quote Post



Име: Димитър Колев
Група: Потребител
Ранг: Старо куче

Мнения: 841
Регистриран на: 11.07.05



Току що намерих грешката ... оказа се, че функцията която използвам не може да изведе толкова голямо число .. всичко се оправи и аксес дори прие малките файлове ...
Bender благодаря за бързия отговор icon_smile.gif


--------------------
PMEmail PosterMSN
Top
bvbfan
Публикувано на: 17-06-2015, 13:40
Quote Post



Име:
Група: Потребител
Ранг: Почетен член

Мнения: 2788
Регистриран на: 08.12.13



Защо ползваш ВБ? Ползвай Линукс и с 5Т файлове няма да имаш проблеми icon_smile.gif
CODE
cat file5T | tail -n 0 | head -n 1000
готов си 1000 реда (0-1000).

Това мнение е било редактирано от bvbfan на 17-06-2015, 13:42


--------------------
QUOTE (Bender @ 23-04-2015, 19:11)
Xamarin: ЛАПАЙ!
Ти: Добре...
PMEmail Poster
Top
ivan84
Публикувано на: 17-06-2015, 13:41
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 8170
Регистриран на: 01.04.11



57Г ще трябва да се адресират от 64 битова машина. Та почни от тук.

След това, ще трябва да анализираш файлът. Дали е възможно да го парсваш коректно с прост парсер (да следиш ръчно отварящите и затварящите тагове). Ако може, го парсваш и обработваш таг по таг. Ако не може, трябва първо да го разбиеш на няколко по-малки файла и после да ги обработиш.

Защо реши да го тъпчеш това в аксес изобщо?
PMEmail Poster
Top
Bender
Публикувано на: 17-06-2015, 13:45
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 4993
Регистриран на: 19.06.14



1. Кога има разпра между човеци, нека ги доведат в съда и да ги отсъдят: правия да оправдаят, а виновния да осъдят;
2. и ако виновният заслужава бой, съдията да заповяда да го прострат и да му сложат пред него според вината му няколко броени удара.
3. Може да му се сложат четирийсет удара, но не повече, да не би твоят брат от много удари да бъде обезобразен пред очите ти.
4. Не вързвай устата на вол, кога вършее.
5. Кога братя живеят наедно, и един от тях умре без син, жената на умрелия не бива да се омъжи за външен човек, но девер й трябва да влезе при нея, да я вземе за жена и да живее с нея, -
6. и първородният, когото тя роди, да носи името на умрелия брат, за да се не затрие името му в Израиля.
7. Ако пък той не поиска да вземе снаха си, снаха му да отиде при портите пред стареите и да каже: "девер ми не иска да въздигне името на брата си в Израиля, не ще да се ожени за мене";
8. тогава стареите на града му да го повикат и да го придумват, и ако той стане и каже: "не искам да я взема",
9. нека снаха му дойде при него пред очите на стареите, да събуе обувката от ногата му, да го заплюе в лицето и каже: "тъй се постъпва с човек, който не съзижда дома на брата си (в Израиля)";
10. и ще му извадят име в Израиля: дом на събутия.
11. Кога се бият помежду си мъже, и жената на едного (от тях) се приближи да отърве мъжа си от оногова, който го бие, и, като простре ръката си, улови го за срамотите,
12. отсечи й ръката: да (я) не пожали окото ти.
13. В торбата си не бива да имаш двояки теглилки, тежки и леки;
14. в къщата си да нямаш двояка ефа, голяма и малка;
15. теглилки да имаш точни и верни, и ефа да имаш точна и вярна, за да ти се продължат дните на земята, която Господ, Бог твой, ти дава (за дял);
16. понеже гнусен е пред Господа, твоя Бог, всеки, който върши неправда.
17. Помни, как постъпи с тебе Амалик по пътя, когато бяхте излезли от Египет;
18. как той те посрещна по пътя и погуби всички запрели подире ти от умора, когато ти беше уморен и изнемощял, и той се не побоя от Бога.
19. И тъй, кога Господ, Бог твой, те успокои от всички твои врагове отвред на земята, която Господ, Бог твой, ти дава за дял да я завладееш, затрий спомена за Амалика под небето; да не забравяш.



Това мнение е било редактирано от Bender на 07-01-2018, 19:52
PM
Top
therockbg
Публикувано на: 17-06-2015, 13:50
Quote Post



Име: Димитър Колев
Група: Потребител
Ранг: Старо куче

Мнения: 841
Регистриран на: 11.07.05



ами трябва да е в база данни според мен. Да подчертая, че не съм програмист, а просто инженер ..
Файлът съдържа информация за коли ... регистрационни номера, номера на рами, технически прегледи, марка и можел, двигател, гориво и т.н. има н1колко милипна автомобила в този файл, и всеки месец излиза нов (така, тива ще се прави всеки месец ..)
Работим почти изцяло на windows тук и затова не използвам линукс.
Идеята е да може да се търси по рег. номер, вид двигател, номер на рамата, вин, модел, марка или каквото и да било като информация, която се съдържа в документа..
Незнам доколко е надежден аксес за това нещо ... но репих да пробвам с него .. ако някой може да предложи по-добра алтернатива е добре дошъл .. само да може да поеме няколко милиона записи .. icon_smile.gif


--------------------
PMEmail PosterMSN
Top
metkobetko
Публикувано на: 17-06-2015, 14:19
Quote Post



Име:
Група: Потребител
Ранг: Активен

Мнения: 261
Регистриран на: 17.07.12



Имаш и друг подход тука с други инструменти доста по ефективно:

http://solr-vs-elasticsearch.com/
PMEmail Poster
Top
alphasoftwarebg
Публикувано на: 17-06-2015, 15:36
Quote Post



Име: Златин Георгиев
Група: Потребител
Ранг: Редовен член

Мнения: 523
Регистриран на: 23.12.12



.

Това мнение е било редактирано от alphasoftwarebg на 17-12-2015, 09:29


--------------------
zzz.bg - NoSQL ZZZ Base...
PMEmail PosterUsers Website
Top
ivan84
Публикувано на: 17-06-2015, 15:48
Quote Post



Име:
Група: Форумен член
Ранг: Почетен член

Мнения: 8170
Регистриран на: 01.04.11



Явно данните в записът са малко. Та няма да имаш проблем с последователно четене на ред, и вмъкването му в база данни.
НЕ ПОЛЗВАЙ АКСЕС, освен ако не си принуден по някаква причина. Избери си нормална база данни. Пък интерфейсът си го прави на каквото искаш.
PMEmail Poster
Top
0 потребители преглеждат тази тема в момента (0 гости, 0 анонимни потребители)
Потребители, преглеждащи темата в момента:

Topic Options Страници: (2) [1] 2  Reply to this topicStart new topicStart Poll

 


Copyright © 2003-2018 | BG Development | All Rights Reserved
RSS 2.0