autoua
×
Autoua.netФорумІнформатика та побутова електроніка

Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb)

gbr
подмастерье
Сообщения: 53
С нами с 18.06.2019

Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb)
      26 апреля 2020 в 19:05 Гілками

Всем привет.

Необходимо найти, реализовать и показать метод конвертации файла XML в XLS. Главная сложность - исходный файл XML имеет размер от 1,5 до 5 Gb. Пробовал через разные проги и на разных конфигурациях, Corei7+8Gb+SSD - не справляется, виснет прога, ексель справляется с меньшими объемамм, 500 Мб открывает на ура, а вот от 1,5 гига никак. Может не туда копаю? Или в исходном файле трабл, потому что иногда при попытке открыть выдает ошибку в какой то строке. Но в основном все проги пишут - ТУ МАЧ САЙЗ.
В случае, если найденный метод будет невозможно воспроизвести на моем ресурсе (слабое железо) - потребуются регулярные (1-2 раза в неделю) услуги (оплачиваемые) по такой операции.

Заранее благодарю.
связь лучше через вайбер/телеграм +38О66ОЗЗ семь семь семь один.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
приверженец ****
39 лет, Киев
Сообщения: 457
С нами с 29.09.2007

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: gbr]
      27 апреля 2020 в 12:16 Гілками

Попробуй Dataiku. Работает на линуксе и маке. Доступна бесплатная версия с ограничением пользователей до 3 человек.
На хабре как раз недавно показывали как сконвертировать сжатый XML 5gb в csv.
Статья: Умирает ли RuTracker? Анализируем раздачи


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Достоевский ***
27 лет за рулем, Ukraine
Сообщения: 8081
С нами с 30.07.2005

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: gbr]
      27 апреля 2020 в 13:06 Гілками

Могу написать такой конвертер для слабого железа, главное чтобы хотя-бы Windows 7 и .NET Framework присутствовали. Эксель на компе не обязателен. Но меньше чем за $100 не возьмусь.
Если подходит, то пример XML и результата в XLSX нужен. Не всякий XML можно представить в виде двухмерной таблицы.
Ну и кол-во строк в Экселе тоже ограничено (чуть больше 1 млн)

Змінено codex (13:08 27/04/2020)


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
СуперСтар **
Киев
Сообщения: 5012
С нами с 23.02.2011

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: gbr]
      27 апреля 2020 в 18:16 Гілками

Ограничение Excel 1048576 строк, если в xml больше - придется делать кучу excel файлов. Реализовать конвертацию можно на любом железе, но вот чтоб работать с excel-евскими файлами такого объёма, компьютер нужен очень приличный, и всё равно тормоза гарантированы. Возможно, выбор Excel в качестве конечного результата ошибочен )

Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Достоевский **
47 лет (27 лет за рулем), Киев
Сообщения: 7160
С нами с 29.08.2001

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: gbr]
      27 апреля 2020 в 19:48 Гілками

Прошу пробачення, але що з таким файлом Excel далі робити? Може якусь легку локальну СУБД застосувати?

Як виглядає один вузол xml, що треба зконвертувати в рядок xlsx?


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P ***
52 года (24 года за рулем), Riga-Київ-Гурзуф
Сообщения: 14647
С нами с 24.07.2005

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: Tarasoff]
      28 апреля 2020 в 09:17 Гілками

Не обов'язково робити купу файлів, можна в одному файлі зробити купу аркушів.
Як варіант запхати все до PivotTable, я навіть в Excel 2003 таким чином в таблицю вставляв по пару мільйонів записів.

Але світ змінився, в Excel 2013 (у 2010-му у вигляді додаткової надбудови) та більш нових є Power Pivot, який призначено саме для роботи з великими масивами даних, сам від цього давно відійшов, але колега (абсолютно не ІТ) з цим розібралася самотужки і ганяє там свої десятки гігабайт.

P.S.
Власне для звернення до XML варто використовувати Power Query.
https://habr.com/ru/post/271019/


Змінено Daugava (09:21 28/04/2020)


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
gbr
подмастерье
Сообщения: 53
С нами с 18.06.2019

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: gbr]
      28 апреля 2020 в 13:04 Гілками

Всем привет, и всем спасибо за ответы.

1. Dataiku - попробую.
2. Могу написать такой конвертер для слабого железа 100$ - подумаю.
3. Прошу пробачення, але що з таким файлом Excel далі робити? - анализировать, брать данные, строить графики и т.п. Файл обновляется, и при обновлении появляются нове записи, а старые могут менять статус.
4. Власне для звернення до XML варто використовувати Power Query. - попробую

На данном этапе сеть промежуточное решение. Но ваши тоже проверю.

Еще раз спасибо. Всем здоровья..


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
gbr
подмастерье
Сообщения: 53
С нами с 18.06.2019

Re: Нид хелп. Конвертация XML to XLS (файл от 1Gb до 5Gb) [Re: gbr]
      29 апреля 2020 в 15:00 Гілками

Уточнение, не по конвертации но в целом по этой теме.

При попытке скачать архив 1,5 гига периодически обрывается закачка. Не смотря на поддержку докачки (качаю разными прогами) - часть данных теряется, как следствие - ошибка хеша и отказ распаковывать архив.

Вопрос.
Архив для закачки не под паролем, открытые данные.
Возможно есть способ сохранить его себе иначе чем через загрузку из браузера, например через ftp? Или поставить закачку на ночь на малой скорости (а вдруг поможет)?

... буду признателен за совет.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Autoua.netФорумІнформатика та побутова електроніка
Додаткова інформація
1 користувачів і 6 що побажали залишитися невідомими читають цей форум.

Модератор:  AlMat, Yorc, moderator 

Роздрукувати всю тему

Права
      Ви не можете створювати нові теми
      Ви не можете відповідати на повідомлення
      HTML дозволений
      UBBCode дозволений

Рейтинг:
Переглядів теми: 803

Оціните цю тему

Перейти в

Правила конференції | Календар | FAQ | Карта розділу | Мобільна версія