Необходимо найти, реализовать и показать метод конвертации файла XML в XLS. Главная сложность - исходный файл XML имеет размер от 1,5 до 5 Gb. Пробовал через разные проги и на разных конфигурациях, Corei7+8Gb+SSD - не справляется, виснет прога, ексель справляется с меньшими объемамм, 500 Мб открывает на ура, а вот от 1,5 гига никак. Может не туда копаю? Или в исходном файле трабл, потому что иногда при попытке открыть выдает ошибку в какой то строке. Но в основном все проги пишут - ТУ МАЧ САЙЗ. В случае, если найденный метод будет невозможно воспроизвести на моем ресурсе (слабое железо) - потребуются регулярные (1-2 раза в неделю) услуги (оплачиваемые) по такой операции.
Заранее благодарю. связь лучше через вайбер/телеграм +38О66ОЗЗ семь семь семь один.
Попробуй Dataiku. Работает на линуксе и маке. Доступна бесплатная версия с ограничением пользователей до 3 человек. На хабре как раз недавно показывали как сконвертировать сжатый XML 5gb в csv. Статья: Умирает ли RuTracker? Анализируем раздачи
Могу написать такой конвертер для слабого железа, главное чтобы хотя-бы Windows 7 и .NET Framework присутствовали. Эксель на компе не обязателен. Но меньше чем за $100 не возьмусь. Если подходит, то пример XML и результата в XLSX нужен. Не всякий XML можно представить в виде двухмерной таблицы. Ну и кол-во строк в Экселе тоже ограничено (чуть больше 1 млн)
Ограничение Excel 1048576 строк, если в xml больше - придется делать кучу excel файлов. Реализовать конвертацию можно на любом железе, но вот чтоб работать с excel-евскими файлами такого объёма, компьютер нужен очень приличный, и всё равно тормоза гарантированы. Возможно, выбор Excel в качестве конечного результата ошибочен )
Не обов'язково робити купу файлів, можна в одному файлі зробити купу аркушів. Як варіант запхати все до PivotTable, я навіть в Excel 2003 таким чином в таблицю вставляв по пару мільйонів записів.
Але світ змінився, в Excel 2013 (у 2010-му у вигляді додаткової надбудови) та більш нових є Power Pivot, який призначено саме для роботи з великими масивами даних, сам від цього давно відійшов, але колега (абсолютно не ІТ) з цим розібралася самотужки і ганяє там свої десятки гігабайт.
1. Dataiku - попробую. 2. Могу написать такой конвертер для слабого железа 100$ - подумаю. 3. Прошу пробачення, але що з таким файлом Excel далі робити? - анализировать, брать данные, строить графики и т.п. Файл обновляется, и при обновлении появляются нове записи, а старые могут менять статус. 4. Власне для звернення до XML варто використовувати Power Query. - попробую
На данном этапе сеть промежуточное решение. Но ваши тоже проверю.
Уточнение, не по конвертации но в целом по этой теме.
При попытке скачать архив 1,5 гига периодически обрывается закачка. Не смотря на поддержку докачки (качаю разными прогами) - часть данных теряется, как следствие - ошибка хеша и отказ распаковывать архив.
Вопрос. Архив для закачки не под паролем, открытые данные. Возможно есть способ сохранить его себе иначе чем через загрузку из браузера, например через ftp? Или поставить закачку на ночь на малой скорости (а вдруг поможет)?