Парсинг ссылок из txt файла
Цитата: Рик Течкин от 18.11.2020, 22:11Доброго времени суток!
Увожаемые, имеется текстовый файл (изначально html) размером в 70мб. В файле сплошным порядком идут имена, цифры, скобки и прочие символы (старая переписка с одним гражданином скачаная через VKOpt). При этом там же имеется много ссылок вот такого формата:
https://pp.userapi.com/c625320/v625430666/433b/WX2odLlQ7p0.jpg (эту изменил, но они все подобного типа, меняются только цифры/буквы)При всем этом либо файл забагован, либо я чего то не понимаю, но он отказывается нормально открываться в Notepad++, VisualStudioCode, CLion, и вообще любых редакторах (перепробовал штук 10 разных). Если же он и открываеся, то при просмотре или изменении либо зависает либо же сразу крашится. Также перепробовал много разных программ по запросу link extractor в гугле, но они тоже отказываются работать.
Собственно вопрос: есть ли способ вычленить все ссылки подобного типа из файла и сохранить в отдельный txt?
Буду премного обязан, уже второй день мучаюсь.
Доброго времени суток!
Увожаемые, имеется текстовый файл (изначально html) размером в 70мб. В файле сплошным порядком идут имена, цифры, скобки и прочие символы (старая переписка с одним гражданином скачаная через VKOpt). При этом там же имеется много ссылок вот такого формата:
https://pp.userapi.com/c625320/v625430666/433b/WX2odLlQ7p0.jpg (эту изменил, но они все подобного типа, меняются только цифры/буквы)
При всем этом либо файл забагован, либо я чего то не понимаю, но он отказывается нормально открываться в Notepad++, VisualStudioCode, CLion, и вообще любых редакторах (перепробовал штук 10 разных). Если же он и открываеся, то при просмотре или изменении либо зависает либо же сразу крашится. Также перепробовал много разных программ по запросу link extractor в гугле, но они тоже отказываются работать.
Собственно вопрос: есть ли способ вычленить все ссылки подобного типа из файла и сохранить в отдельный txt?
Буду премного обязан, уже второй день мучаюсь.
Цитата: Вася от 18.11.2020, 22:58Привет!
Как вариант, написать программу с использованием регулярных выражений.
Можете скинуть пример текста из файла?
Привет!
Как вариант, написать программу с использованием регулярных выражений.
Можете скинуть пример текста из файла?
Цитата: Рик Течкин от 18.11.2020, 23:17Вот пример текста с ссылкой нужного формата в середине:
<b>Сёма Карасиков</b> <a href="http://vk.com/id286138212" target="_blank">@thitagi</a> <a href="#msg80981">2015.10.13 19:55:00</a></div><div class="attacments"> <b>Материалы:</b> </div><div class="attacment"> <div class="att_ico att_photo"></div> <a target="_blank" href="https://pp.userapi.com/c629677/v629317212/18e1e/wPDI968lbbU.jpg">[photo276538213_383738181] (408x587)</a> </div></div><div id="msg80982" class="msg_item">
Вот пример текста с ссылкой нужного формата в середине:
<b>Сёма Карасиков</b> <a href="http://vk.com/id286138212" target="_blank">@thitagi</a> <a href="#msg80981">2015.10.13 19:55:00</a></div><div class="attacments"> <b>Материалы:</b> </div><div class="attacment"> <div class="att_ico att_photo"></div> <a target="_blank" href="https://pp.userapi.com/c629677/v629317212/18e1e/wPDI968lbbU.jpg" style="color: #25d39d !important">[photo276538213_383738181] (408x587)</a> </div></div><div id="msg80982" class="msg_item">
Цитата: lоRes от 18.11.2020, 23:21Привет!
С помощью PowerShell, но именно саму ссылку нет! Если ты думаешь что редакторы багаются из-за ссылок, то попробуй вот это: (просто ссылка станет не ссылкой)(Get-Content путь к файлу).Replace "https://pp.userapi.com","" | Set-Content $env:UserProfile\Desktop\file.txt
Привет!
С помощью PowerShell, но именно саму ссылку нет! Если ты думаешь что редакторы багаются из-за ссылок, то попробуй вот это: (просто ссылка станет не ссылкой)
(Get-Content путь к файлу).Replace "https://pp.userapi.com","" | Set-Content $env:UserProfile\Desktop\file.txt
Цитата: lоRes от 18.11.2020, 23:31Извиняюсь команда должна выглядеть вот так!
(Get-Content путь к файлу) -Replace "https://pp.userapi.com","" | Set-Content $env:UserProfile\Desktop\file.txt
Извиняюсь команда должна выглядеть вот так!
Скопировано(Get-Content путь к файлу) -Replace "https://pp.userapi.com","" | Set-Content $env:UserProfile\Desktop\file.txt
Цитата: Рик Течкин от 18.11.2020, 23:33Попробовал вот тут по разному, не выходит. Заранее извиняюсь, никогда PowerShell не пользовался, возможно туплю где не нужно.
Попробовал вот тут по разному, не выходит. Заранее извиняюсь, никогда PowerShell не пользовался, возможно туплю где не нужно.
Цитата: lоRes от 18.11.2020, 23:35Цитата: Рик Течкин от 18.11.2020, 23:33Попробовал вот тут по разному, не выходит. Заранее извиняюсь, никогда PowerShell не пользовался, возможно туплю где не нужно.
" alt="" width="1074" height="206" data-orig-src="https://i.ibb.co/LJnkn5z/Capture.png" />
Извиняюсь команда должна выглядеть вот так!
(Get-Content путь к файлу) -Replace "https://pp.userapi.com","" | Set-Content $env:UserProfile\Desktop\file.txt
Цитата: Рик Течкин от 18.11.2020, 23:33Попробовал вот тут по разному, не выходит. Заранее извиняюсь, никогда PowerShell не пользовался, возможно туплю где не нужно.
Извиняюсь команда должна выглядеть вот так!
Скопировано(Get-Content путь к файлу) -Replace "https://pp.userapi.com","" | Set-Content $env:UserProfile\Desktop\file.txt
Цитата: Рик Течкин от 18.11.2020, 23:36Ах, исправленная команда сработала, только файл все равно отказывается нормально открываться.
Ах, исправленная команда сработала, только файл все равно отказывается нормально открываться.
Цитата: lоRes от 18.11.2020, 23:40Если что нужно открывать полученный на рабоче столе
file.txt
Если даже так не работает попробуйте открыть через браузер просто переместив файл в зону вкладок.
Или попробуйте просмотреть файл с помощью командыtype название файла
Если что нужно открывать полученный на рабоче столе Скопированоfile.txt
Если даже так не работает попробуйте открыть через браузер просто переместив файл в зону вкладок.
Или попробуйте просмотреть файл с помощью команды Скопированоtype название файла
Цитата: Рик Течкин от 18.11.2020, 23:50Ну про локацию нового файла я понял. Открывается также как и старый, медленно грузит, иногда крашит вкладку браузера при скроллинге. Странно, вроде железо мое должно потянуть 70мб текста) Сам то файл я могу просмотреть просто повторяя процесс пока не повезет и он не откроется без краша, только нужен мне не сам файл а те ссылки чтобы потом скриптом их разом загрузить.
Ну про локацию нового файла я понял. Открывается также как и старый, медленно грузит, иногда крашит вкладку браузера при скроллинге. Странно, вроде железо мое должно потянуть 70мб текста) Сам то файл я могу просмотреть просто повторяя процесс пока не повезет и он не откроется без краша, только нужен мне не сам файл а те ссылки чтобы потом скриптом их разом загрузить.
Цитата: Рик Течкин от 18.11.2020, 23:58Ну если не выйдет, пойду послезавтра к знакомому программисту, он скорее всего разберется. Спасибо за попытку и уделенное время)
Ну если не выйдет, пойду послезавтра к знакомому программисту, он скорее всего разберется. Спасибо за попытку и уделенное время)
Цитата: BigGreenElpy от 19.11.2020, 00:56Приветствую. Ради любопытства открыл 210МБ файл сообщений из ВК (VkOpt) чрез Sublime Text 3 - сразу же 3ГБ ОЗУ съело и открывало файл приблизительно 15-20 секунд на средней системе). В теории, если паттерн ссылок одинаковый, редактор позволит выделить все строки, потом просто скопируешь в новый файл
Приветствую. Ради любопытства открыл 210МБ файл сообщений из ВК (VkOpt) чрез Sublime Text 3 - сразу же 3ГБ ОЗУ съело и открывало файл приблизительно 15-20 секунд на средней системе). В теории, если паттерн ссылок одинаковый, редактор позволит выделить все строки, потом просто скопируешь в новый файл
Цитата: Рик Течкин от 19.11.2020, 01:15Пробовал Sublime Text 3, открывает, но грузит файл минут пять, также склонен к вылетам. Не видел там функционала чтобы с помощью поиска скопировать куски похожего паттерна, да и ссылки не в отдельных строках, а упрятаны в текст как в примере выше. У меня на ноуте i78750H, с ssd, не знаю с чем такая проблема производительности связанна. Видимо что-то с файлом не так, лежал на диске три года, копировался/удалялся, может закорраптилось что.
Пробовал Sublime Text 3, открывает, но грузит файл минут пять, также склонен к вылетам. Не видел там функционала чтобы с помощью поиска скопировать куски похожего паттерна, да и ссылки не в отдельных строках, а упрятаны в текст как в примере выше. У меня на ноуте i78750H, с ssd, не знаю с чем такая проблема производительности связанна. Видимо что-то с файлом не так, лежал на диске три года, копировался/удалялся, может закорраптилось что.