Во время парсинга чего-то в интернете, порой, очень сложно отследить какие данные и как они...
Во время парсинга чего-то в интернете, порой, очень сложно отследить какие данные и как они формируются. Чего только стоят редиректы с автоназначением cookies, работая вручную с ними можно легко запутаться
Просматривая страницы с открытым инструментом разработчика, можно записывать сетевые действия (запросы, выполняемые вашим браузером, и ответы, которые вы получаете с серверов). Затем все эти данные можно экспортировать в файл HAR (Http-архив) для последующего анализа, например в приложении Charles.
Либо воспользоваться одним из трех python-библиотек
1) har2py - конвентор har-контент в python requests код
2) curlconverter - конвентирует cURL syntax в нативный Python, Go, PHP, JavaScript, R, Elixir and Dart HTTP code
3) har2requests: генерирует Python Requests код
Буду изучать эти библиотеки на днях
Просматривая страницы с открытым инструментом разработчика, можно записывать сетевые действия (запросы, выполняемые вашим браузером, и ответы, которые вы получаете с серверов). Затем все эти данные можно экспортировать в файл HAR (Http-архив) для последующего анализа, например в приложении Charles.
Либо воспользоваться одним из трех python-библиотек
1) har2py - конвентор har-контент в python requests код
2) curlconverter - конвентирует cURL syntax в нативный Python, Go, PHP, JavaScript, R, Elixir and Dart HTTP code
3) har2requests: генерирует Python Requests код
Буду изучать эти библиотеки на днях
