Сделать нормальный UserAgent, и другие параметры для Feedzirra #23
Description
Некоторые rss Feedzirra не парсит, т.к. принимающая сторона не может определить в нем "хорошего" робота. Она считает что он ddos бот.
Чтобы этого избежать надо поменять UserAgent и некоторые другие параметры
Пример ошибки:
GET http://proufu.ru/component/sdrsssyndicator/?feed_id=1&format=raw
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8" />
<script type="text/javascript">
document.cookie="__DDOS_COOKIE=c6899c9b31393fbe0e3a8f4bf3b97183; max-age=604800; path=/";
var nc = function() {return
document.cookie.indexOf("__DDOS_COOKIE=c6899c9b31393fbe0e3a8f4bf3b97183")==-1;};
var w = function() {document.body.innerHTML = document.getElementsByTagName("noscript")[0].textContent;};
if (!window.opera) {
if (!nc()) {window.location.reload(true);}
var r = function() {if (nc()) w();};
} else {
var r = function () {
if (!nc()) {window.location.reload(true);}
else {w();}
}
}
</script>
</head>
<body onload="r()">
<noscript>You have to turn on javascript and cookies support in browser to visit this site.<br />
Для доступа к сайту Ваш браузер должен поддерживать javascript и cookie.
</noscript>
</body>
</html>
Metadata
Metadata
Assignees
Labels
No labels