Friday, October 9, 2009

Распределённая поисковая система

Во всяком творении гения мы узнаём собственные отвергнутые мысли.


Сегодня я расскажу вам о распределённой поисковой системе... но в начале...



Предыстория


Сегодня мне хотелось каких-нибудь свершений и я решил в очередной раз почитать про распределённые вычисления - меня всегда манили задачи, для которых требуются большие ресурсы, что-то вроде поиска внеземных цивилизаций или предсказания климата земли на ближайшие дцать лет. И среди подобных задач я наткнулся на реализованную поисковую систему, в которой множество компьютеров добровольных пользователей сканирует интернет чтобы собирать базу для поисковых запросов.


Собственно, у меня давно возникала мысль о свободной распределённой поисковой системе, но я так же часто представлял, что такая система будет слишком уязвима для всяческих ботнетов и прочих неприятных явлений, которые могут паразитировать на компьютерах пользователей, которые индексируют страницы, поэтому даже как-то не собирался писать об этой идее.


Вот опять кажется я пытаюсь выдать реализованную идею за свою, но эта дурацкая идея кажется просто очевидной...



More... )

No comments: