Построение веб-сервера на базе кластерных решений

Отличный манул по построению Веб-сервера высокой нагрузки и с распределением этой самой нагрузки описан marchost.
Это howto по построению сервера высокой доступности с распределением нагрузки на базе 2 реальных серверов и технологий Xen, hearbeat и ldirectord. Кластер обеспечивает работу сервисов: http, mail, DNS, MySQL и обеспечивает полный мониторинг системы. Кластер реальный, работающий на некоторых хостингах - т.е. прошедший "полевые" испытания.

Краткий список сервисов, установленных на кластере:

* Apache
* MySQL + phpmyadmin
* Postfix (SMTP) и Spamassassin (управление через веб-интерфейс)
* Courier (IMAP & POP) и squirrelmail
* Bind (DNS server)
* Munin и monit для мониторинга через веб-интерфейс
* Самописные скрипты для мониторинга

Конференция HPC Server 2008 в Москве

Завтра 14 ноября 2008 пройдет конференция Windows HPC Server 2008 в России. Официальное мероприятие посвященное запуску сервера.
"HPC Server 2008 – новое поколение платформы для высокопроизводительных вычислений от Microsoft выходит на Российский рынок в начале ноября 2008 года. Microsoft Россия приглашает всех настоящих и будущих пользователей высокопроизводительных вычислений отпраздновать это событие и поближе познакомиться с особенностями нового решения. Windows HPC Server 2008 позволяет достичь скорости вычислений в среднем на 25-30% больше, чем предыдущая версия продукта – Windows Compute Cluster Server 2003, и тем самым выходит в лидеры по производительности на самых сложных нагрузках.
Для участия в пленарной сессии конференции в Москву специально приезжает генеральный директор подразделения Microsoft HPC Кирилл Фаенов, который расскажет о процессе разработки Windows HPC Server 2008 и будущих перспективах платформы. На последующих докладах вы сможете познакомиться с решениями партнеров для различных отраслей, а также особенностями работы с новым продуктом.
На выставке, проводимой в фойе мероприятия, вы увидите высокопроизводительные кластерные решения от партнеров Microsoft и сможете задать вопросы производителям программного и аппаратного обеспечения для HPC."

Manta

Manta - софт для Linux для 3D-моделирования с поддержкой кластерной архитектуры.

Вычислительный кластер на Sony Playstation 3

Собрать вычислительный кластер на игровых приставках? Поначалу мне показалось это... довольно занимательным сообщением. Но последующие сообщения в сообществе, и, более того, собранный одним из игровых подразделений Sony настоящий вычислительный кластер - заставили серьезнее отнестись к вопросу. Более того, TerraSoft реализует промышленный выпуск кластеров на базе PlayStation3.


Первым этим вопрос озадачился и успешно решил доктор Фрэнк Мюллер из университета Северной Каролины. Он смог собрать кластер из 8 нод PC3, на базе Linux, используя ПО с открытым кодом.
* Fedora Core 5 Linux ppc64
* MPICH2 (also MPI API) locally: man MPI
* OpenMP v2.5 (via gcc)
* gcc (C compiler)
* CellSDK 1.1
В настоящий момент широко используются такие дистрибутивы Линукс как: Fedora, Yellow Dog, Ubuntu, OpenSuSE (подробнее).
Дело в том, что процессор как нельзя лучше подходит для построения кластерных архитектур, а открытая спецификация позволяет писать программы для кластерной платформы под свои нужды.
Как правило вычислительные кластеры и суперкомпьютеры используются в математике, географии и астрофизике. Очень ожидаемая область применения - 3Dмоделирование и рендеринг.
Установка Linux Fedora на PS3 и написание кода для кластера описано на сайте IBM.

Новый HPC2008 RC2

Команда разработчиков Microsoft платформы High Performance Computing выпустила новый пак RC2.
Windows HPC Server 2008 позволяет строить вычислительные кластеры на основе x64 архитектурыы Windows Server 2008 (32- и ia64 железо не поддерживается).
Тестировщики могут скачать RC2 с сайта HPC

Windows HPC - мифы и реальность

Не радует меня Microsoft. Увы. Совсем. Шум вокруг суперкомпьютеров на платформе Windows хоть и поутих после Win2003 Compute Cluster, но даже попытки вывести Win2008 HPC хотя бы в область реальных вычислительных платформ - не вернул доверия к платформе. Причина банальна - нет ничего реально работающего на кластерной платформе под Windows. Есть много статей как делать, есть много отчетов о якобы проведенных испытаниях - но ни открытых/тестовых, ни коммерческих продуктов нет. Нет даже тестов и бенчмарков. Удивительно, что Microsoft пробилась на 23 позицию в top500.com (500 суперкомпьютеров - самых быстрых вычислительных систем), учитыая тот момент, что для тестов использовались приложения написанные на openMPI для Unix и затем специально для Windows переписанные. А где хваленый MS-MPI?
Думаю, что там же, где и супер-кластер на win2003. Просто отсутствует. Все, что платформа сейчас позволяет сделать - это High Available Cluster (по сути высоконадежная система - один сервер рухнул, второй поднялся - пользователи не заметили), но говорить о High Performance Cluster на базе Windows... - пока можно только говорить. Причем ситуация довольно забавно выглядит: вы можете принять участие в тестовой программе от Microsoft, скачать win2008srv HPC, установить и настроить кластер, в котором будет много удобных вещей для управления и настройки. Но! Настраивать нечего. Нет приложений. Причем не помогает реверанс в сторону opensource - "ребят - нате вам поддержку openMPI - работайте!" Публикуются результаты каких-то невнятных тестов и бенчмарков, которые описывают в деталях как настраивался кластер (ну уже слава богу есть куча документации даже на русском), но без указания на каких приложениях тестировалось и как.
С другой стороны понять Microsoft тоже можно: рынок систем, где требуется высокая вычислительная мощность крайне мал, как правило это либо чистая наука, либо гео-системы, либо 3D (что мне более близко сейчас). Во всех этих областях - если проект крупный и серьезный пишется свой софт и как правило на Unix-платформах. Так какой смысл завоевывать пустой рынок? Финансовой отдачи о вложений будет немного. Думаю даже в убыток.