Сообщения

Сообщения за Январь, 2012
Важный день в жизни экономайзера - альфа тестирование движка

Удивительно, когда начинаешь ставить дедлайн в проекте, то либо спецификация не выдерживается, либо срок растягивается. Как в уравнении площади прямоугольника, можно изменить ширину, или длину, или площадь, но одновременно три параметра поменять нельзя. Мое решение простое, собирается TODO лист в порядке значимости дел, назначается примерная дата релиза, и затем в порядке значимости делаются дела по проекту, чем ближе срок тем виднее, что придется удалить, как правило это малозначимые вещи. В итоге получается компромисс - решенные задачи за отведенное время.

Очень правильно покупать готовые решения для экономии времени, но трудно быть уверенным насколько подходящим окажется купленное решение.

Сегодня последний день января, посмотрим куда мы дошли в проекте Экономайзер (economaizer.com)

Итак, движок готов, нельзя сказать что он смазан маслом и "готов ехать", но готовность его на уровне примерно 95% того, что я запланир…
Ошибка Errno::ENOEXEC: Exec format error


Порой при запуске sh скрипта из rake задачи в Rails мы можем получить нечто подобное

#

Простое добавление в начало *.sh скрипта строки shebang
Shebang - Это такой заголовок файла, он определяет интерпретатор, например такой::
#!/bin/sh
позволяет решить проблему
RAILS 3

Давно не следил за rails, после того как они перешли на ruby 1.9 стало затруднительно и избыточно апгрейдить старые проекты на rails 3.

Сейчас для нового проекта экономайзера требуется среда и пришлось ставить rails 3.2
Из ощущений, первое что кажется что из дружелюбного и приятного фреймворка - rails становится каким то сложным инструментом, скажем так возможно в этом проблема отчасти из-за ruby 1.9. После создания пустого проекта - не запускается rake, надо ставить его, надо ставить gem чтобы поставить один единственный bundle , который будет следить за зависимостями в gem и прочее прочее. По крайней мере rvm облегчает этот процесс.

Пока легкое недоумение от происходящего. Надеюсь быстро пройдет. И втянусь в Rails 3
Загадочные ошибки с hadoop


Возможно мой совет вам пригодится. По-крайней мере мне он стоил полдня мучений. Ошибки детские, связанные с тем, что хочется всего и сразу.

Итак, поставился допустим кластер,
допустим он даже поднимает друзей на slave машинах
5087 Jps
4899 DataNode
4988 TaskTracker

И даже считает задачи, например пресловутый word_count!

Ставим hbase
и вот загадочно hbase - Hmaster погибает сразу после старта -
выдает неинформативную ошибку
при этом успевает наделать Peers на slave машинах

НО! Не создает HMaster
А без него - наша консоль в Hbase тусклая и не хочет отвечать даже на list

Читаем логи
2012-01-19 16:24:46,905 INFO org.apache.hadoop.hbase.ipc.HBaseRpcMetrics: Initializing RPC Metrics with hostName=HMaster, port=60000
2012-01-19 16:24:47,135 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster
at org.apache.hadoop.hbase.master.HMaster.constructM…
Изображение
Собираем мини-кластер или "ясли" для экономайзера

Для разработки экономайзера (economaizer.com), нам потребовался кластер.
Хорошо иметь резиновый кластер на Amazon, но еще лучше иметь свой кластер, с которым можно проделывать все что угодно, не задумываясь о стоимости хранения или передачи данных. Решено остановиться на 5 серверах на базе i5, 2x4Gb RAM, 2x500 Gb HDD, собранных в корпусах 2U из-за их меньшей шумности.
Для обкатки технологии этого вполне достаточно. В production будет больше RAM и HDD. И больше машин, но уже в 1U корпусах.

Итак,
собираем серверную стойку,
рост ее около 1.2м, в начале требуется собрать две вертикальные рамы, которые уже потом крепятся к шасси.
Крепление очень удобное, стойка продуманная, сервера в корпусах 19" входят без проблем.
почти собрана, остается добавить уголки.
Почти собранная стойка 19".Закрепляем уголки, 650 мм

Помещаем туда сервера, названные в честь греческих островов (благо их много, и можно будет добавлять) (стикеры временно)

Все …