Сообщения

Сообщения за Декабрь, 2011
Зачем нужен Экономайзер?

В то время когда на рынке имеется например Yandex.Market?
Ответ простой, рыночная среда она похожа на океан, в котором есть крупные особи, мелкие и планктон. Место есть для всех настойчивых и стремящихся выжить.

После даже не длительного изучения проблем процесса fuzzy matching по базе данных товаров, я стал с уважением относиться к любым командам создающим подобные проекты. Безусловно, лидирующей командой можно назвать команду Яндекс.Маркета. Когда примерно представляешь какие алгоритмы скрываются "под капотом" и в "движках" больших братьев (намеренно буду избегать термин "Конкурент", поскольку он уводит мысль в другую ипостась, не конструктивного плана), то по-хорошему завидуешь их R&D возможностям, и интеллектуальным ресурсам.

Тем не менее, я считаю, что на рынке есть возможность для появления нового игрока, пусть другого, более мелкого масштаба, с другой бизнес - моделью, и имеющего не нулевые шансы на выживание. Как вы наве…
Разморозка. Проект Экономайзер

Рад сообщить, что на регулярной основе буду писать в блог о своем проекте - Экономайзер.
Получится настоящий in da start up сериал, оправдывающий название блога.

Несмотря на то, что для всех слово стартап с момента начала его активного использования с 2000-х годов, изрядно набило оскомину, и хотя я лично называю Экономайзер просто "проект"; придется придерживаться жанра и называть его стартапом, которым он безусловно скоро станет.

Спустя год с момента появления бета-версии economaizer.com - я решил разморозить проект и уже два месяца активно веду R&D по данному направлению.

Считаю, что для ускорения работы над ним мне потребуется помощь деятельных людей, поэтому если вы владеете java, ruby, python и желаете на практике применять такие инструменты как Apache Hadoop, Apache Mahaout прошу вас связаться со мною. Компенсации, работа в офисе в центре Москвы и прочее, включая макбук обговариваются :)

Контакты для связи: invisible.trust@gmail.com с поме…
Проблема при работе с hadoop при запуске задачи.

Настраивая по этому руководству hadoop http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/ на действующих серверах, я обратил внимание что скорость выполнения задач не возросла, а появились ошибки.

Если вы видите примерно следующее сообщение в вашем логе:
11/12/02 14:22:10 WARN mapreduce.Job: Error reading task outputhttp://localhost:50060/tasklog?plaintext=true&attemptid=attempt_201112021419_0001_m_000003_1&filter=stdout
11/12/02 14:22:10 WARN mapreduce.Job: Error reading task outputhttp://localhost:50060/tasklog?plaintext=true&attemptid=attempt_201112021419_0001_m_000003_1&filter=stderr
11/12/02 14:22:27 INFO mapreduce.Job: map 100% reduce 22%
11/12/02 14:22:41 INFO mapreduce.Job: Task Id : attempt_201112021419_0001_m_000002_0, Status : FAILED

То это означает, что hadoop не может получить результаты от одной из машин (или если их много - то от нескольких).
К примеру, в моем случае, это был…