Сообщения

Сообщения за декабрь, 2011
Зачем нужен Экономайзер? В то время когда на рынке имеется например Yandex.Market? Ответ простой, рыночная среда она похожа на океан, в котором есть крупные особи, мелкие и планктон. Место есть для всех настойчивых и стремящихся выжить. После даже не длительного изучения проблем процесса fuzzy matching по базе данных товаров, я стал с уважением относиться к любым командам создающим подобные проекты. Безусловно, лидирующей командой можно назвать команду Яндекс.Маркета. Когда примерно представляешь какие алгоритмы скрываются "под капотом" и в "движках" больших братьев (намеренно буду избегать термин "Конкурент", поскольку он уводит мысль в другую ипостась, не конструктивного плана), то по-хорошему завидуешь их R&D возможностям, и интеллектуальным ресурсам. Тем не менее, я считаю, что на рынке есть возможность для появления нового игрока, пусть другого, более мелкого масштаба, с другой бизнес - моделью, и имеющего не нулевые шансы на выживание. Как вы н
Разморозка. Проект Экономайзер Рад сообщить, что на регулярной основе буду писать в блог о своем проекте - Экономайзер. Получится настоящий in da start up сериал, оправдывающий название блога. Несмотря на то, что для всех слово стартап с момента начала его активного использования с 2000-х годов, изрядно набило оскомину, и хотя я лично называю Экономайзер просто "проект"; придется придерживаться жанра и называть его стартапом, которым он безусловно скоро станет. Спустя год с момента появления бета-версии economaizer.com - я решил разморозить проект и уже два месяца активно веду R&D по данному направлению. Считаю, что для ускорения работы над ним мне потребуется помощь деятельных людей, поэтому если вы владеете java, ruby, python и желаете на практике применять такие инструменты как Apache Hadoop, Apache Mahaout прошу вас связаться со мною. Компенсации, работа в офисе в центре Москвы и прочее, включая макбук обговариваются :) Контакты для связи: invisible.trust@gmail.com
Проблема при работе с hadoop при запуске задачи. Настраивая по этому руководству hadoop http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster / на действующих серверах, я обратил внимание что скорость выполнения задач не возросла, а появились ошибки. Если вы видите примерно следующее сообщение в вашем логе: 11/12/02 14:22:10 WARN mapreduce.Job: Error reading task outputhttp://localhost:50060/tasklog?plaintext=true&attemptid=attempt_201112021419_0001_m_000003_1&filter=stdout 11/12/02 14:22:10 WARN mapreduce.Job: Error reading task outputhttp://localhost:50060/tasklog?plaintext=true&attemptid=attempt_201112021419_0001_m_000003_1&filter=stderr 11/12/02 14:22:27 INFO mapreduce.Job: map 100% reduce 22% 11/12/02 14:22:41 INFO mapreduce.Job: Task Id : attempt_201112021419_0001_m_000002_0, Status : FAILED То это означает, что hadoop не может получить результаты от одной из машин (или если их много - то от нескольких). К примеру, в моем случае,