Важный день в жизни экономайзера - альфа тестирование движка Удивительно, когда начинаешь ставить дедлайн в проекте, то либо спецификация не выдерживается, либо срок растягивается. Как в уравнении площади прямоугольника, можно изменить ширину, или длину, или площадь, но одновременно три параметра поменять нельзя. Мое решение простое, собирается TODO лист в порядке значимости дел, назначается примерная дата релиза, и затем в порядке значимости делаются дела по проекту, чем ближе срок тем виднее, что придется удалить, как правило это малозначимые вещи. В итоге получается компромисс - решенные задачи за отведенное время. Очень правильно покупать готовые решения для экономии времени, но трудно быть уверенным насколько подходящим окажется купленное решение. Сегодня последний день января, посмотрим куда мы дошли в проекте Экономайзер ( economaizer.com ) Итак, движок готов, нельзя сказать что он смазан маслом и "готов ехать", но готовность его на уровне примерно 95% того, что я за...
Сообщения
Ошибка Errno::ENOEXEC: Exec format error Порой при запуске sh скрипта из rake задачи в Rails мы можем получить нечто подобное # Простое добавление в начало *.sh скрипта строки shebang Shebang - Это такой заголовок файла, он определяет интерпретатор, например такой:: #!/bin/sh позволяет решить проблему
RAILS 3 Давно не следил за rails, после того как они перешли на ruby 1.9 стало затруднительно и избыточно апгрейдить старые проекты на rails 3. Сейчас для нового проекта экономайзера требуется среда и пришлось ставить rails 3.2 Из ощущений, первое что кажется что из дружелюбного и приятного фреймворка - rails становится каким то сложным инструментом, скажем так возможно в этом проблема отчасти из-за ruby 1.9. После создания пустого проекта - не запускается rake, надо ставить его, надо ставить gem чтобы поставить один единственный bundle , который будет следить за зависимостями в gem и прочее прочее. По крайней мере rvm облегчает этот процесс. Пока легкое недоумение от происходящего. Надеюсь быстро пройдет. И втянусь в Rails 3
Загадочные ошибки с hadoop Возможно мой совет вам пригодится. По-крайней мере мне он стоил полдня мучений. Ошибки детские, связанные с тем, что хочется всего и сразу. Итак, поставился допустим кластер, допустим он даже поднимает друзей на slave машинах 5087 Jps 4899 DataNode 4988 TaskTracker И даже считает задачи, например пресловутый word_count! Ставим hbase и вот загадочно hbase - Hmaster погибает сразу после старта - выдает неинформативную ошибку при этом успевает наделать Peers на slave машинах НО! Не создает HMaster А без него - наша консоль в Hbase тусклая и не хочет отвечать даже на list Читаем логи 2012-01-19 16:24:46,905 INFO org.apache.hadoop.hbase.ipc.HBaseRpcMetrics: Initializing RPC Metrics with hostName=HMaster, port=60000 2012-01-19 16:24:47,135 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster at org.apache.hadoop.hbase.master.H...
Собираем мини-кластер или "ясли" для экономайзера Для разработки экономайзера (economaizer.com), нам потребовался кластер. Хорошо иметь резиновый кластер на Amazon, но еще лучше иметь свой кластер, с которым можно проделывать все что угодно, не задумываясь о стоимости хранения или передачи данных. Решено остановиться на 5 серверах на базе i5, 2x4Gb RAM, 2x500 Gb HDD, собранных в корпусах 2U из-за их меньшей шумности. Для обкатки технологии этого вполне достаточно. В production будет больше RAM и HDD. И больше машин, но уже в 1U корпусах. Итак, собираем серверную стойку, рост ее около 1.2м, в начале требуется собрать две вертикальные рамы, которые уже потом крепятся к шасси. Крепление очень удобное, стойка продуманная, сервера в корпусах 19" входят без проблем. почти собрана, остается добавить уголки. Почти собранная стойка 19". Закрепляем уголки, 650 мм Помещаем туда сервера, названные в честь греческих островов (благо их много, и можно будет добавлять) (стикеры вре...
Зачем нужен Экономайзер? В то время когда на рынке имеется например Yandex.Market? Ответ простой, рыночная среда она похожа на океан, в котором есть крупные особи, мелкие и планктон. Место есть для всех настойчивых и стремящихся выжить. После даже не длительного изучения проблем процесса fuzzy matching по базе данных товаров, я стал с уважением относиться к любым командам создающим подобные проекты. Безусловно, лидирующей командой можно назвать команду Яндекс.Маркета. Когда примерно представляешь какие алгоритмы скрываются "под капотом" и в "движках" больших братьев (намеренно буду избегать термин "Конкурент", поскольку он уводит мысль в другую ипостась, не конструктивного плана), то по-хорошему завидуешь их R&D возможностям, и интеллектуальным ресурсам. Тем не менее, я считаю, что на рынке есть возможность для появления нового игрока, пусть другого, более мелкого масштаба, с другой бизнес - моделью, и имеющего не нулевые шансы на выживание. Как вы н...
Разморозка. Проект Экономайзер Рад сообщить, что на регулярной основе буду писать в блог о своем проекте - Экономайзер. Получится настоящий in da start up сериал, оправдывающий название блога. Несмотря на то, что для всех слово стартап с момента начала его активного использования с 2000-х годов, изрядно набило оскомину, и хотя я лично называю Экономайзер просто "проект"; придется придерживаться жанра и называть его стартапом, которым он безусловно скоро станет. Спустя год с момента появления бета-версии economaizer.com - я решил разморозить проект и уже два месяца активно веду R&D по данному направлению. Считаю, что для ускорения работы над ним мне потребуется помощь деятельных людей, поэтому если вы владеете java, ruby, python и желаете на практике применять такие инструменты как Apache Hadoop, Apache Mahaout прошу вас связаться со мною. Компенсации, работа в офисе в центре Москвы и прочее, включая макбук обговариваются :) Контакты для связи: invisible.trust@gmail.com ...
Проблема при работе с hadoop при запуске задачи. Настраивая по этому руководству hadoop http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster / на действующих серверах, я обратил внимание что скорость выполнения задач не возросла, а появились ошибки. Если вы видите примерно следующее сообщение в вашем логе: 11/12/02 14:22:10 WARN mapreduce.Job: Error reading task outputhttp://localhost:50060/tasklog?plaintext=true&attemptid=attempt_201112021419_0001_m_000003_1&filter=stdout 11/12/02 14:22:10 WARN mapreduce.Job: Error reading task outputhttp://localhost:50060/tasklog?plaintext=true&attemptid=attempt_201112021419_0001_m_000003_1&filter=stderr 11/12/02 14:22:27 INFO mapreduce.Job: map 100% reduce 22% 11/12/02 14:22:41 INFO mapreduce.Job: Task Id : attempt_201112021419_0001_m_000002_0, Status : FAILED То это означает, что hadoop не может получить результаты от одной из машин (или если их много - то от нескольких). К примеру, в моем случае,...
Какой-то абсурд на хабрхабр или я там просто давно не был? История: искал дату еврейского праздника Ханука, в яндексе, под FF, Mac OS. Обнаружил что браузер "вылетал" фатально. Проверил на еще одной машине, тоже под Mac OS. Тоже самое. Сделал опрос на Habr - вылетает ли у них браузер. В итоге, нашлись люди у которых такая же проблема, у некоторых нет, и нашлись какие-то мудаки, которые проголосовали за мой рейтинг вниз, как будто, я кого-то троллил или написал неуместную шутку, когда мне было интересно в чем суть ошибки, и посоветоваться с сообществом. Результат: да на кой мне вообще там в следующий раз что-то спрашивать, если это может помешать нормальной работе на сайте в дальнейшем? (От рейтинга там зависит возможность создавать топики и прочее) Недоумение. P.s: после апдейта firefox перестал падать при этом запросе, чудеса
Интересно! Вот зашел почитать комментарии к блогу, обнаружил спам в топике трехлетней давности http://in-da-start-up.blogspot.com/2008/04/blog-post.html и там же комментарий Jami. О том что они получили венчурное инвестирование. Зашел к ним на сайт - а домен продается :) То ли кризис, то ли инвестиции не дошли) А может проект уже перепродан сто раз, кто знает?
Почему в России никогда не будет нормального сервиса или муки с YOTA EGG. Я уже ранее писал, что йота с нестабильной связью - явно не бизнес решение. В самый ответственный момент эта самая связь падает и вы оказываетесь без связи. Но не буду забегать вперед, все по - порядку. Если хотите прочитать только суть, пропустите середину и мотайте вниз. Впервые, увидел как работает йота у своего в ту пору руководителя Андрея Захарова, он был рад как ребенок возможности просмотра роликов с телефона 4G находясь в пробках, говорил что интернет "летает", но почему то при входе в офис вся эта техника переставала работать и чтобы позвонить ему приходилось выходить на улицу. Второй случай, случился через месяц, другой мой друг Денис, за столиком в кафе, эффектно достал яйцеобразное(yota egg) устройство и организовал Wi-Fi сетку для нас, чтобы мы могли воспользоваться сетью. Дело было на Тверской, в центре Москвы и тогда на меня это произвело впечатление. Собственно с этого момента я уже ори...
Стартап Economaizer.com - представляющий собой плагин для популярного браузера Fifefox, позволяющий в автоматическом режиме сравнивать цены. Приглашает инвесторов к участию в быстрорастущем проекте. Обращаться по обратной связи на сайте www.economaizer.com Подробнее об экономайзере можно узнать посмотрев видеоролик расположенный чуть ниже
Обновляя поиск Мы должны пересмотреть роль поисковых систем и их источников данных. По сути, твиттер стал продолжением поисковых систем, для извлечения данных в реальном масштабе времени. Разумеется мы пока в границах твитов и апдейтов Facebook, но это лишь начало. Это серьезный вызов для поисковых систем. Им потребуется построить новую Трастовую модель. Как однажды сделал Яху, а затем предложил улучшенную модель Google. Аггрегаторы в свою очередь фильтруют только качественные источникаи. Множество других типов надстроек возможны в этой новой реальности. Вплоть до смены парадигмы, когда парковка сообщает об освободившемся месте в поисковую систему. Потенциал поиска в реальном времени безграничен