Economaizer.com начинает работу в полном режиме
Друзья,заработал в полном режиме проект Economaizer.com!
Напомню, что было модернизировано с момента изначального ланча:
- обновлена база магазинов (убраны старые, обновлены текущие).
- переработана схема данных - основа теперь no sql база данных hbase.
- алгоритмы переписаны в парадигме map-reduce для паралелльных вычислений.
- объем данных теперь неограничен - размер вычислительного кластера (в данный момент 5 машин) - не ограничен.
- движок и алгоритм изменен с режима online на batch processing, на основе моего проекта TrueMatch осуществляющего сравнение товарных предложений.
Таким образом, теперь имеется возможность сравнивать десятки миллионов товарных предложений, за разумное время. А это уже хорошо, и следующим этапом будет полноценный web-site.
Напомню, что было модернизировано с момента изначального ланча:
- обновлена база магазинов (убраны старые, обновлены текущие).
- переработана схема данных - основа теперь no sql база данных hbase.
- алгоритмы переписаны в парадигме map-reduce для паралелльных вычислений.
- объем данных теперь неограничен - размер вычислительного кластера (в данный момент 5 машин) - не ограничен.
- движок и алгоритм изменен с режима online на batch processing, на основе моего проекта TrueMatch осуществляющего сравнение товарных предложений.
Таким образом, теперь имеется возможность сравнивать десятки миллионов товарных предложений, за разумное время. А это уже хорошо, и следующим этапом будет полноценный web-site.
Комментарии