該項目依托HadoopJava開發(fā)環(huán)境，協同分布式協作服務框架Zookeeper，通過網絡爬蟲技術實時的從各大家裝網站，各大網絡電商家電銷售數據的爬取，結合Hive數據倉庫進行數據的歸集整理，通過相應的數據模型，復雜的算法分析計算，數據可視化分析，為客戶提供精準的裝修材料品牌，使供應商能夠更為精準的抓住市場需求，提升公司的效益。

該項目使用Spark技術生態(tài)棧中的Spark Core、Spark SQL 和Spark Streaming技術框架，對各大婚戀網站上爬取的網頁數據信息，通過Jsoup技術網頁數據解析，采集線上數據，以及通過線下婚介數據的分析整理，進行線上數據的實時計算業(yè)務和離線數據統計分析，經過數據信息的清洗，篩選，依托科學的數據模型，使婚戀匹配的成功率大幅的提升。

該項目后臺采用Storm、Kafka、Hbase框架技術進行整合開發(fā)，前端采用jQuery動態(tài)網頁技術和HighCharts各類圖表開發(fā)，實現實時無刷新加載數據?，通過系統能夠實時的了解平臺商品的銷售情況，庫存情況，預測未來的商品需求，使平臺能夠節(jié)約成本的同時實現利潤最大化。

該項目采用Flume+Hadoop+Hbase+SpringMVC+
MyBatis+MySQL+Highcharts框架實現的電商離線數據分析。依托平臺的數據信息，日志收集分析、用戶的瀏覽行為，點擊行為，挖掘用戶更深層次的喜歡，精準推薦符合用戶需求的旅游線路，推送符合用戶需要的周邊產品，旅游商品的廣告，提高擴大產出。