MySpace:开源数据处理

MySpace发布了一个新的开源项目-Qizmt，是数据挖掘小组开发的一个分布式计算框架。Qizmt是基于MapReduce的分布式处理框架，丛所周知，这是Google搜索引擎基础设施的一个核心部分。但是Qizmt运行在微软服务器的大型集群上。

MapReduce是一个编程模型，关联到处理执行并产生大量的数据集。用户可以指定一个映射函数处理一个键/值对并产生一系列的中间的键/值对，另外一个函数会整合所有中间的值并和相应的键关联起来。在和Java的工程师和分布式系统的专家Eugene Ciurana探讨MapReduce时，他说道“仅仅是索引大量的非结构化的数据就是一个非常困难的任务，更不用提那些技术问题了，而MapReduce为并行系统进行数据处理提供了一个简单，优雅的解决方案，”。

随着越来越多的网站开始管理大量的数据集，像MapReduce框架和Hadoop项目逐渐的发展起来。随着数据的增长随之而来的就是越来越多的市场机遇。用户之处运用这些新工具最佳的方式是及时利用开源。

Qizmt已经在MySpace的“People you May Know”的特性中得到使用，很快会扩展到用户建议的领域和其他的一些新的领域。

申明：本站所有注册商标属于他们各自的版权所有，评论属于其发表者所有，其余内容版权属于OSSS.CN开源社区所有 。本站原创内容CC协议下发布，如转载必须署名：转自OSSS.CN开源社区。感谢支持！