淘宝架构师:浅析分布式文件系统优缺点前沿技术

2010-09-01    来源:IT168    编辑:孟庆
8月27日消息,2010年系统架构师大会今天在北京永泰福朋.喜来登大酒店隆重开幕。本次大会主题为:企业IT应用最佳实践,是由IT168联合旗下三大技术社区ChinaUnix、ITPUB、IXPUB主办的继20

    8月27日消息,2010年系统架构师大会今天在北京永泰福朋.喜来登大酒店隆重开幕。本次大会主题为:“企业IT应用最佳实践”,是由IT168联合旗下三大技术社区ChinaUnix、ITPUB、IXPUB主办的继2009年第一届系统架构师大会之后偏重技术经验分享和案例剖析的又一次技术盛宴。据悉,本次技术大会邀请了30多位各行各业、国内最顶级的技术专家分享来自最终企业用户端的系统架构成功实践经验。

   淘宝网开放平台技术部资深架构师余庆先生首先回顾了自己在Yahoo工作时的经历,他表示Yahoo当时的相册和论坛系统整个结构都进行了针对大规模分布式存储和并发操作的改进。之后的演讲中,余庆从整个分布式文件系统的发展说起,谈到了FastDFS文件系统的概念和具体优缺点。

淘宝架构师:浅析分布式文件系统优缺点
▲ 淘宝网开放平台技术部资深架构师 余庆

    据了解,yahoo论坛和相册以前一直面临着扩容问题,同步延迟问题,同步失败问题等。其pat同步、定式扫描以及farm式集中式存储的热备都带来立刻高昂的成本消耗。2008年底,处于减低成本的考虑,中国yahoo采用分布式文件系统替换了古老的YMDB系统。

淘宝架构师:浅析分布式文件系统优缺点

    余庆介绍了通用分布式文件系统和专用分布式文件系统的有关发展。他表示,相比起来通用分布式文件系统对开发者来说具有友好性强的优势,系统复杂性相对较高,性能一般;而专用分布式文件系统能个的开发者友好性较差,系统复杂性较低,性能较高。因此,根据专用性和通用性的原则,架构师在选择两种分布式系统的时候需要考虑有关分布式系统的应用环境。

淘宝架构师:浅析分布式文件系统优缺点

    据余庆介绍,FastDFS系统是一个类似于Google FS的轻量级分布式文件系统,用C语言实现,支持包括Linux、FreeBSD、AIX等UNIX系统。从诞生之初至今,FastDFS已经推出了31个版本。下面是FastDFS的架构示意图:

淘宝架构师:浅析分布式文件系统优缺点

1
3