当前位置：文档库 › Bigtable 中文版

Bigtable 中文版

a40d

美人她爹

总有些想法,不写下来就忘了

九月 26, 2006

翻译:Google大表(BigTable)

大表(Bigtable):结构化数据的分布存储系统

https://www.wendangku.net/doc/305877689.html,/papers/bigtable-osdi06.pdf

｛中是译者评论,程序除外｝

{本文的翻译可能有不准确的地方,详细资料请参考原文.}

摘要

bigtable是设计来分布存储大规模结构化数据的，从设计上它可以扩展到上２^50字节，分布存储在几千个普通服务器上．Ｇoogle的很多项目使用ＢＴ来存储数据，包括网页查询，google earth和google金融．这些应用程序对ＢＴ的要求各不相同：数据大小（从URL到网页到卫星图象）不同，反应速度不同（从后端的大批处理到实时数据服务）．对于不同的要求，ＢＴ都成功的提供了灵活高效的服务．在本文中，我们将描述ＢＴ的数据模型．这个数据模型让用户动态的控制数据的分布和结构．我们还将描述ＢＴ的设计和实现．

１．介绍

在过去两年半里，我们设计，实现并部署了ＢＴ．ＢＴ是用来分布存储和管理结构化数据的．ＢＴ的设计使它能够管理2^50 bytes(petabytes)数据，并可以部署到上千台机器上．ＢＴ完成了以下目标：应用广泛，可扩展，高性能和高可用性（high availability）. 包括google analytics, google finance, orkut, personalized search, writely和google earth在内的60多个项目都使用BT.这些应用对ＢＴ的要求各不相同，有的需要高吞吐量的批处理，有的需要快速反应给用户数据．它们使用的ＢＴ集群也各不相同，有的只有几台机器，有的有上千台，能够存储2^40字节(terabytes)数据．

ＢＴ在很多地方和数据库很类似：它使用了很多数据库的实现策略．并行数据库［１４］和内存数据库［１３］有可扩展性和高性能，但是ＢＴ的界面不同．ＢＴ不支持完全的关系数据模型；而是为客户提供了简单的数据模型，让客户来动态控制数据的分布和格式{就是只存储字串，格式由客户来解释}，并允许客户推断底层存储数据的局部性｛以提高访问速度｝．数据下标是行和列的名字，数据本身可以是任何字串．ＢＴ的数据是字串，没有解释｛类型等｝．客户会在把各种结构或者半结构化的数据串行化｛比如说日期串｝到数据中．通过仔细选择数据表示，客户可以控制数据的局部化．最后，可以使用ＢＴ模式来控制数据是放在内存里还是在硬盘上．｛就是说用模式，你可以把数据放在离应用最近的地方．毕竟程序在一个时间只用到一块数据．在体系结构里，就是：locality, locality, locality｝

第二节描述数据模型细节．第三节关于客户ＡＰＩ概述．第四节简介ＢＴ依赖的google框架．第五节描述ＢＴ的实现关键部分．第6节叙述提高ＢＴ性能的一些调整．第7节提供ＢＴ性能的数据．在第8节，我们提供ＢＴ的几个使用例子，第9节是经验教训．在第10节，我们列出相关研究．最后是我们的结论．

２．数据模型

ＢＴ是一个稀疏的，长期存储的｛存在硬盘上｝，多维度的，排序的映射表．这张表的索引是行关键字，列关键字和时间戳．每个值是一个不解释的字符数组．｛数据都是字符串，没类型，客户要解释就自力更生吧｝．

(row:string, column:string,time:int64)->string {能编程序的都能读懂，不翻译了}

表项存放的是链接文本。

增加了一个锚点，并删除了另外一个锚点．

Scanner scanner(T);

ScanStream *stream;

stream = scanner.FetchColumnFamily(”anchor”);

stream->SetReturnAllVersions();

scanner.Lookup(”https://www.wendangku.net/doc/305877689.html,n.www”);

for (; !stream->Done(); stream->Next()) {

printf(”%s %s %lld %s\n”,

scanner.RowName(),

stream->ColumnName(),

stream->MicroTimestamp(),

stream->Value());

}

图3: 从

Ｔ数据的模式信息（每张表的列信息）；以及存储访问权限列表．如果有相当长的时间Chubby不能访问，ＢＴ就也不能访问了｛任何系统都有其弱点｝．最近我们在使用11个Chubby服务实例的14个ＢＴ集群中度量了这个效果，由于Chubby不能访问而导致BT中部分数据不能访问的平均百分比是0.0047%,这里Chubby不能访问的原因是Chubby本身失效或者网络问题．单个集群里，受影响最大的百分比是0.0326%｛基于文件系统的Chubby还是很稳定的｝.

归类于：抛砖引玉—美人她爹@ 2:41 am

10条评论?

1.[…] https://www.wendangku.net/doc/305877689.html,/papers/bigtable-osdi06.pdf｛｝中是译者评论第一节介绍[…]

Pingback 由彼岸 ? 翻译:Google大表(BigTable)－－第二节—九月 26, 2006 @ 5:53 am

2.哈哈，好啊

评论由 tinyfool—九月 26, 2006 @ 10:45 am

3.继续努力啊，我等着看后面的呢

评论由 tinyfool—九月 26, 2006 @ 11:11 am

4.华美化妆品网: https://www.wendangku.net/doc/305877689.html,

评论由 huamei—九月 26, 2006 @ 3:36 pm

5.[…] 翻译:Google大表(BigTable) […]

Pingback 由 ? 昨日收集 -社会化搜索：一个关键的等式 | 94smart’s Blog—九月 27, 2006 @ 12:17 am

6.[…] 8个人开发了2年半，现在bigtable的神秘面纱终于揭开了。google发布了一篇相当详细的论文

“Bigtable: A Distributed Storage System for Structured Data ”(pdf版本)。美人他爹和彼岸正在翻译这篇论文，点击查看译文。 […]

Pingback 由 Google Show ? Blog Archive ? Google发布bigtable论文—九月 27, 2006 @ 8:04 pm 7.[…] “8个人开发了2年半，现在bigtable的神秘面纱终于揭开了。google发布了一篇相当详细的论文

“Bigtable: A Distributed Storage System for Structured Data ”(pdf版本)。美人他爹和彼岸正在翻译这篇论文，点击查看译文。”——摘自TV的Google观察Blog […]

Pingback 由我的自卑亭 ? Blog Archive ? google发布bigtable论文—九月 30, 2006 @ 4:08 pm 8.[…] 《Bigtable:结构化数据的分布存储系统》–A Distributed Storage System for Structured Data

[…]

Pingback 由 timemo = time & memo ? Blog Archive ? 免费的晚餐–google技术学习—二月 2,

2007 @ 1:15 pm

10.好象漏掉了一些东西，后面的还没有翻译？

评论由 jack—七月 25, 2007 @ 12:29 pm

RSS方式的评论。TrackBack URI

发表评论

Name （必需）

Mail (will not be published) （必需）

Website

Submit Comment

提示：如果你刚刚提交过评论，但是还没有被显示出来，请点击这里刷新一下：刷新评论。

●页面

About

●分类：

architecture

coding

瞎猜

瞒天过海

空城计

笑里藏刀

美人计

金蝉脱壳

釜底抽薪

苦肉计

隔岸观火

调虎离山

走为上

趁火打劫

maintainance

mock

scifi

travel

Uncategorized

借刀杀人

假痴不颠

假途伐虢

偷梁换柱

关门捉贼

分析

反客为主

另一面

实验

建议

抛砖引玉

指桑骂槐

无中生有

暗渡陈仓

朝花

树上开花

欲擒故纵

混水摸鱼

一句话

上屋抽梯

以逸待劳

●搜索：

搜索

●存档：

一月 2008

十二月 2007

三月 2007

二月 2007

一月 2007

十二月 2006

十一月 2006

十月 2006

九月 2006

八月 2006

七月 2006

六月 2006

五月 2006

四月 2006

三月 2006

二月 2006

一月 2006

●功能导航：

News首页

DoNewsBlog

DoNewsSNS

DoNews社区

MyDoNews

●其他链接：

RSS评论RSS

标准的XHTML XFN WP

哈啰波波

●