那种高速交易是怎么做到的？

发信人: jesuszhu (jesuszhu), 信区: Python
标题: Re: 那种高速交易是怎么做到的？
发信站: 水木社区 (Thu Aug 25 11:44:26 2011), 转信

你是说Oceanbase吗? 它其实是分布的, 但设计非常特殊. 你说的这个单机是它的
updateserver, 这机器是个纯内存的数据库, 当然非常快, 确实机器也非常好. 然后它的
数据会慢慢扩散到下边的chunkserver上做持久化. 查询时updateserver内存中的最新数据
需要和chunkserver中之前持久化的数据做一次merge后返回给用户. 这个项目很快就开源
了, 欢迎大家有兴趣去研究....

【在 josephpei (Nikon，感动常在) 的大作中提到: 】
: 硬件
: 阿里巴巴的自己搞的一个数据库据说还不是分布式的，是单机的，人家有钱搞超级牛的
服务器

发信人: xm1y (xmly), 信区: Python
标题: Re: 那种高速交易是怎么做到的？
发信站: 水木社区 (Thu Aug 25 11:56:10 2011), 转信

VoltDB 是full memory database
磁盘IO都是被优化过的而且低成本
他们主要面向客户就是金融客户

MySql Cluster 更是号称

MySQL Cluster 7.1 Delivers 6.82m Operations Per Second across 16
Intel Servers

6.82m Reads per Second.

2.5m Updates per Second across 8 Intel Servers.

当然这都是低成本的实现方式

金融机构有的是钱那就大型机+ Oracle RCA 解决问题了
基本上也到了这个速度

前端在放一组 app cluster 接受order

http://rdc.taobao.com/blog/cs/?p=956

发信人: kabbesy (资深PPTer重出江湖), 信区: Java
标题: Re: 据说taobao开源了个海量数据库
发信站: 水木社区 (Thu Sep 1 20:54:51 2011), 站内

看完了，大概是这样子的

更新类操作提交给updateServer
这货在纯粹的内存中进行记录并维护事务
基于c++实现很可能也是这块对malloc有很高的要求

虽然updateServer是单机，但有commit log，且有热备

动态数据commit后到一个128M的内存块
满后冻结并持久化写入chunk server（也就是一般意义上的data node）中的ssd
chunk server在相对空闲时，将这些碎片ssd合并入自己的主内容块
（这里跟各种搜索引擎中，倒排序索引的增量合并应该是一个套路）

以上都没啥特殊的，特殊的在于查询时并非直接获取chunk server
（因为它怎么着都有写延迟）
而是去叫做 merge server的东东上获取

它会合并update server 内存块和chunk server数据块中各自的查询结果
最典型的例子就是 delete * from A where id = 1 后的一段时间内
chunkserver并未及时更新，但是update server有此记录（或者是某个地方，没细究）

基本上，这个东东的模式基本是：hbase + delta index 俩模式的合并
所以才能一方面保持超大数据规模，同时还有比较高的查询实时性，至于事务什么的纯靠单机内存来实现的

但是有个问题是写入频度并不是超高的那种
而且单机update server依旧还是个写入的单点 ╮(╯_╰)╭
我觉得如果拿cache + mysql proxy + nosql 的组合，应该也能模拟个七七八八

最后，完整的实现真令人钦佩
taobao太牛逼了！国内最强啊！

这个赞同，很像

oceanbase自己维护了chunkserver中的数据副本（hbase把这个复杂度扔给hdfs了），然后再扣除了zookeeper

但是比hbase强的就是其 memtable了，这一点更像bigtable

【在 kabbesy (资深PPTer重出江湖) 的大作中提到: 】
: 看了开头，貌似跟hbase一样啊

Published on Sep 01, 2011 in categories non-tech