HugeGraph-API Performance

• 1: v0.5.6 Stand-alone(RocksDB)
• 2: v0.5.6 Cluster(Cassandra)
• 3: v0.4.4
• 4: v0.2

1 - v0.5.6 Stand-alone(RocksDB)

1 测试环境

被压机器信息

• 起压力机器信息：与被压机器同配置
• 测试工具：apache-Jmeter-2.5.1

注：起压机器和被压机器在同一机房

2 测试说明

2.1 名词定义（时间的单位均为ms）

• Samples – 本次场景中一共完成了多少个线程
• Average – 平均响应时间
• Median – 统计意义上面的响应时间的中值
• 90% Line – 所有线程中90%的线程的响应时间都小于xx
• Min – 最小响应时间
• Max – 最大响应时间
• Error – 出错率
• Throughput – 吞吐量
• KB/sec – 以流量做衡量的吞吐量

2.2 底层存储

后端存储使用RocksDB，HugeGraph与RocksDB都在同一机器上启动，server相关的配置文件除主机和端口有修改外，其余均保持默认。

3 性能结果总结

1. HugeGraph单条插入顶点和边的速度在每秒1w左右
2. 顶点和边的批量插入速度远大于单条插入速度
3. 按id查询顶点和边的并发度可达到13000以上，且请求的平均延时小于50ms

4 测试结果及分析

4.1 batch插入

4.1.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

持续时间：5min

顶点的最大插入速度：

####### 结论：

• 并发2200，顶点的吞吐量是2026.8，每秒可处理的数据：2026.8*200=405360/s

边的最大插入速度

####### 结论：

• 并发900，边的吞吐量是776.9，每秒可处理的数据：776.9*500=388450/s

4.2 single插入

4.2.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

• 持续时间：5min
• 服务异常标志：错误率大于0.00%

顶点的单条插入

####### 结论：

• 并发11500，吞吐量为10730，顶点的单条插入并发能力为11500

边的单条插入

####### 结论：

• 并发9000，吞吐量是8418，边的单条插入并发能力为9000

4.3 按id查询

4.3.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

• 持续时间：5min
• 服务异常标志：错误率大于0.00%

顶点的按id查询

####### 结论：

• 并发14000，吞吐量是12663，顶点的按id查询的并发能力为14000，平均延时为44ms

边的按id查询

####### 结论：

• 并发13000，吞吐量是12225，边的按id查询的并发能力为13000，平均延时为12ms

2 - v0.5.6 Cluster(Cassandra)

1 测试环境

被压机器信息

• 起压力机器信息：与被压机器同配置
• 测试工具：apache-Jmeter-2.5.1

注：起压机器和被压机器在同一机房

2 测试说明

2.1 名词定义（时间的单位均为ms）

• Samples – 本次场景中一共完成了多少个线程
• Average – 平均响应时间
• Median – 统计意义上面的响应时间的中值
• 90% Line – 所有线程中90%的线程的响应时间都小于xx
• Min – 最小响应时间
• Max – 最大响应时间
• Error – 出错率
• Throughput – 吞吐量
• KB/sec – 以流量做衡量的吞吐量

2.2 底层存储

后端存储使用15节点Cassandra集群，HugeGraph与Cassandra集群位于不同的服务器，server相关的配置文件除主机和端口有修改外，其余均保持默认。

3 性能结果总结

1. HugeGraph单条插入顶点和边的速度分别为9000和4500
2. 顶点和边的批量插入速度分别为5w/s和15w/s，远大于单条插入速度
3. 按id查询顶点和边的并发度可达到12000以上，且请求的平均延时小于70ms

4 测试结果及分析

4.1 batch插入

4.1.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

持续时间：5min

顶点的最大插入速度：

####### 结论：

• 并发3500，顶点的吞吐量是261，每秒可处理的数据：261*200=52200/s

边的最大插入速度

####### 结论：

• 并发1000，边的吞吐量是323，每秒可处理的数据：323*500=161500/s

4.2 single插入

4.2.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

• 持续时间：5min
• 服务异常标志：错误率大于0.00%

顶点的单条插入

####### 结论：

• 并发9000，吞吐量为8400，顶点的单条插入并发能力为9000

边的单条插入

####### 结论：

• 并发4500，吞吐量是4160，边的单条插入并发能力为4500

4.3 按id查询

4.3.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

• 持续时间：5min
• 服务异常标志：错误率大于0.00%

顶点的按id查询

####### 结论：

• 并发14500，吞吐量是13576，顶点的按id查询的并发能力为14500，平均延时为11ms

边的按id查询

####### 结论：

• 并发12000，吞吐量是10688，边的按id查询的并发能力为12000，平均延时为63ms

3 - v0.4.4

1 测试环境

被压机器信息

• 起压力机器信息：与编号 1 机器同配置
• 测试工具：apache-Jmeter-2.5.1

注：起压机器和被压机器在同一机房

2 测试说明

2.1 名词定义（时间的单位均为ms）

• Samples – 本次场景中一共完成了多少个线程
• Average – 平均响应时间
• Median – 统计意义上面的响应时间的中值
• 90% Line – 所有线程中90%的线程的响应时间都小于xx
• Min – 最小响应时间
• Max – 最大响应时间
• Error – 出错率
• Throughput – 吞吐量
• KB/sec – 以流量做衡量的吞吐量

2.2 底层存储

后端存储使用RocksDB，HugeGraph与RocksDB都在同一机器上启动，server相关的配置文件除主机和端口有修改外，其余均保持默认。

3 性能结果总结

1. HugeGraph每秒能够处理的请求数目上限是7000
2. 批量插入速度远大于单条插入，在服务器上测试结果达到22w edges/s，37w vertices/s
3. 后端是RocksDB，增大CPU数目和内存大小可以增大批量插入的性能。CPU和内存扩大一倍，性能增加45%-60%
4. 批量插入场景，使用SSD替代HDD，性能提升较小，只有3%-5%

4 测试结果及分析

4.1 batch插入

4.1.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

持续时间：5min

顶点和边的最大插入速度（高性能服务器，使用SSD存储RocksDB数据）：

结论：

• 并发1000，边的吞吐量是是451，每秒可处理的数据：451*500条=225500/s
• 并发2000，顶点的吞吐量是1842.4，每秒可处理的数据：1842.4*200=368480/s

1. CPU和内存对插入性能的影响（服务器都使用HDD存储RocksDB数据，批量插入）

结论：

• 同样使用HDD硬盘，CPU和内存增加了1倍
• 边：吞吐量从268提升至426，性能提升了约60%
• 顶点：吞吐量从1263.8提升至1842.4，性能提升了约45%

2. SSD和HDD对插入性能的影响（高性能服务器，批量插入）

结论：

• 边：使用SSD吞吐量451.7,使用HDD吞吐量426.6，性能提升5%
• 顶点：使用SSD吞吐量1842.4，使用HDD吞吐量1794，性能提升约3%

3. 不同并发线程数对插入性能的影响（普通服务器，使用HDD存储RocksDB数据）

结论：

• 顶点：1000并发，响应时间7ms和1500并发响应时间1028ms差距悬殊，且吞吐量一直保持在1300左右，因此拐点数据应该在1300 ，且并发1300时，响应时间已达到22ms，在可控范围内，相比HugeGraph 0.2（1000并发：平均响应时间8959ms），处理能力出现质的飞跃；
• 边：从1000并发到2000并发，处理时间过长，超过3s，且吞吐量几乎在270左右浮动，因此继续增大并发线程数吞吐量不会再大幅增长，270 是一个拐点，跟HugeGraph 0.2版本（1000并发：平均响应时间31849ms）相比较，处理能力提升非常明显；

4.2 single插入

4.2.1 压力上限测试

测试方法

不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

• 持续时间：5min
• 服务异常标志：错误率大于0.00%

结论：

• 顶点：
  • 4000并发：正常，无错误率，平均耗时小于1ms， 6000并发无错误，平均耗时5ms，在可接受范围内；
  • 8000并发：存在0.01%的错误，已经无法处理，出现connection timeout错误，顶峰应该在7000左右
• 边：
  • 4000并发：响应时间1ms，6000并发无任何异常，平均响应时间8ms，主要差异在于 IO network recv和send以及CPU）；
  • 8000并发：存在0.01%的错误率，平均耗15ms，拐点应该在7000左右，跟顶点结果匹配；

4 - v0.2

1 测试环境

1.1 软硬件信息

起压和被压机器配置相同，基本参数如下：

测试工具：apache-Jmeter-2.5.1

1.2 服务配置

• HugeGraph版本：0.2
• 后端存储：使用服务内嵌的cassandra-3.10，单点部署；
• 后端配置修改：修改了cassandra.yaml文件中的以下两个属性，其余选项均保持默认

  batch_size_warn_threshold_in_kb: 1000
  batch_size_fail_threshold_in_kb: 1000

• HugeGraphServer 与 HugeGremlinServer 与cassandra都在同一机器上启动，server 相关的配置文件除主机和端口有修改外，其余均保持默认。

1.3 名词解释

• Samples – 本次场景中一共完成了多少个线程
• Average – 平均响应时间
• Median – 统计意义上面的响应时间的中值
• 90% Line – 所有线程中90%的线程的响应时间都小于xx
• Min – 最小响应时间
• Max – 最大响应时间
• Error – 出错率
• Troughput – 吞吐量Â
• KB/sec – 以流量做衡量的吞吐量

注：时间的单位均为ms

2 测试结果

2.1 schema

结论：schema的接口，在1000并发持续5分钟的压力下，平均响应时间1-2ms，无压力

2.2 single 插入

2.2.1 插入速率测试

压力参数

测试方法：固定并发量，测试server和后端的处理速率

• 并发量：1000
• 持续时间：5min

性能指标

结论

• 顶点：平均响应时间1ms，每个请求插入一条数据，平均每秒处理920个请求，则每秒平均总共处理的数据为1*920约等于920条数据；
• 边：平均响应时间1ms，每个请求插入一条数据，平均每秒处理920个请求，则每秒平均总共处理的数据为1*920约等于920条数据；

2.2.2 压力上限测试

测试方法：不断提升并发量，测试server仍能正常提供服务的压力上限

压力参数

• 持续时间：5min
• 服务异常标志：错误率大于0.00%

性能指标

结论

• 顶点：
  • 4000并发：正常，无错误率，平均耗时13ms；
  • 5000并发：每秒处理5000个数据的插入，就会存在0.06%的错误，应该已经处理不了了，顶峰应该在4000
• 边：
  • 1000并发：响应时间2ms，跟2000并发的响应时间相差较多，主要是 IO network rec和send以及CPU几乎增加了一倍）；
  • 2000并发：每秒处理2000个数据的插入，平均耗时953ms，平均每秒处理1750个请求；
  • 3000并发：每秒处理3000个数据的插入，平均耗时2258ms，平均每秒处理1810个请求；
  • 4000并发：每秒处理4000个数据的插入，平均每秒处理1812个请求；

2.3 batch 插入

2.3.1 插入速率测试

压力参数

测试方法：固定并发量，测试server和后端的处理速率

• 并发量：1000
• 持续时间：5min

性能指标

结论

• 顶点：平均响应时间为8959ms，处理时间过长。每个请求插入199条数据，平均每秒处理103个请求，则每秒平均总共处理的数据为199*131约等于2w条数据；
• 边：平均响应时间31849ms，处理时间过长。每个请求插入499个数据，平均每秒处理28个请求，则每秒平均总共处理的数据为28*499约等于13900条数据；