2016年度版...

2016年度版ビッグデータ関連ソフトウェアの動向調査

2017年2月15日

日本OSS推進フォーラム

ビッグデータ部会発表者：富士通株式会社野山孝太郎（[email protected]）

Copyright 2017 Japan OSS Promotion Forum

mailto:[email protected]

本資料は、日本OSS推進フォーラムビッグデータ部会にて、ビッグデータ基盤を実現するオープンソースソフトウェアの動向を調査したものです。

本調査は、Webなどから一般的に収集可能な情報を元に最近の傾向を把握する事を目的としています。本調査結果のみを元に各ソフトウェアの良し悪しを論じるものではありません。


はじめに

1


皆さんは

オープンソースの

流行り廃りを

どの様に調べていますか？

2


Google Trendsで検索？

https://www.google.co.jp/trends/

3


Git HubのStarに注目？

4


ビッグデータ部会では昨年に引き続き

オープンソースの最近の動向を

様々な視点（数値）で調査しました最近の傾向を把握する一つの目安として

軽い気持ちで聞いて下さい

＃この結果のみをもって各ソフトウェアの良し悪しを

＃論じているわけではありません！

5

様々なデータを「収集・検知」する機能、収集・検知したデータを「蓄積・貯蔵」する機能、蓄積・貯蔵したデータを「分析」する機能にソフトウェアを分類した上で黒字・赤字（昨年調査から追加したもの）を対象に調査

Copyright 2015-2017 Japan OSS Promotion Forum

調査対象のソフトウェア

データソースデータ収集・検知ビッグデータ蓄積・貯蔵・その他

高速化キャッシュ/スケールアウト

データ分析

分析用データ

解析ツール

Apache Hadoop MapReduce

Apache Hadoop YARN

Apache Mesos

Apache Spark

Apache Tez

並列分散処理

Apache ManifoldCF

Apache Nutch

クローラ

Apache Sqoop

Talend

データロード

Apache Flume

Apache Kafka

Fluentd

収集

Apache S4

Apache Spark

Streaming

Apache Storm

Esper

Drools Fusion

CEP

Apache Hadoop HDFS

Ceph

GlusterFS

Lustre

データ蓄積ファイルシステムMlib

Jubatus

Hivemall

機械学習

R言語

統計解析

Pentaho

JasperReports

BI/BAツール

Hinemos

Zabbix

運用管理/監視

MySQL

PostgreSQL

定型業務RDB

※OSSで著名なもの

はない

DWH/ﾏｰﾄﾚｽDB

Webデータ

売上情報など

センサデータ

システムログ

音声

画像

構造化データ

（業務RDB）

非構造化データ

Apache Sqoop

データロード

VoltDB

インメモリDB

Apache Cassandra MongoDB

Apache Hbase Redis

Infinispan Riak Neo4j

インメモリDG/分散KVS/グラフDB

ElasticSearch

全文検索エンジン

MIT Kerberos

OpenLDAP

セキュリティ/認証

Apache Drill

Apache Hive

Apache Spark SQL

Impala

準リアルタイムクエリ

ディープラーニング

Caffe

Chainer

CNTK

Deeplearning4j

DSSTNE

PredictionIO

TensorFlow

Theano

Torch7

（※）灰色のソフトウェアは今回の調査対象からは除外

6

該当ソフトウェアの約3/4はApache License 2.0を採用

Apache Software Foundationが管理するソフトウェアが多い事が理由の一つ

Impala、Hivemall、PredictionIOなどもApacheのIncubator Projectに認定


採用しているオープンソースライセンス

Apache License 2.0

72.7%

GNU

General Public License

GNU

Lesser General Public Licenseその他

11.4%

73.7%

13.2%9.1%

6.8%7.9%

5.3%

内側：昨年調査

外側：今年調査

7

最も利用されている言語は「Java」（48.4%）。

次いで「C++」（16.7%）、「Python」（8.9%）、「C言語」（6.5%）と続く。


どの様なプログラミング言語で開発されているか？

Java

48.4%

C++

16.7%

C

6.5%

Scala

6.1%

Python

8.9%

Other

13.4%

Apache Mesos,

Caffe, Ceph,

CNTK, DSSTNE,

Jubatus, MongoDB

Chainer, Theano

GlusterFS, Redis

Apache Spark,

Apache PredictionIO

8

以下の4つの視点で調査


調査観点

開発の活性度そのソフトウェアは活発に開発されていますか？

ビジネスの活性度そのソフトウェアはビジネスで活用されていますか？

技術者の注目度そのソフトウェアはどれくらい注目されていますか？

技術情報の充実度そのソフトウェアの情報はどれくらい豊富にありますか？

9


開発の活性度そのソフトウェアは活発に開発されていますか？

10

開発者数

2016年に開発リポジトリ（GitHubなど）にCommitした人数

および 2015年からの増加率

開発量

2016年に開発リポジトリ（GitHubなど）にCommitした数

および 2015年からの増加率

活動日

全開発期間におけるCommitされた日の割合

開発者向けメーリングリストの流量

2016年に開発者向けメーリングリストに投稿されたメールの量

イシュー解決率

全イシューにおけるクローズされたイシューの割合

今回の調査ではプライオリティ（など）による絞込みは行っていない


「開発の活性度」の調査項目

11


開発者数（Committer）

0

20

40

60

80

100

120

140

1602001/0

1

2001/0

5

2001/0

9

2002/0

1

2002/0

5

2002/0

9

2003/0

1

2003/0

5

2003/0

9

2004/0

1

2004/0

5

2004/0

9

2005/0

1

2005/0

5

2005/0

9

2006/0

1

2006/0

5

2006/0

9

2007/0

1

2007/0

5

2007/0

9

2008/0

1

2008/0

5

2008/0

9

2009/0

1

2009/0

5

2009/0

9

2010/0

1

2010/0

5

2010/0

9

2011/0

1

2011/0

5

2011/0

9

2012/0

1

2012/0

5

2012/0

9

2013/0

1

2013/0

5

2013/0

9

2014/0

1

2014/0

5

2014/0

9

2015/0

1

2015/0

5

2015/0

9

2016/0

1

2016/0

5

2016/0

9

Apache Cassandra Apache Drill Apache Flume Apache Hadoop Apache HBase

Apache Hive Apache Kafka Apache ManifoldCF Apache Mesos Apache Nutch

Apache S4 Apache Spark Apache Sqoop Apache Storm Caffe

Ceph Chainer CNTK Deeplearning4j Drools Fusion

DSSTNE Elasticsearch Esper Fluentd GlusterFS

Hivemall Impala Infinispan Jubatus Lustre

MongoDB PredictionIO Redis Riak TensorFlow

Theano Torch7 VoltDB

Ceph

TensorFlow

Apache Spark

Elasticsearch

12


月平均の開発者数ランキング

TensorFlow（105）

1位

10位

３位

CNTK（33）

Elasticsearch（53）

2位 Apache Spark（101）

4位 MongoDB（49）

7位 Apache Hive（35）

6位 Apache Kafka（38）

7位 Apache Cassandra（35）

7位 Apache Mesos（35）

Apache Spark（121）

1位

2位

３位


MongoDB（43）

4位 Apache Hadoop（40）

5位 GlusterFS（40）



7位 VoltDB（33）


10位 VoltDB（33）

9位 Apache Hive（32）

10位 Theano（27）

TensorFlow（5）

26位

13位 Apache Kafka（22）

17位 CNTK（15）

12位 GlusterFS（32）


2016年 2015年

13

Apache Cassandra

Apache Hadoop

Apache HBase

Apache Hive

Apache Kafka

Apache MesosApache Spark

CNTK

Elasticsearch

GlusterFS

MongoDB

TensorFlow

Theano

VoltDB

0

25

0 20 40 60 80 100 120


開発者数［横軸］と成長率［縦軸］

14


開発量（Commit）

0

200

400

600

800

1000

1200

1400

1600

18002001/0

1

2001/0

5

2001/0

9

2002/0

1

2002/0

5

2002/0

9

2003/0

1

2003/0

5

2003/0

9

2004/0

1

2004/0

5

2004/0

9

2005/0

1

2005/0

5

2005/0

9

2006/0

1

2006/0

5

2006/0

9

2007/0

1

2007/0

5

2007/0

9

2008/0

1

2008/0

5

2008/0

9

2009/0

1

2009/0

5

2009/0

9

2010/0

1

2010/0

5

2010/0

9

2011/0

1

2011/0

5

2011/0

9

2012/0

1

2012/0

5

2012/0

9

2013/0

1

2013/0

5

2013/0

9

2014/0

1

2014/0

5

2014/0

9

2015/0

1

2015/0

5

2015/0

9

2016/0

1

2016/0

5

2016/0

9



Apache S4 Apache Spark Apache Sqoop Apache Storm Caffe

Ceph Chainer CNTK Deeplearning4j Drools Fusion

DSSTNE Elasticsearch Esper Fluentd GlusterFS

Hivemall Impala Infinispan Jubatus Lustre

MongoDB PredictionIO Redis Riak TensorFlow

Theano Torch7 VoltDB

Ceph

MongoDB

TensorFlow

CNTK

Elasticsearch

15


月平均の開発量ランキング

TensorFlow（1,002）

1位

2位

３位

CNTK（635）


4位 Apache Spark（362）

5位 Chainer（336）







1位

2位

３位

Apache Spark（419）

Theano（371）



6位 Apache Cassndra（326）



9位 Chainer（247）

10位 CNTK（243）

TensorFlow（44）

22位12位 Apache Hadoop（208）

2016年 2015年

16

Apache Cassandra

Apache Hadoop

Apache HBase

Apache Hive

Apache Kafka

Apache Mesos Apache Spark

Apache Storm

Chainer

CNTK

Deeplearning4j

Elasticsearch

Fluentd

GlusterFS

Impala

Infinispan

MongoDB

TensorFlow

TheanoVoltDB

0

200

400

600

800

1000

1200

0 20 40 60 80 100 120


開発者数［横軸］と開発量［縦軸］

17


活動日

0.05

0.19

0.24

0.24

0.27

0.28

0.29

0.29

0.29

0.36

0.42

0.49

0.53

0.55

0.55

0.55

0.60

0.60

0.62

0.65

0.67

0.70

0.70

0.70

0.72

0.73

0.75

0.76

0.78

0.80

0.81

0.81

0.82

0.83

0.85

0.85

0.90

0.91

0.98

0.00 0.20 0.40 0.60 0.80 1.00 1.20

Apache S4

Apache Sqoop

Apache Nutch

Esper

Torch7

DSSTNE

Apache Flume

Hivemall

Riak

Jubatus

Fluentd

Apache ManifoldCF

PredictionIO

Apache Drill

Apache Kafka

Redis

Apache Tez

Ceph

Apache Mesos

Caffe

Drools Fusion

Neo4j

Apache Storm

Infinispan

Apache Hive

Impala

Apache Spark

Theano

GlusterFS

Apache Hadoop

Apache HBase

VoltDB

CNTK

Apache Cassandra

MongoDB

Deeplearning4j

Elasticsearch

Chainer

Tensorflow

週休1日

週休2日

週休3日

18


開発者向けメーリングリストの流量推移

0

1000

2000

3000

4000

5000

6000

7000

2005/0

2

2005/0

5

2005/0

8

2005/1

1

2006/0

2

2006/0

5

2006/0

8

2006/1

1

2007/0

2

2007/0

5

2007/0

8

2007/1

1

2008/0

2

2008/0

5

2008/0

8

2008/1

1

2009/0

2

2009/0

5

2009/0

8

2009/1

1

2010/0

2

2010/0

5

2010/0

8

2010/1

1

2011/0

2

2011/0

5

2011/0

8

2011/1

1

2012/0

2

2012/0

5

2012/0

8

2012/1

1

2013/0

2

2013/0

5

2013/0

8

2013/1

1

2014/0

2

2014/0

5

2014/0

8

2014/1

1

2015/0

2

2015/0

5

2015/0

8

2015/1

1

2016/0

2

2016/0

5

2016/0

8

2016/1

1



Apache S4 Apache Spark Apache Sqoop Apache Storm Apache Tez

Hivemall Impala Lustre PredictionIO

Apache Hadoop

Apache Hive

Apache

Storm

Apache

Kafka

（※）メールの流量のみ。

（※）近年はGoogle Groupsなどメール以外の媒体で

議論するケースも多い為、メール流量＝議論の活発度にはならない。

19


イシュー解決率

13.0

43.4

55.6

62.3

62.6

64.4

65.6

67.3

68.4

70.3

72.1

72.6

73.5

73.7

74.6

75.5

77.3

78.1

79.8

80.2

82.1

82.7

83.5

85.2

85.2

86.2

89.3

90.1

91.5

91.8

95.6

0 20 40 60 80 100 120

GlusterFS

PredictionIO

CNTK

Redis

Apache Drill

Apache Storm

Chainer

Apache Mesos

Riak

Theano

Apache Flume

Apache Kafka

Apache Hive

Apache Tez

DSSTNE

Apache Sqoop

Torch7

Deeplearning4j

Neo4j

Caffe

Apache Nutch

Tensorflow

Apache Hadoop

Esper

Apache HBase

Apache Spark

Apache Cassandra

Jubatus

Elasticsearch

Fluentd

Apache ManifoldCF

（※）今回の調査ではイシューの種類や

プライオリティに対する絞込みは未実施。

（※）本結果は全イシューに対するクローズの割合。

20

Apache Cassandra

Apache Drill

Apache Flume

Apache Hadoop

Apache HBase

Apache Hive

Apache Kafka

Apache ManifoldCF

Apache Mesos

Apache Nutch

Apache S4

Apache Spark

Apache Sqoop

Apache Storm

Apache Tez

Caffe

Ceph

Chainer

CNTK

Deeplearning4j

Drools FusionDSSTNE

Elasticsearch

Esper

Fluentd

GlusterFS

Hivemall

Impala Infinispan

Jubatus

MongoDB

Neo4j

PredictionIO

Redis

Riak Tensorflow

Theano

Torch7

VoltDB

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%


Top1［横軸］とTop5［縦軸］までの開発比率

21


「開発の活性度」ランキング

1位

Elasticsearch2位

Apache Spark3位

※各ソフトウェアの各調査項目に対する偏差値を比較したランキング

MongoDB4位 CNTK5位

TensorFlow

22


ビジネスの活性度そのソフトウェアはビジネスで活用されていますか？

23

利用企業数

StackShare（https://stackshare.io/）に登録されている利用企業数（Stacks）

求人数

StackShare（https://stackshare.io/）に登録されている求人数（Jobs）

StackOverflow（http://stackoverflow.com/）に登録されている求人数（Jobs）


「ビジネスの活性度」の調査項目

24


利用企業数（StackShare）

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

2

2

17

20

28

32

55

61

93

152

224

261

333

362

1,840

3,160

3,460

0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000

Apache Flume

Apache Hive

Apache ManifoldCF

Apache Nutch

Apache S4

Apache Sqoop

Apache Tez

Caffe

Ceph

Chainer

CNTK

Deeplearning4j

Drools Fusion

DSSTNE

Esper

GlusterFS

Hivemall

Infinispan

Jubatus

Lustre

Riak

Theano

Torch7

Apache Drill

VoltDB

PredictionIO

Impala

Fluentd

Tensorflow

Apache Storm

Apache HBase

Apache Mesos

Neo4j

Apache Spark

Apache Kafka

Apache Hadoop

Apache Cassandra

Elasticsearch

MongoDB

Redis

25


求人数（StackShare）

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

2

2

3

12

13

30

47

135

138

193

510

523

535

546

582

640

798

0 100 200 300 400 500 600 700 800 900

Apache Flume

Apache Hive

Apache ManifoldCF

Apache Nutch

Apache S4

Apache Sqoop

Apache Tez

Caffe

Ceph

Chainer

CNTK

Deeplearning4j

Drools Fusion

DSSTNE

Esper

GlusterFS

Hivemall

Infinispan

Jubatus

Lustre

Riak

Theano

Torch7

Fluentd

PredictionIO

VoltDB

Apache Drill

Neo4j

Tensorflow

Impala

Apache HBase

Apache Mesos

Apache Storm

Apache Kafka

Apache Cassandra

Apache Spark

Elasticsearch

MongoDB

Apache Hadoop

Redis

26


求人数（StackOverflow）

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

1

1

1

2

2

3

4

6

7

7

13

28

30

34

40

46

48

61

0 10 20 30 40 50 60 70

Apache Drill

Apache ManifoldCF

Apache Nutch

Apache S4

Apache Sqoop

Apache Tez

Chainer

CNTK

Deeplearning4j

Drools Fusion

DSSTNE

Esper

Fluentd

GlusterFS

Hivemall

Infinispan

Jubatus

Neo4j

PredictionIO

Riak

Torch7

VoltDB

Apache Flume

Caffe

Theano

Ceph

Impala

Lustre

Tensorflow

Apache Storm

Apache HBase

Apache Mesos

Apache Hive

Apache Kafka

Apache Cassandra

MongoDB

Redis

Elasticsearch

Apache Spark

Apache Hadoop

27


「ビジネスの活性度」ランキング

1位

MongoDB2位

Elasticsearch3位


Apache Hadoop4位 Apache Spark5位

Redis

28


技術者の注目度そのソフトウェアはどれくらい注目されていますか？

29

注目している人の数

GitHub（https://github.com/）のスター数

Twitter（https://twitter.com/）のフォロワー数

Qiita（http://qiita.com/）のフォロワー数

StackShare（https://stackshare.io/）のファン数

検索されている数

Google Trends（https://www.google.co.jp/trends/）の値

全世界と日本

Node.jsと比較した相対値


「技術者の注目度」の調査項目

30


スター数（GitHub）

22

34

38

132

212

267

481

524

619

750

787

850

923

1,004

1,022

1,073

1,198

1,749

2,118

2,702

2,832

2,855

2,873

3,262

3,460

3,591

3,884

4,536

4,930

5,390

5,603

6,310

9,460

9,955

11,591

15,779

20,658

21,670

44,995

0 5,000 10,000 15,000 20,000 25,000 30,000 35,000 40,000 45,000 50,000

Lustre

Apache S4

Apache ManifoldCF

Apache Tez

Esper

Apache Sqoop

Hivemall

Infinispan

Jubatus

Apache Drill

Drools Fusion

Apache Flume

VoltDB

GlusterFS

Apache Nutch

Apache HBase

Apache Hive

Impala

Chainer

Riak

Apache Hadoop

Ceph

Apache Mesos

Apache Cassandra

Neo4j

DSSTNE

Apache Storm

Apache Kafka

Fluentd

Deeplearning4j

Theano

Torch7

CNTK

PredictionIO

Apache Spark

Caffe

Elasticsearch

Redis

Tensorflow

31


フォロワー数（Twitter）

10

42

45

54

236

454

979

985

1,072

1,079

1,499

1,579

1,591

2,669

3,616

4,003

5,906

6,001

6,807

9,038

14,631

15,420

18,097

20,789

29,685

38,226

39,518

260,668

0 50,000 100,000 150,000 200,000 250,000 300,000

Apache Sqoop

GlusterFS

Hivemall

Apache ManifoldCF

Apache Tez

Apache Nutch

Apache Storm

Jubatus

Apache Hive

Infinispan

Fluentd

Chainer

Elasticsearch

Neo4j

Apache Drill

PredictionIO

Ceph

VoltDB

Apache HBase

Tensorflow

Redis

Apache Kafka

Apache Spark

Deeplearning4j

Apache Hadoop

Apache Cassandra

Apache Mesos

MongoDB

32


フォロワー数（Qiita）

0

0

0

0

0

0

0

0

1

2

5

5

5

6

8

8

11

12

13

19

21

25

31

31

41

43

69

72

73

84

90

108

361

362

414

533

656

657

1,413

4,885

0 1,000 2,000 3,000 4,000 5,000 6,000

Apache ManifoldCF

Apache Nutch

Apache S4

Esper

Infinispan

Lustre

PredictionIO

Torch7

Apache Sqoop

Hivemall

Apache Flume

Drools Fusion

VoltDB

DSSTNE

Apache Drill

CNTK

Apache Tez

Ceph

Impala

GlusterFS

Deeplearning4j

Apache Mesos

Apache Storm

Jubatus

Apache HBase

Theano

Riak

Apache Kafka

Apache Cassandra

Neo4j

Apache Hive

Caffe

Apache Spark

Apache Hadoop

Redis

Fluentd

Chainer

Elasticsearch

Tensorflow

MongoDB

33


ファン数（StackShare）

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

7

7

24

25

25

43

57

63

118

181

209

282

317

356

1,700

2,960

3,110

0 500 1,000 1,500 2,000 2,500 3,000 3,500

Apache Flume

Apache Hive

Apache ManifoldCF

Apache Nutch

Apache S4

Apache Sqoop

Apache Tez

Caffe

Ceph

Chainer

CNTK

Deeplearning4j

Drools Fusion

DSSTNE

Esper

GlusterFS

Hivemall

Infinispan

Jubatus

Lustre

Riak

Theano

Torch7

Apache Drill

VoltDB

Impala

Fluentd

PredictionIO

Tensorflow

Apache HBase

Apache Storm

Apache Mesos

Neo4j

Apache Spark

Apache Kafka

Apache Hadoop

Apache Cassandra

Elasticsearch

MongoDB

Redis

34


Google Trends（全世界）

0

0

0

0

0

0

0

0

0

0

0

1

1

1

1

1

1

1

1

2

2

2

3

3

3

3

4

5

5

6

8

8

8

10

16

18

20

43

48

87

0 10 20 30 40 50 60 70 80 90 100

Apache ManifoldCF

Apache Mesos

Apache Nutch

Apache S4

Apache Tez

Deeplearning4j

DSSTNE

Hivemall

Jubatus

PredictionIO

Torch7

Apache Drill

Apache Flume

Apache HBase

Apache Sqoop

CNTK

Infinispan

Riak

VoltDB

Chainer

Esper

Fluentd

Apache Cassandra

Apache Hive

Apache Kafka

Apache Storm

Theano

GlusterFS

Lustre

Drools Fusion

Apache Hadoop

Ceph

Neo4j

Caffe

Apache Spark

Tensorflow

Impala

Redis

Elasticsearch

MongoDB

35


Google Trends（日本）

0

0

0

0

0

0

0

0

0

1

2

2

2

2

3

3

3

3

4

4

4

4

4

5

5

5

5

6

7

7

7

10

15

21

38

41

52

54

59

63

0 10 20 30 40 50 60 70

Apache Flume

Apache HBase

Apache ManifoldCF

Apache Nutch

Apache S4

Apache Sqoop

Apache Tez

DSSTNE

Hivemall

PredictionIO

Apache Mesos

Deeplearning4j

Infinispan

VoltDB

CNTK

Esper

Jubatus

Riak

Apache Cassandra

Apache Drill

Apache Kafka

Drools Fusion

Torch7

Apache Hive

Apache Storm

Impala

Lustre

Apache Hadoop

GlusterFS

Neo4j

Theano

Ceph

Apache Spark

Caffe

Chainer

Fluentd

Tensorflow

Elasticsearch

MongoDB

Redis

36

Apache Spark

Caffe

Ceph

Chainer

Elasticsearch

Fluentd

Impala

MongoDB

Redis

Tensorflow

0

10

20

30

40

50

60

70

0 10 20 30 40 50 60 70 80 90 100


Google Trends 全世界［横軸］と日本［縦軸］

37


「技術者の注目度」ランキング

1位

Redis2位

Elasticsearch3位


Tensorflow4位 Caffe5位

MongoDB

38


技術情報の充実度そのソフトウェアの情報はどれくらい豊富にありますか？

39

書籍数

Amazon（https://www.amazon.com/）で購入可能な書籍数

洋書と和書

勉強会／セミナーの数

Connpass（https://connpass.com/）に登録されている勉強会／セミナーの数

プレゼンテーション数

SlidShare（http://www.slideshare.net/）に登録されている日本語スライド数

技術Q&Aの数

StackOverflow（http://stackoverflow.com/）に登録されている技術Q&Aの数

以下のサイトに登録されている技術Q&Aの数

QA@IT（http://qa.atmarkit.co.jp/）

teratail（https://teratail.com/）

スタック・オーバフロー（http://ja.stackoverflow.com/）

技術記事の数

Hacker News（https://news.ycombinator.com/）に登録されている技術記事の数

Qiita（http://qiita.com/）に登録されている技術記事の数

利用者向けメーリングリストの流量

2016年に利用者向けメーリングリストに投稿されたメールの量


「技術情報の充実度」の調査項目

40


書籍数／洋書（Amazon）

0

0

0

0

0

0

0

1

1

1

2

2

2

2

2

3

3

4

4

5

6

7

7

7

8

8

9

9

10

15

18

19

23

31

34

35

39

62

128

239

0 50 100 150 200 250 300

Apache ManifoldCF

Apache S4

CNTK

DSSTNE

Hivemall

PredictionIO

VoltDB

Caffe

Chainer

Deeplearning4j

Apache Drill

Apache Tez

Fluentd

GlusterFS

Infinispan

Esper

Jubatus

Apache Nutch

Lustre

Torch7

Apache Flume

Apache HBase

Apache Mesos

Drools Fusion

Apache Sqoop

Impala

Ceph

Riak

Apache Kafka

Apache Storm

Tensorflow

Apache Hive

Neo4j

Theano

Elasticsearch

Apache Cassandra

Apache Spark

Apache Hadoop

MongoDB

Redis

41


書籍数／和書（Amazon）

0

0

0

0

0

0

0

0

0

0

1

1

1

2

2

2

3

3

3

4

4

5

5

5

6

6

7

9

9

10

11

16

19

23

24

26

38

43

67

83

0 10 20 30 40 50 60 70 80 90

Apache ManifoldCF

Apache S4

CNTK

DSSTNE

Esper

Hivemall

Lustre

PredictionIO

Torch7

VoltDB

Deeplearning4j

GlusterFS

Impala

Apache Drill

Apache Tez

Infinispan

Apache Nutch

Drools Fusion

Jubatus

Apache Storm

Riak

Apache Flume

Apache HBase

Ceph

Apache Kafka

Apache Sqoop

Apache Mesos

Apache Hive

Theano

Fluentd

Caffe

Elasticsearch

Apache Cassandra

Chainer

Neo4j

Apache Spark

Apache Hadoop

Tensorflow

MongoDB

Redis

42


勉強会／セミナー数（Connpass）

0

0

0

0

0

0

0

1

1

1

1

1

1

2

2

2

3

3

4

5

6

6

7

9

12

12

13

15

16

23

23

30

34

35

42

44

54

57

69

198

0 50 100 150 200 250

Apache Flume

Apache ManifoldCF

Apache S4

Apache Storm

Apache Tez

Esper

VoltDB

Apache Nutch

Apache Sqoop

Drools Fusion

DSSTNE

Lustre

PredictionIO

Deeplearning4j

Hivemall

Infinispan

Apache Drill

Apache Mesos

Apache HBase

Torch7

Apache Hive

Impala

Theano

GlusterFS

CNTK

Jubatus

Apache Kafka

Caffe

Ceph

Apache Hadoop

Redis

Neo4j

Fluentd

Apache Cassandra

MongoDB

Elasticsearch

Apache Spark

Riak

Chainer

Tensorflow

43


プレゼンテーション数（SlideShare）

0

2

4

4

4

5

6

9

9

12

14

17

30

32

36

38

40

44

49

56

57

58

60

63

70

71

73

82

112

121

176

180

223

224

320

338

380

455

1,063

0 200 400 600 800 1,000 1,200

PredictionIO

DSSTNE

Apache ManifoldCF

CNTK

Drools Fusion

Deeplearning4j

Infinispan

Lustre

VoltDB

Apache Nutch

Esper

Hivemall

Torch7

Apache Tez

Apache Sqoop

Apache Mesos

Theano

Neo4j

GlusterFS

Tensorflow

Riak

Caffe

Apache Flume

Apache Kafka

Ceph

Apache Drill

Chainer

Impala

Apache Storm

Jubatus

Apache Cassandra

Elasticsearch

Fluentd

Apache HBase

Apache Spark

Apache Hive

Redis

MongoDB

Apache Hadoop

44


技術Q&A数（StackOverflow）

0

0

2

11

57

61

78

185

195

244

277

279

286

289

324

365

405

474

551

792

916

991

1,286

1,328

1,669

1,769

1,833

2,231

3,445

4,224

5,681

5,702

6,802

7,700

14,070

29,524

30,172

39,594

50,838

76,817

0 10,000 20,000 30,000 40,000 50,000 60,000 70,000 80,000 90,000

Chainer

DSSTNE

Jubatus

Hivemall

Apache S4

Apache ManifoldCF

Apache Tez

Torch7

Lustre

Deeplearning4j

CNTK

VoltDB

Apache Sqoop

PredictionIO

Apache Mesos

Ceph

GlusterFS

Apache Drill

Apache Flume

Fluentd

Apache Nutch

Apache Storm

Apache HBase

Apache Kafka

Apache Hive

Impala

Infinispan

Riak

Caffe

Theano

Apache Hadoop

Drools Fusion

Apache Spark

Esper

Tensorflow

Neo4j

Apache Cassandra

Redis

Elasticsearch

MongoDB

45


技術Q&A数（スタック・オーバフローなど）

0

0

0

0

0

0

0

0

1

1

1

1

1

1

1

1

1

2

2

2

2

2

3

4

4

5

7

8

12

15

21

30

34

38

48

56

76

78

83

182

0 20 40 60 80 100 120 140 160 180 200

Apache Hive

Apache S4

Apache Storm

Apache Tez

DSSTNE

Esper

Infinispan

Lustre

Apache Drill

Apache ManifoldCF

Apache Nutch

Apache Sqoop

CNTK

Deeplearning4j

GlusterFS

Hivemall

PredictionIO

Apache Mesos

Drools Fusion

Jubatus

Neo4j

VoltDB

Apache Flume

Impala

Torch7

Apache Kafka

Apache HBase

Riak

Ceph

Theano

Apache Cassandra

Caffe

Fluentd

Apache Spark

Chainer

Apache Hadoop

Tensorflow

Elasticsearch

Redis

MongoDB

46


技術記事数（Hacker News）

0

3

3

3

7

11

28

29

30

31

42

59

72

74

79

79

100

115

119

129

187

200

203

220

221

277

331

333

353

384

570

623

680

775

1,293

1,824

2,236

4,283

13,350

14,322

0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000

Apache ManifoldCF

Apache S4

Hivemall

Jubatus

Apache Tez

Apache Sqoop

Apache Flume

Infinispan

DSSTNE

Apache Nutch

Chainer

Caffe

Apache Drill

CNTK

Apache Hive

Esper

PredictionIO

Torch7

Apache HBase

Drools Fusion

Deeplearning4j

Lustre

Apache Storm

Fluentd

Apache Mesos

Apache Cassandra

GlusterFS

Impala

Apache Kafka

VoltDB

Apache Hadoop

Theano

Ceph

Apache Spark

Neo4j

Tensorflow

Riak

Elasticsearch

Redis

MongoDB

47


技術記事数（Qiita）

0

0

0

0

1

2

2

3

3

3

4

4

5

6

7

8

10

11

13

14

17

24

28

37

38

53

53

62

78

93

116

117

334

347

358

486

548

667

698

776

0 100 200 300 400 500 600 700 800 900

Esper

Infinispan

Lustre

Torch7

Apache S4

Apache Nutch

Drools Fusion

Apache ManifoldCF

Apache Sqoop

VoltDB

CNTK

DSSTNE

Hivemall

PredictionIO

Apache Drill

Apache Tez

Apache Flume

Ceph

Impala

Deeplearning4j

Apache Mesos

GlusterFS

Apache Storm

Apache HBase

Theano

Apache Cassandra

Jubatus

Apache Kafka

Riak

Caffe

Apache Hive

Neo4j

Chainer

Apache Hadoop

Apache Spark

Redis

Fluentd

Elasticsearch

Tensorflow

MongoDB

48


利用者向けメーリングリストの流量推移

0

500

1000

1500

2000

2500

3000

2005/0

3

2005/0

6

2005/0

9

2005/1

2

2006/0

3

2006/0

6

2006/0

9

2006/1

2

2007/0

3

2007/0

6

2007/0

9

2007/1

2

2008/0

3

2008/0

6

2008/0

9

2008/1

2

2009/0

3

2009/0

6

2009/0

9

2009/1

2

2010/0

3

2010/0

6

2010/0

9

2010/1

2

2011/0

3

2011/0

6

2011/0

9

2011/1

2

2012/0

3

2012/0

6

2012/0

9

2012/1

2

2013/0

3

2013/0

6

2013/0

9

2013/1

2

2014/0

3

2014/0

6

2014/0

9

2014/1

2

2015/0

3

2015/0

6

2015/0

9

2015/1

2

2016/0

3

2016/0

6

2016/0

9

2016/1

2



Apache S4 Apache Spark Apache Sqoop Apache Storm Apache Tez

Hivemall Impala PredictionIO Riak

Apache Hadoop

Apache Spark

Apache Nutch

Apache Cassandra

Apache Kafka

49


「技術情報の充実度」ランキング

1位

Redis2位

TensorFlow3位


Elasticsearch4位 Apache Hadoop5位

MongoDB

50


まとめ

51


総合ランキング

1位

2位

3位


4位 5位 Apache SparkElasticsearch

Tensorflow

Redis

MongoDB

52


Top3の内訳

開発の活性度

ビジネスの活性度

技術者の注目度

技術情報の充実度

MongoDB

開発の活性度




Redis

開発の活性度




Tensorflow

56.0

75.0

94.7

80.8

76.6

68.0 65.7

46.7

80.7

68.9

75.5

86.9

46.8

64.6

64.7

53

この様な感じでした


ちなみに一昨年のまとめは…

54


今年のマッピング

Apache Cassandra

Apache Hadoop

Apache Kafka

Apache Spark

Elasticsearch

MongoDB

Redis

Tensorflow

40.0

90.0

30.0 90.0

エンタープライズ適用領域

先行検討/アーリーアダプト領域新技術

ウォッチ領域

55


最後に

ご興味を持って頂けた方がいらっしゃいましたら

ぜひ一緒にやりましょう！

56

2016年度版...

Documents