出典: ビッグデータ 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年12月6日 (月) 15:30 UTC、URL: https://ja.wikipedia.org/ ビッグデータ(英: big data)とは、組織が非常に大きなデータセットとそれらが保存されている施設を作成、操作、および管理できるようにするすべての技術を指す。一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。組織が非常に大きなデータセットを作成、操作、および管理できるようにするすべてのものと、これらが格納されている機能を指す。ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管、検索、共有、転送、解析、可視化等多岐にわたる。これら課題を克服しビッグデータの傾向をつかむことで「ビジネスに使える発見、疾病予防、犯罪防止、リアルタイムの道路交通状況判断」に繋がる可能性がある。 [概要] データ量の上限 コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。科学者はしばしばこの制限に遭遇する。その分野にはゲノミクス、気象学、コネクトミクス、複雑な物理シミュレーション、生物調査および環境調査等がある。インターネット検索、金融、ビジネスインフォマティクスの分野でも、データ量の上限がビジネスや研究活動に制限を与える。 ・・・ |
出典: Apache Hadoop 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年12月27日 (木) 07:09 UTC、URL: https://ja.wikipedia.org/ Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 [アーキテクチャ] Hadoopは、以下の4つのモジュールによって構成されている。 ● Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 ● Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 ● Hadoop YARN: Hadoopクラスタのリソース管理や、Hadoop上で動作するアプリケーションのスケジューリングを担当する。 ● Hadoop MapReduce: Hadoop上で動作するMapReduceフレームワークの実装。・・・ |
同義語・類義語 | 関連語・その他 |
---|---|
Apache Hadoop | Apache Spark |
əpɑ́ʃ hæ̀dú:p | アパッチ スパーク |
Apache Hadoop 3.0 | big data |
アゥパチィー ハェドュープ | ビッグ・データ |
アゥパチィー・ハェドュープ | ビッグ・データ解析 |
アゥパ́チィー・ハェ̀ドュ́ープ | ビッグ・データ処理ツール |
アパッチ ハドゥープ | ・ |
アパッチ・ハドゥープ | EB |
アパッ́チ・ハ̀ドゥ́ープ | exabyte |
Hadoop | エクサバイト |
hæ̀dú:p | 1PBの1000倍 |
ハェドュープ | 1000PB |
ハェ̀ドュ́ープ | 1000ペタバイト |
ハドゥープ | 10^18バイト |
ハ̀ドゥ́ープ | 100万TB |
・ | ・ |
Hadoop Common | |
Hadoop Distributed File System | |
Hadoop MapReduce | |
HBase | |
HDFS | |
MapReduce | |
更新日:2023年11月24日 |