本文へスキップ

パステムは、桐の業務システム開発を支援しています

ICT用語同義語辞典COMPANY


【 「Apache Hadoop」又はそれに関連する用語の意味 】
Apache Spark
a unified analytics engine for big data processing.
出典: ビッグデータ 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2021年12月6日 (月) 15:30 UTC、URL: https://ja.wikipedia.org/

 ビッグデータ(英: big data)とは、組織が非常に大きなデータセットとそれらが保存されている施設を作成、操作、および管理できるようにするすべての技術を指す。一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。組織が非常に大きなデータセットを作成、操作、および管理できるようにするすべてのものと、これらが格納されている機能を指す。ビッグデータを取り巻く課題の範囲は、情報の収集、取捨選択、保管、検索、共有、転送、解析、可視化等多岐にわたる。これら課題を克服しビッグデータの傾向をつかむことで「ビジネスに使える発見、疾病予防、犯罪防止、リアルタイムの道路交通状況判断」に繋がる可能性がある。

[概要]
データ量の上限
 コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。2012年現在、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。科学者はしばしばこの制限に遭遇する。その分野にはゲノミクス、気象学、コネクトミクス、複雑な物理シミュレーション、生物調査および環境調査等がある。インターネット検索、金融、ビジネスインフォマティクスの分野でも、データ量の上限がビジネスや研究活動に制限を与える。 ・・・
Apache Spark
a unified analytics engine for large-scale data processing.


【 「Apache Hadoop」又はそれに関連する用語の意味 】
出典: Apache Hadoop 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年12月27日 (木) 07:09 UTC、URL: https://ja.wikipedia.org/

 Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。

[アーキテクチャ]
 Hadoopは、以下の4つのモジュールによって構成されている。
● Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。
● Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。
● Hadoop YARN: Hadoopクラスタのリソース管理や、Hadoop上で動作するアプリケーションのスケジューリングを担当する。
● Hadoop MapReduce: Hadoop上で動作するMapReduceフレームワークの実装。・・・
出典: Apache Spark 『フリー百科事典 ウィキペディア日本語版(Wikipedia)』 最終更新 2018年5月24日 (木) 06:26 UTC、URL: https://ja.wikipedia.org/

 Apache Sparkはオープンソースのクラスタコンピューティングフレームワークである。カリフォルニア大学バークレー校のAMPLabで開発されたコードが、管理元のApacheソフトウェア財団に寄贈された。Sparkのインタフェースを使うと、暗黙のデータ並列性と耐故障性を備えたクラスタ全体をプログラミングできる。

[概要]
 フォールトトレラントシステムで管理され、複数マシンのクラスタに分散されたデータ項目の読み取り専用多重集合であるRDD(resilient distributed dataset)と呼ばれるデータ構造を中心とするアプリケーションプログラミングインターフェイスを備えている。 ・・・
Spark Core
 プロジェクト全体の基盤であり、RDD抽象化を中心とするアプリケーションプログラミングインターフェイス(Java、Python、Scala、R)を介して公開される分散タスクディスパッチ、スケジューリング、および基本I/O機能を実装している。(Java APIは他のJVM言語でも使用でき、Juliaなどの他の非JVM言語でも使用できる。)「ドライバ」プログラムは、関数をSparkに渡すことによってRDD上でmap、 filter 、reduceなどの並列操作を呼び出し、関数の実行をクラスタ上で並列にスケジュールする。 ・・・


【 他のICT用語辞典へ(外部リンク)】

ビッグデータ (Wikipedia)
Apache Spark (Apache Software Foundation)
Apache Hadoop (Wikipedia)
Apache Spark (Wikipedia)

【 Apache Hadoop の同義語と関連語 】
< 1 >
同義語・類義語 関連語・その他
Apache Hadoop Apache Spark
əpɑ́ʃ hæ̀dú:p アパッチ スパーク
Apache Hadoop 3.0 big data
アゥパチィー ハェドュープ ビッグ・データ
アゥパチィー・ハェドュープ ビッグ・データ解析
アゥパ́チィー・ハェ̀ドュ́ープ ビッグ・データ処理ツール
アパッチ ハドゥープ
アパッチ・ハドゥープ EB
アパッ́チ・ハ̀ドゥ́ープ exabyte
Hadoop エクサバイト
hæ̀dú:p 1PBの1000倍
ハェドュープ 1000PB
ハェ̀ドュ́ープ 1000ペタバイト
ハドゥープ 10^18バイト
ハ̀ドゥ́ープ 100万TB

Hadoop Common

Hadoop Distributed File System

Hadoop MapReduce

HBase

HDFS

MapReduce





































更新日:2023年11月24日


【 Apache Hadoop の同義語と関連語 】
< 2 >
同義語・類義語 関連語・その他
Apache Spark Hadoop
əpɑ́ʃ spɑ́rk hæ̀dú:p
アゥパチィー スパァーク ハェドュープ
アゥパチィー・スパァーク ハェ̀ドュ́ープ
アゥパ́チィー・スパァ́ーク ハドゥープ
アパッチ スパーク ハ̀ドゥ́ープ
アパッチ・スパーク Apache Hadoop
アパッ́チ・スパ́ーク
Spark Matei Zaharia
spɑ́rk ビッグデータ解析
スパァーク
スパァ́ーク unified
スパーク júːnifàid
スパ́ーク ユニファイドゥ
https://spark.apache.org/ ユ́ニファ̀イドゥ

ユニファイド

ユ́ニファ̀イド

[形容詞]

一つにした

統合された

とうごうされた

統一された


analytics

æ̀nəlítiks

アェナゥリィデクス

アェ̀ナゥリィ́デクス

アナリティクス

ア̀ナリ́ティクス

[名詞]

分析論

分析性

分析学

解析

かいせき











更新日:2024年 4月12日