用語ビッグデータオンラインでもオフラインでも、ほぼあらゆる場所で使用されることが増えています。そしてそれはコンピュータに関連するものだけではありません。これは情報技術と呼ばれる包括的な用語に分類され、現在では他のほぼすべての技術、研究分野、ビジネスの一部となっています。ビッグデータは大したことではありません。それを取り巻く誇大宣伝は、あなたを混乱させるかなり大きな問題であることは確かです。この記事では、ビッグデータとは何かについて説明します。また、NetFlix がクライアントのニーズに応えるために自社のデータ (ビッグデータ) をどのように使用したかの例も含まれています。
ビッグデータとは
あなたの会社のサーバーにあるデータは、昨日までは分類されファイルされていた単なるデータでした。突然、ビッグデータという隠語が流行し、今ではあなたの会社のデータはビッグデータです。この用語には、組織がこれまで保存してきたすべてのデータが含まれます。これには、クラウドに保存されているデータや、ブックマークした URL も含まれます。あなたの会社ではすべてのデータがデジタル化されていない可能性があります。まだすべてのデータが構造化されていない可能性があります。しかしその後、会社のデジタル データ、紙データ、構造化データ、非構造化データはすべてビッグ データになります。
つまり、サーバー内のすべてのデータは、分類されているかどうかに関係なく、総称してビッグデータと呼ばれます。このデータを使用して、さまざまな種類の分析を使用してさまざまな結果を得ることができます。すべての分析ですべてのデータを使用する必要があるわけではありません。分析ではビッグデータのさまざまな部分を使用して、必要な結果と予測を生成します。
ビッグ データは、予測やその他の用途に使用できる結果を分析するデータです。ビッグデータという用語を使用する場合、あなたの会社や組織は突然、トップレベルの情報テクノロジーを活用して、長年にわたり意図的または意図せずに保存した同じデータを使用して、さまざまな種類の結果を導き出すことになります。
読む:データ サイエンス vs コンピューター サイエンスと説明した。
ビッグデータはどれくらい大きいのか
基本的に、すべてのデータが結合されたものがビッグ データになりますが、多くの研究者は、ビッグ データ自体は、通常のスプレッドシートや通常のデータベース管理ツールを使用して操作できないことに同意しています。すべてのデータを一度に分析できるようにするために、Hadoop (これについては別の投稿で説明します) などの特別な分析ツールが必要です (分析の反復が含まれる場合があります)。
上記とは反対に、私はこのテーマの専門家ではありませんが、組織の大小、組織的か未組織かを問わず、あらゆる組織からのデータはその組織にとってのビッグデータであり、組織はデータを分析するための独自のツールを選択できると言えます。データ。
通常、データ分析を容易にするために、1 つ以上の共通フィールドに基づいてさまざまなデータ セットを作成します。ビッグデータの場合、サブセットを作成する必要はありません。現在では、データのサイズに関係なく分析できるツールが存在します。おそらく、これらのツール自体がデータを分析しながら分類します。
ジミー・グターマンの著書『ビッグデータ』の 2 つの文について言及することが重要だと思います。
「ビッグデータ:データ管理のサイズとパフォーマンスの要件が、データ管理および分析システムを実装するための重要な設計および決定要素となるとき。」
-そして-
「一部の組織では、初めて数百ギガバイトのデータに直面することで、データ管理オプションを再検討する必要が生じる可能性があります。他の企業にとっては、データ サイズが重要な考慮事項になるまでに、数十テラバイトまたは数百テラバイトかかる場合があります。」
ビッグデータにとってボリュームと分析が重要であることがわかります。
ビッグデータの概念
これも、ほとんどの人が同意しない点です。専門家の中には、ビッグデータの概念は 3 つの V であると言う人もいます。
- 音量
- 速度
- バラエティ
コンセプトにさらにいくつかの V を追加する人もいます。
- 視覚化
- 真実性（信頼性）
- 変動性と
- 価値
この投稿はすでに大きくなっているため、ビッグ データの概念については別の記事で説明します。私の意見では、最初の 3 つの V はビッグ データの概念を説明するのに十分です。
ビッグデータの例 – NetFlix がビッグデータを使用して問題を解決した方法
数年前、NetFlix で障害が発生し、多くの顧客が混乱に陥りました。ストリーミング サービスにアクセスできる人もいますが、ほとんどはアクセスできませんでした。レンタルした DVD を入手できた顧客もいれば、失敗した顧客もいました。ウォール・ストリート・ジャーナルのブログ投稿によると、Netflixはオンデマンドストリーミングを開始したばかりだという。
この障害により、経営陣は将来起こり得る問題について考えるようになり、ビッグデータに目を向けました。そのデータを使用して、トラフィックの多いエリア、影響を受けやすいポイント、ネットワークのスループットなどを分析し、グローバル展開に伴い将来問題が発生した場合のダウンタイムの短縮に取り組みました。ビッグ データの例を確認したい場合は、ウォール ストリート ジャーナル ブログへのリンクをご覧ください。
上記は、ビッグ データを平易な言葉で要約したものであり、非常に基本的な入門書と言えます。コンセプト、分析、ツールなど、関連する要素についてさらにいくつかの記事を書く予定です。ビッグデータの活用、ビッグデータの 3 つの V、など。一方、上記に何か追加したい場合は、コメントして私たちと共有してください。
次に読む: とはウェブスクレイピング?
