クラウドの大きさは?

大きな雲

先月、2007es.comが明らかにした インターネットポルノの本当の規模。アダルト動画のストリーミングでは、インターネットの全帯域幅の約30%が使用される可能性があります。これは、消費されるポルノの約6テラバイトに相当します。 毎秒。しかし、残りの70%はどうでしょうか。 Netflix、YouTube、およびその他の成人向け以外のビデオサイトは巨大な帯域幅を消費し、インターネットトラフィックの40%を占める可能性があります。 RapidshareやMegauploadなどのデジタルファイルロッカーは、世界中のトラフィックの約10%を占めています。 Webサーフィンと電子メール(およびスパム!)はさらに15%です。そしてクラウドコンピューティングがあります。

今日、Webサービスとサイトの大部分はクラウドでホストされています。つまり、企業(Ziff Davis / 2007es.comなど)が独自のハードウェアを管理する代わりに、サードパーティのクラウドストレージとコンピューティングサービスが使用されます。アマゾンウェブサービス(AWS)、Microsoft Azure、およびGoogleは、巨大なクラウドクラスターの3つの顕著な例ですが、データセンター全体から数ラックに至るまで、数百の小規模なオペレーションがあります。



クラウドの力は、次のように異なるタスクに強制およびシューホーンできるという事実にあります。 クラウドベースのスーパーコンピューター、ウェブメール、 シンプルなドキュメントストレージ。単一のクラウドクラスターで、Googleはペタバイト規模のYouTube動画をホストして提供し、すべてのメールとドキュメントを保存できます。ただし、クラウドのすべての側面のうち、今日はクラウドストレージに焦点を当てます。



Microsoftデータセンター

Microsoftデータセンター

ストレージは、テラバイトのRAMや数千のCPUコアほどセクシーではないかもしれませんが、測定の最も信頼できる方法です。 サイズ 特に帯域幅の使用を考慮に入れる場合、クラウドの。ストレージの総量から、 費用 クラウドストレージの—そして、そこから、ようやく なぜ Google、Microsoft、Dropboxなどがクラウドストレージサービスを提供するために倒れています。



ポルノの話のように、まず理論的な数値から始めて、次にクラウドバックアッププロバイダーであるBackblazeから実際の数値(およびハードウェア)に移ります。

ペタバイト

ほとんどの場合、グーグル、フェイスブック、アマゾン、マイクロソフトなどの大企業の実数はほとんどなく、はるかに少ない。ただし、Webを精査すると、大まかな大まかな数字が現れます。

  • FacebookはIPO申告書で、100ペタバイト(PB)以上のメディア(写真とビデオ)を保存していると述べた。バックアップやその他のデータ(ステータスの更新、いいねなど)を考慮すると、おそらく300PBの範囲になると、Facebookにはそれをはるかに超える容量のストレージがおそらくあると言うのも非現実的ではありません。
  • マイクロソフトは最近、Hotmailが100ペタバイト以上を保存し、「1,700万人の顧客」を擁するSkyDriveが10PBのデータを保存することを認めました。 Facebookと同様に、Microsoftの総容量は、Azureの残りの部分とそのWebプロパティを考慮すると、おそらく300ペタバイトをはるかに超えます。
  • Megauploadは比較すると比較的小さく、たった25ペタバイトしか格納されていないようです。
  • Amazonは、ペタバイト単位の簡単な数値を提供する代わりに、S3クラウドストレージサービスによって保存されたオブジェクトの総数を発表します。 2012年4月の時点で、Amazon S3には9,500億個のオブジェクトが保存されています。平均サイズを100KBとすると、約90ペタバイトになります。平均サイズが1MBの場合、900ペタバイトです—ほぼエクサバイトです!
  • Dropboxは1年前、「10ペタバイト以上」のデータを保存していました。当時のユーザー数は2,500万人で、現在は1億人のユーザーがいるため、会社が同等のすべてのものに約40PBのデータを保存しています。

これらの数値を概観すると、平均的なコンピューターにはおそらく500GBまたは1TBのハードドライブがあり、ペタバイトは1024TBです。少なくとも、MicrosoftとFacebookのデータセンターは、10万台を超えるハードドライブをホストしています。カスタムハードウェアを構築しなくても、48台のドライブを4Uエンクロージャーに押し込むことができます。ネットワークギアを考慮した後、40Uラックあたり約400台のハードドライブ、つまり250ラックがあり、それぞれが約1平方メートルの床面積を占めていることになります。これは多くのように聞こえるかもしれませんが、Google、Amazon、Facebook、Microsoftが30,000平方メートル(300,000+平方フィート)を超えるフロアプランのデータセンターを定期的に展開していると考えると、それほど多くはありません。大規模なものでは、より多くのスペースがサーバー(つまり、CPU)とネットワーキング装置に割り当てられます。



帯域幅

データセンタースイッチ帯域幅に関しては、ビッグボーイからのデータはさらに少なくなっています。昨年現在、5分ごとに100万個のファイルが保存されていたことがわかっています。今日では、ユーザー数が4倍になり、1分あたり800,000個のファイルです。 Dropboxよりもはるかに大きいAmazon S3は、「1秒あたり650,000リクエスト」を処理します。

Dropboxに保存される平均ファイルが500KB(写真、ビデオ、ドキュメントの混合)であると想定すると、Dropboxは合計で毎分400,000メガバイト(0.4TB)、つまり毎秒6.7GB(54Gbps)を保存します。 Dropboxのデータ量に関するデータはありません 送る 1分あたり(つまり、Dropboxからファイルをダウンロードするユーザー)ですが、おそらく10〜20 Gbps程度です。

Amazon S3は、主にWebサイトの静的ファイル(画像、スタイルシート、ビデオ)の保存に使用されますが、Dropboxよりも平均ファイルサイズが小さい可能性があります。ファイルあたりの平均サイズが100KBであるとすると、1秒あたり650,000リクエストは、合計で1秒あたり61ギガバイトのデータ転送、つまり488Gbpsになります。これは、大規模なポルノサイトで推定した800 Gbpsの数値に非常に近く、これはインターネットトラフィック全体の約2%に相当します。Amazonはかなり大きいです。

FacebookとMicrosoftは、それぞれ100〜300PBのストレージを備えており、帯域幅の使用量の点でおそらくDropboxとAmazonの間のどこかにあります。

しかし、十分な理論! 実際の数値と実際のハードウェアについて説明します。

Copyright © 全著作権所有 | 2007es.com