AWS 勉強会

AWS Summit Tokyo 2013に行って来ました。(Day2) #awssummit

Posted by johtani on Thursday, June 6, 2013

目次

昨日に引き続き、AWS Summit Tokyo 2013に行ってきました。

@ryu_kobayashiさんからパシリを仰せつかるなどあり、忙しかったのですが楽しかったです。

今日もすごい人出で、昼時の展示ブースは人だかりで、TDの方たち忙しそうでした。 後半はちょっとつかれたなぁ。 1日目よりも空調の温度が上がってたので快適でした。 飲物忘れたので、ちょっと喉がやられ気味でしたが。

AWSはやっぱり勢いがあるんだなぁってのを実感しました。JAWS-UGまで残った感想です。 あとは、セルフハンズオンに参加するんだったかなぁというのもちょっとあります。あんまり触ったことないんで。

以下はいつものメモです。

Amazon Redshiftが切り開くクラウド・データウェアハウス

自己紹介と流れとニュース

  • 6/5からTokyoリージョンでも利用可能に！

Redshiftどんなもの？

  • Redshift＝クラウド型データウェアハウス
  • オンプレの課題
    • 初期投資、運用管理、費用対効果
  • EMRと同じで、分析処理向けのサービス
  • 簡単な利用例
    • 各種データストア→S3→Redshift
    • 各種データストア→EMR→Redshift
    • Data Pipelineでデータの流れの処理がかける。
  • データロードはパラレルに実行可能
  • バックアップは管理コンソールからボタンででも可能。
  • クラスタのリサイズも管理コンソールからできるよ。

NRIでの評価

  • 2012年末の限定公開してすぐに先行評価に参加

  • Redshiftの性能は？

    • 500億件からの検索処理（1週間分のデータを抜き出して処理するSQL）
      • 8XLノード2ノードで43秒、4ノードで27.8秒、8ノードで19秒
      • データロドも線形に性能が上がる
    • 1.2億件の検索処理は4ノードより8ノードのほうが性能劣化
    • EMRとRedshiftの比較。1.5TB、500億件でのJOIN＋集計処理でRedshiftのほうが早かった。

  • Redshiftのチューニングポイント

    • インデックスが存在得ず、Distribution Keyでノードに分散
    • Sort Keyも重要。データロード時間はSort Keyをつけると遅くなる

  • ニガテなデータ形式もあるよ。EMRとかの組み合わせにすると安く済むこともあるよ

  • 簡単につくれるので、気をつけましょう。セキュリティとか。統制されないものが乱立してくるんで。

    • そこでNRIですよ！（宣伝）

出てきた性能に関するものだけど、「ケース１」「ケース２」とかってなってるので、その部分の詳細が書かれたレポートが公開されないとどんなのがニガテなのかとかわからなかった。

事例紹介とか

  • オンプレのデータをどうやってRedshiftに持ってくの？
    • インフォテリアのASTERIA WARP
      • GUIツールでデータの変換とかして、S3に持って行って、Redshiftと連携できるよと。

無料セミナーの紹介

  • 6/21、8/2にRedshiftの無料セミナーやりますよ。

インターネット上のユーザーの行動の可視化を実現したAWSによるビックデータ解析基盤

C-Finderのサービス紹介

元オプトの方。C-Finderの紹介。 10万ユーザの行動履歴の可視化。

サイトに来たけど、行動せずに他サイトに移動したとか、サイトに来る前の状態ってのがわからない。これをC-Finderで可視化。

  • 例１：自動車業界
    • ライバル企業の動向を自社と比較したい。
    • Audi、BMW、ベンツで可視化。
  • 例２：化粧品業界
    • Web上での化粧品のトレンドが見たい。
    • @cosmeサイトのPVとかから。

ユーザって会員登録とかしてる人を追っかけてるってことなのかなぁ？ よくわかってない。。。

  • レポーティングサービスしてたけど、納品まで１ヶ月かかってた。
  • リアルタイムにみたいという要望が多かったのでASPをTISと開発

ASPサービスの開発したよ

  • AWSで。

可視化というタイトルだったんだけど、期待してた可視化の話ではなかった。。。

ネット選挙クラウド　～オバマ大統領選挙の事例：データ解析からネット募金まで～

  • ボランティアで構成ってすごいな。
  • 本番まで１年
  • みんな髭の人だｗ
  • GoogleとかFacebookとかの人がボランティアで開発に参加。
  • 予算は抑えながら、スケールアップダウンがすぐ出来てとか。
  • 秒間10万回のI/OのDB
  • SQSとEC2のSoftware queueの比較。Softwareキュー選ぶと、さらにドレがいいのかってのを選ばないとい。
  • AWSにあるサービスなら、造らなくてもいいのではとか。
    • CloudSearchはつかわなかったのかなぁ？
  • tsunami
  • S3に静的ページをおいて、最後のとりでにしたり。
  • コードとか、ノウハウってどこまで公開されてるんだろ？

同時通訳もあったんですが、英語を聞いてみようと聞いてましたが、まだまだダメですねぇ。

パネルディスカッション「ウェブテクノロジーをエンタープライズで活かすには？」

趣旨

  • B2B、B2C間でのトレンドのやり取りが加速されてるよねと。
  • ICTはもはやコモディティ？

TD太田さん

  • Consumerization Of IT
  • 色々なものがSaaSになってきてる
  • TD：Consumerization of Data Infrastructure
    • オンプレ＜AWS＜TD

三井物産黒田さん

  • 三井クラウド（プライベート＆パブリック）
  • ユビキタス
  • これまで使ってきたものがクラウドで動くのかとかが観点

電通平川さん

  • マーケティングダッシュボードはsalesforceでは厳しかった？
  • ビジネスに注力したいので、柔軟で、質実剛健なICT基盤がほしい。

ディスカッション

  • 新しい技術に対するスタンスは？

    • いかにダメな部分を潰していくか（太田さん）
    • R&Dを予算化して評価して取り組んでいく。評価でダメならつぎ。（黒田さん）
    • 消費者の方たちがネットですごい勢いで活動してる。その人達へのアプローチが重要。（平川さん）

  • コンシューマ系技術の懸念事項は？

    • セキュリティ面。レベルがある。自分の所だけじゃなく、クラウドベンダーと二人三脚が必要。丸投げはNG（黒田さん）
    • セキュリティ面の攻撃を受けたつぎの手をどう打つかが重要。堅牢性上げると、ユーザビリティが下がる。（平川さん）
    • 法規制的に出せないとかもある。持ちきれないデータもあるよね。（太田さん）

  • 何を見分けてどうやって取り組むか？

    • とりあえず、やってみる。そこで見える課題に対応していく。見極めるのは難しい（平川さん）

  • ということは、すぐに出来る環境ってのは当たり前になってますよね。

尖った技術＝セキュリティ面が弱い？みたいな印象があるのかなぁ？

JAWS-UG

AWSアップデート

  • AmazonのCTO登場

Game Day

  • Game Day。土曜日にやるよ。
  • 障害を発生させて、それを復旧させる。
  • 最もひどい壊し方をしたらかちｗ

最後はかるくボッチでした。。。 AWSあんまり使ってないからなぁ。。。

comments powered by Disqus

See Also by Hugo

Related by prelims-cli

FEATURED TAGS
aws azure search berlin buzzwords bot cloudera cloudera search conference curator dev container diyキーボード elastic elasticsearch fluentd hadoop hugo java kibana kuromoji logstash lucene lucene-gosen manifoldcf marvel misc morphlines music nlp100 octopress paper plugin python riak rust rust-the-book search shield solr visual studio code wikipedia windows workplace search yokozuna zipkin オライリー ブログ 備忘録 勉強会 振り返り 本 検索 読書 転職