AWS on @johtaniの日記 3rd

「よくわかるAmazon #CloudSearch 」に行ってきました！

Thu, 15 May 2014 17:50:00 +0900

どうやら、中身がSolrベース？Luceneベース？になったらしいということで、今日は「AWSプロダクトシリーズ｜よくわかるAmazon CloudSearch」に行ってきました。

※ElasticSearchではありません！

ということで、いつものメモ。

CloudSearch Overview

Amazon Web Services, Inc. Pravin Muthukumar(Product Manager) / Vivek Sriram (Business Development)

Introduction to Search

検索の紹介。アイアンマンのDVD？のページにいろんな項目（フィールド）があるよねと。（もちろん、Amazonのページ）
ファセット、Geo、テキスト処理（Analysis処理）、Postings listとか。とかとか
ランキングも

Amazon CloudSearch

独自実装orRDB拡張もある。
OSSもあるよね。
Legacy Enterprise SearchとしてFASTとかもある。

Building with CloudSearch

他のサービス同様、コンソールとかあるし、色々できるし、すぐ起動できるよと。

自動で、データが増えたら、パーティションが増えると。

日本語の形態素解析があるらしい。何を使ってるのかな？
ICUのノーマライズとかもやってくれるらしい。これかな？http://lucene.apache.org/core/4_8_0/analyzers-icu/index.html
ユーザが辞書を指定できるのかな？

備えてる機能の説明

ファセット
SimpleQuery
Autocomplete
Highlight

などなど

Multi-AZにも対応

QA

Q：NGramありますか？
- A：今はないです。
Q：ユーザ辞書対応してますか？
- A：今はないです。
Q：lang-detectあるか？
- A：今はないので、自分で判定して、適切なフィールドに入れてね。

Expectation for CloudSearch

Apache Solr contributor　大須賀　稔氏

Solr本の宣伝ありがとうございます！（右のアイコンから買ってもらえると更に嬉しいですｗ）
Kinesisとかとの組み合わせとか、自然言語処理とか、いろいろとあるAWSのコンポーネントと組み合わせる例が欲しいと。
すばらしい、最後はManifoldCFがらみに持っていくとは。ACLがらみのクローリングとかあるといいじゃないでしょうかと。

Impression of using CloudSearch

吉田　匠氏　(@yoshi0309　http://blog.yoslab.com/)

スライド：https://speakerdeck.com/yoshi0309/impression-of-using-cloudsearch

お見かけしたことある気がするなぁ。
全部置き換えできる！わけではなさそう。。。

いいところ。

UIがいいし、セットアップが簡単
auto scaleがうれしい
マルチドメイン、マルチスキーマがいい
Luceneのdismaxサポートがいい。（edismaxじゃないのかな？）

dismaxって書いてあるな。

http://docs.aws.amazon.com/cloudsearch/latest/developerguide/search-api.html

フィードの仕方に気をつけて！
- バッチサイズで課金されるので、1件ずつじゃなくて、複数件送ったほうがいい。
いきなりスケールアウトできるわけじゃない？
ウォームアップ機能がない。インスタンス上限がデフォルト50件
VPC対応してほしい。
- インターネット経由になってしまう
- フィードのスピードが
- セキュリティグループ機能が使えない

CloudSearch UseCase - SnapDish

Vuzz Inc.　清田　史和氏

独自辞書をもって、Tokenizeは独自でやって、空白区切りでデータ登録している。
インデックス更新はSQSを使ってる。
古いAPIを使ってるらしい。
移行が結構大変らしい。

感想

使ったことないんですが、きめ細かい検索したい場合はちょっとテクニックが要るかもと思いました。 AWS初心者なんで、なんとも言えないんですが。。。

といあえず、テキスト処理（アナライズ処理）で、単語がどうやって区切られるのかってのがわからないのはキツイんじゃなかろうかと。ただ、簡単に起動できて、オートスケールできるのは素晴らしいと思います。

AWS Summit Tokyo 2013に行って来ました。(Day2) #awssummit

Thu, 06 Jun 2013 23:00:00 +0900

昨日に引き続き、AWS Summit Tokyo 2013に行ってきました。

@ryu_kobayashiさんからパシリを仰せつかるなどあり、忙しかったのですが楽しかったです。

今日もすごい人出で、昼時の展示ブースは人だかりで、TDの方たち忙しそうでした。後半はちょっとつかれたなぁ。 1日目よりも空調の温度が上がってたので快適でした。飲物忘れたので、ちょっと喉がやられ気味でしたが。

AWSはやっぱり勢いがあるんだなぁってのを実感しました。JAWS-UGまで残った感想です。あとは、セルフハンズオンに参加するんだったかなぁというのもちょっとあります。あんまり触ったことないんで。

以下はいつものメモです。

Amazon Redshiftが切り開くクラウド・データウェアハウス

自己紹介と流れとニュース

6/5からTokyoリージョンでも利用可能に！

Redshiftどんなもの？

Redshift＝クラウド型データウェアハウス
オンプレの課題
- 初期投資、運用管理、費用対効果
EMRと同じで、分析処理向けのサービス
簡単な利用例
- 各種データストア→S3→Redshift
- 各種データストア→EMR→Redshift
- Data Pipelineでデータの流れの処理がかける。
データロードはパラレルに実行可能
バックアップは管理コンソールからボタンででも可能。
クラスタのリサイズも管理コンソールからできるよ。

NRIでの評価

2012年末の限定公開してすぐに先行評価に参加
Redshiftの性能は？
- 500億件からの検索処理（1週間分のデータを抜き出して処理するSQL）
  - 8XLノード2ノードで43秒、4ノードで27.8秒、8ノードで19秒
  - データロドも線形に性能が上がる
- 1.2億件の検索処理は4ノードより8ノードのほうが性能劣化
- EMRとRedshiftの比較。1.5TB、500億件でのJOIN＋集計処理でRedshiftのほうが早かった。
Redshiftのチューニングポイント
- インデックスが存在得ず、Distribution Keyでノードに分散
- Sort Keyも重要。データロード時間はSort Keyをつけると遅くなる
ニガテなデータ形式もあるよ。EMRとかの組み合わせにすると安く済むこともあるよ
簡単につくれるので、気をつけましょう。セキュリティとか。統制されないものが乱立してくるんで。
- そこでNRIですよ！（宣伝）

出てきた性能に関するものだけど、「ケース１」「ケース２」とかってなってるので、その部分の詳細が書かれたレポートが公開されないとどんなのがニガテなのかとかわからなかった。

事例紹介とか

オンプレのデータをどうやってRedshiftに持ってくの？
- インフォテリアのASTERIA WARP
  - GUIツールでデータの変換とかして、S3に持って行って、Redshiftと連携できるよと。

無料セミナーの紹介

6/21、8/2にRedshiftの無料セミナーやりますよ。

インターネット上のユーザーの行動の可視化を実現したAWSによるビックデータ解析基盤

C-Finderのサービス紹介

元オプトの方。C-Finderの紹介。 10万ユーザの行動履歴の可視化。

サイトに来たけど、行動せずに他サイトに移動したとか、サイトに来る前の状態ってのがわからない。これをC-Finderで可視化。

例１：自動車業界
- ライバル企業の動向を自社と比較したい。
- Audi、BMW、ベンツで可視化。
例２：化粧品業界
- Web上での化粧品のトレンドが見たい。
- @cosmeサイトのPVとかから。

ユーザって会員登録とかしてる人を追っかけてるってことなのかなぁ？よくわかってない。。。

レポーティングサービスしてたけど、納品まで１ヶ月かかってた。
リアルタイムにみたいという要望が多かったのでASPをTISと開発

ASPサービスの開発したよ

AWSで。

可視化というタイトルだったんだけど、期待してた可視化の話ではなかった。。。

ネット選挙クラウド　～オバマ大統領選挙の事例：データ解析からネット募金まで～

ボランティアで構成ってすごいな。
本番まで１年
みんな髭の人だｗ
GoogleとかFacebookとかの人がボランティアで開発に参加。
予算は抑えながら、スケールアップダウンがすぐ出来てとか。
秒間10万回のI/OのDB
SQSとEC2のSoftware queueの比較。Softwareキュー選ぶと、さらにドレがいいのかってのを選ばないとい。
AWSにあるサービスなら、造らなくてもいいのではとか。
- CloudSearchはつかわなかったのかなぁ？
tsunami
S3に静的ページをおいて、最後のとりでにしたり。
コードとか、ノウハウってどこまで公開されてるんだろ？

同時通訳もあったんですが、英語を聞いてみようと聞いてましたが、まだまだダメですねぇ。

パネルディスカッション「ウェブテクノロジーをエンタープライズで活かすには？」

趣旨

B2B、B2C間でのトレンドのやり取りが加速されてるよねと。
ICTはもはやコモディティ？

TD太田さん

Consumerization Of IT
色々なものがSaaSになってきてる
TD：Consumerization of Data Infrastructure
- オンプレ＜AWS＜TD

三井物産黒田さん

三井クラウド（プライベート＆パブリック）
ユビキタス
これまで使ってきたものがクラウドで動くのかとかが観点

電通平川さん

マーケティングダッシュボードはsalesforceでは厳しかった？
ビジネスに注力したいので、柔軟で、質実剛健なICT基盤がほしい。

ディスカッション

新しい技術に対するスタンスは？
- いかにダメな部分を潰していくか（太田さん）
- R&Dを予算化して評価して取り組んでいく。評価でダメならつぎ。（黒田さん）
- 消費者の方たちがネットですごい勢いで活動してる。その人達へのアプローチが重要。（平川さん）
コンシューマ系技術の懸念事項は？
- セキュリティ面。レベルがある。自分の所だけじゃなく、クラウドベンダーと二人三脚が必要。丸投げはNG（黒田さん）
- セキュリティ面の攻撃を受けたつぎの手をどう打つかが重要。堅牢性上げると、ユーザビリティが下がる。（平川さん）
- 法規制的に出せないとかもある。持ちきれないデータもあるよね。（太田さん）
何を見分けてどうやって取り組むか？
- とりあえず、やってみる。そこで見える課題に対応していく。見極めるのは難しい（平川さん）
ということは、すぐに出来る環境ってのは当たり前になってますよね。

尖った技術＝セキュリティ面が弱い？みたいな印象があるのかなぁ？

JAWS-UG

AWSアップデート

AmazonのCTO登場

Game Day

Game Day。土曜日にやるよ。
障害を発生させて、それを復旧させる。
最もひどい壊し方をしたらかちｗ

最後はかるくボッチでした。。。 AWSあんまり使ってないからなぁ。。。

AWS Summit Tokyo 2013に行って来ました。(Day1) #awssummit

Wed, 05 Jun 2013 18:30:00 +0900

AWS Summit Tokyo 2013に行って来ました。

@cocoatomoさんに行き掛けに出会ったので、アンデルセンの講演を一緒に聞いてました。 TDブースの@ryu_kobayashiさんに挨拶に伺ったりも。

すごい人で、セッション間の入れ替え時には会場前のスペースが大変なことになってました。もう少し余裕のある建物のほうが良かったのかもしれないですねぇ。

いつものように以下はメモです。

Road to AWS アンデルセンサービス

とてもおいしいランチボックスでした。

広島（ここ重要！）に本社のあるパン屋さん。

2003年に汎用機からOpenシステムに
- 内製ではなく外注に。複数のSIerにお願いしてるとデータセンタに
- マスタ管理と生産管理はオンプレ
- 2004年に稼動時のネットワーク整備。店舗はISDNで、設定ミスとかを防ぐためにIIJのSMFサービスに
PCはレンタル契約にしたので入れ替えを強制できる→レガシーシステムの対応が必要なくなる
- ネットワーク広帯域化→基本システムにデータセンターに。
- 2009年にリース満了などで、OSの変更とかミドルの変更という移行SI費用だけで結構な値段が。ものによっては会社もない。
- データセンターの月額手数料にして、機器変更などの費用を平準化。仮想化など。
- けど、サイジングにどうしても安全係数をかけてしまうことに。結構値段がかかる
そこで、今後の方向性
1. SIerどっぷりのOLTP受発注基幹システムはSIerのホスティングで
2. それ以外のシステムは外に出したい
バッチの計算を早くすることができるとノーチラスさんから提案された
- バッチを外部化するか、性能あげるか。IOネックなどもありスペック上げるとコストになるから、外部化したい
- Hadoopを組むけど、オンプレじゃなくてAWSにした。ノウハウがないので、ノーチラスさんにお任せした。
- AWSのEMRを利用。4時間かかっていたものが40分で。
- EDIのサーバを6ヶ月でAWSに移行
S3絡みで2度の問題が。性能劣化があった。
パッケージ開発環境がAWSにあるなら、AWSでも動くでしょ？（NTTイントラマートとか）
SIerどっぷりの部分もAWSに持っていく？

アンデルセンサービスの部長さんからのAWSへの要望

メールサーバなどの基本サビスとか、コントロールパネルを充実して欲しい。

クラウド技術を活用したリアルタイム広告"Logicad"の入札・配信・ログ解析

Web広告の歴史

最初は広告主がWebサイト単位で契約
アドネットワークによる仲介
聞きそびれた。。。DSP？
アドネッエクスチェンジ
SSP(Supply Side Platform)

リアルタイムビッティング（RTB）

RTPの仕組みを説明。 AWSとオンプレでシステムを構築してる。

SSP事業者との取引はオンプレ
配信はAWS
オンプレとAWSはAWS Direct Conectで接続
- S3とHadoopの接続が安くなったり速くなったりするらしい。

オンプレミス側

Bidリクエスト：秒間数万件。。。
KVSのユーザ数は３億件。。。
AEROSPIKEというSSD向けのKVSを利用してる

AWS側

ログはS3に。溜まったデータは定期的にEMRで解析。DynamoDBに入れてレポート作成
RabbitMQを使ってる。
ELBで外部からのリクエストはバランシング

データセンタ間通信

遅延を複数コネクションを貼る方法で回避？
非同期で、複数のMsgとAckをやり取りする。RabbitMQがこれに相当する機能を持ってる
- QueueとConsumerで多重送信が可能。
- 配信結果をオンプレ側に送るのにRabbitMQを使ってるのかな？

ハイブリッド構成を支えるAWSテクノロジー

聞くつもりだったんだけど、すごい人だったので、諦めて充電してた。

AWSクラウドで構築する、ワールドクラスの分散クラウドアーキテクチャ

エマージングソリューション部の部長のshot6さん。

マルチAZ（アベイラビリティゾーン）モデル

AWS固有のコンセプト。 ELBやDynamoDBやRDS、S3とか。

マルチリージョンとは違うよと。マルチリージョンは結構難しいので。マルチリージョンがどんなに大変かをこれから説明。

マルチリージョンアーキテクチャ（これは別物）

複数のリージョンを利用して作る。
AWSのビルディングブロックではカバーしない範囲をカバーしないとダメとか。
リージョン間の通信は基本的に非同期
ディザスタリカバリ
- コストバランス見てから決めるよね。
CAP定理とかもいろいろと出てくるよね。
合意プロトコル。正確性、生存性（時間が制限されても大丈夫）、理論的にパフォーマンス出る？
非同期レプリケーションになる（1トランザクション当たりのオーバヘッドが大きいから）けど、復旧の難しさがある。
- GlusterFSとかでやってるとこもある。
- NetflixはCassandraをクオラム＋Geo-Replicationでマルチリージョンを構成してる。
マルチリージョンでのデータ一貫性は維持がむずい

注意点

必要になるまで分散させない。
- まずは、マルチAZを考えましょう
物理制限を考慮する
- 同期型だとタイムラグあるし。
複合障害の伝搬をどう抑えるか。
- NetflixはHYSTRIXというのがいて遮断できるようにしている
自動化が重要。ロールバックとかロールアウトとか。

テストをどーするの？

本番環境でアクティブ/アクティブ構成でのテスト。ちゃんとフェイルオーバするかなどを実環境でやってる。DB落としたり。。。障害は避けられないので、受け入れて日常に取り込むべきだよねと。

Amazon.comではGameDay
NetflixはChaos Monkey（OSS）
Obama for America

リカバリーオリエンテッドコンピューティングパターン

ボーアバグ：再現可能なソフトウェバグ
ハイゼンバグ：通常ではありえないパターンで発生するバグで、調査が大変

ということで、マルチAZがいいよ

同期式レプリケーションを前提にできる。
アプリ開発者がアプリにフォーカスできる。分散系の難しいところはAWSが隠蔽してくれるから。