アジャイルメディア・タイアップ・レビュー。この記事は、アジャイルメディア・ネットワークとのタイアップです。
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_02 By:logtaka
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_02 By logtaka

Justy Finderとは?
主なサービス概要はニュース専門の検索エンジン。
新聞協会、雑誌協会に加盟してWeb上でニュース配信している媒体を対象に1日に6000〜10000記事程度を収集して検索対象にしているそうです。


それってどうやるの?

ってコトで驚くべき、手作業というか、ある意味レガシィだけど、技術に精通していないと出来ない方法でやっていました。

これには驚いた(笑




AMNさん経由でハミングヘッズさんのブロガーイベントに参加して参りました。
https://fansfans.jp/campaigns/detail/1419
日本の全ニュースが簡単にわかる検索エンジン「Justy Finder」ブロガーミーティング | ハミングヘッズ株式会社 | Fans:Fans 日本の全ニュースが簡単にわかる検索エンジン「Justy Finder」ブロガーミーティング | ハミングヘッズ株式会社 | Fans:Fans

ハミングヘッズさんは、過去もクライアント向けのセキュリティツールのイベントに参加したことがあったので会社のことはよく存じ上げていました。

  • 過去記事
【PR】DeP そろそろウィルス対策考え直さない?
http://llb-taka.ldblog.jp/archives/42499854.html
【PR】日本企業のイベントには和の食事が用意されました
http://logtaka.blog.jp/archives/8651694.html
【PR】DeP 忍は国際対応なんです
http://llb-taka.ldblog.jp/archives/42508803.html
【Event】DeP/Humming HEADS ウィルス対策マルウェア対策の考え方を根本的に変える時期に来ているのかもしれません。
http://llb-taka.ldblog.jp/archives/39148865.html

  • 今回記事
【PR】Justy Finderはブロガーに最適かもしれない!
http://llb-taka.ldblog.jp/archives/43606873.html
【PR】Justy Finderの技術基盤は普通ぢゃない!
http://llb-taka.ldblog.jp/archives/43606991.html
【PR】月島で築地玉寿司の出張握りを楽しんでしまいました!
http://tsukiji.ldblog.jp/archives/23704783.html





ニュースの検索ですが簡単に書くとこうなります。

  • 情報取得先のニュースサイトを決定
  • そのサイトに手でアクセスしてニュース記事を取得する方法を確認
  • ハミングヘッズ社の技術を使って前述の方法を自動巡回のシステムに組み込み情報収集
  • ハミングヘッズ社の技術による高速全文検索で結果を表示
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_03 By:logtaka
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_03 By logtaka


なるほど。
DePで培ってるAPIの熟知と、それを活かしたInPの技術で情報収集。
そして、SSE技術で高速全文検索で返すと。

DeP(ディフェンスプラットフォーム ホワイトリスト型セキュリティソフト)
http://www.hummingheads.co.jp/pd/dep/
InP(インテリジェントプラットフォーム 完全自動化ツール)
http://www.hummingheads.co.jp/inp/
SSE(スーパーサーチエンジン 高速テキスト検索&分析ツール)
http://www.hummingheads.co.jp/sep/package/engine.html
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_01 By:logtaka
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_01 By logtaka

これらの並行処理をHadoopの技術で実装しているそうです。
しかも、それをオンプレミスのビルの中に数千台相当の機材で回しているんです。

こんな感じ。
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_04 By:logtaka
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_04 By logtaka



いや、、、、普通はですね。。。。。

こうやって多数のCPUを分散処理したいんだったら、もっと集積度の高いIAサーバーを使ったりするわけなんですよ。
昔のブレードみたいな技術ね。
今だと4.3Uシャーシに45カートリッジのサーバーが格納できたりするわけです。
http://h50146.www5.hp.com/products/servers/proliant/moonshot/1500_chassis/index.html
 HP Moonshot 1500 シャーシ | 日本HP HP Moonshot 1500 シャーシ | 日本HP


単純計算で、1ラックフル搭載で360ノードのサーバーが置けるわけなんですが、、、

ココの会社。
ふるふるで積んでも15台くらいしか詰めないんですが。。。
こんなラックが何列もあるんです。
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_05 By:logtaka
Photo:2015-02-26_T@ka.'s Life Log Book_【PR】Justy Finderはブロガーに最適かもしれない!_05 By logtaka
しかも普通のオフィスビルの普通のフロアに。
おかしいです(ちょっと驚きの褒め言葉)

普通やらないですよね?
って、話とか、電源の話、冗長化の話、障害対応の話、BCPの話、いろいろ投げつけてみましたが、扱っている情報の機密性の観点からも必要が無いしこれでありだとのことです。



ま、、、、
私がやりたいなら
AWSのEMRを使うよね?w
Amazon Elastic MapReduce(Amazon EMR)
http://aws.amazon.com/jp/elasticmapreduce/

ま、いつかそういう世界になるのかもしれないし、ある意味コレでも良いのかも。と思い、単にクラウド化、集約化とかだけでは無いんだな。って考えさせられる内容でした。


Post by

スポンサーリンク