おすすめTEDのご紹介です。
「トリシア・ワン：ビッグデータから見落とされる人間的な洞察」
目次
オラクルへの伺い
古代ギリシアでは身分にかかわらず人生で重要な決断の時、結婚すべきか？、この航海を始めるべきか？とかという時、オラクル（巫女）へ伺いを立てていました。
やり方は、オラクルへ質問してひざまずくとオラクルはトランス状態になり、2、3日後、正気に戻って回答の予言をしました。
古代中国から、古代ギリシア、マヤ暦まで人は予言を切望しました。
将来何が起こるか、決断を正しいものにしたいと願ったのです。
未来は分からず怖いものなので、結果に対して何らかの保証が欲しかったのです。
現代のオラクル
それは現代でも変わらないことです。
現代には新しいオラクルがあります。
いわゆる「ビッグデータ」「ワトソン」「ディープラーニング」「ニューラルネット」など呼び方は様々です。
しかしこのような現代のオラクルは巨大な産業にも関わらず、利益はとても低いのです。
ビッグデータへの投資は容易でも活用が困難で、このようなデータを使ったプロジェクトの73％が赤字だということです。
テクノロジーエスノグラファー（IT民族誌学者）であるトリシアは、人がテクノロジーを利用するパターンについて研究し、企業に助言をしています。
そこで関心のある分野のひとつがデータ。
データはいくら増えても、企業にとってより良い決定になっていないのはなぜか？
そこで彼女はある調査研究をしました。
フィールドワークによる調査
トリシアは2009年に携帯電話最大手のノキア（ノキアは2008年に日本からは撤退しているので日本人には馴染みがないかもしれません。）にて、非正規経済を知るために中国にて、建設労働者に点心を売る露天商をしながらフィールドワークを始めました。
何日も昼も夜もネットカフェで過ごして、中国の若者と出歩き、若者の携帯電話の実態を調査しました。
この調査で分かったことは、中国の低所得者は当時、アパートや車、高機能トイレといった贅沢品ではなく、2007年に初めて発売されたiPhoneでした。
都会のスラムに暮らす人々が月収の半分以上を投じて、携帯電話を購入するのを目撃したのです。
そして中国では山寨（Shanzhai：シャンザイ）と呼ばれるiPhoneやスマホの安い模倣品が増えました。
この調査で分かったことは、中国の低所得者層の人々もスマホを欲しいと考えて、手に入れるためならほぼ何でもするということでした。
フィールドワーク調査とビッグデータ
この調査をトリシアはノキアに知らせました。
しかしスマホを欲しがる人々というのはビッグデータにはないことでした。
ノキアは何百万件のデータポイントを持っているけれど、スマホを欲しいという指標は見えず、フィールドワークで得られた100件のバラバラのデータでは弱すぎるとしてまともに取り上げず、その調査を廃棄し、ノキアの業績は崖から落ちるように下がりました。
（スマホ戦略に失敗したノキアは携帯電話事業をマイクロソフト社に買収され、2014年同事業はマイクロソフト社の傘下に移っている。）
廃棄されるデータ
このようにデータを破棄する例は多いのです。
それはビッグデータにはないこと、定量モデルから外れていると言う理由でデータが無視されることはよくあります。
それはビッグデータが悪い、というわけではなく、ビッグデータをどのように扱うかという人間の責任です。
閉じたシステムの定量化、送電網や物流システム、遺伝子コードなどではビッグデータの使用の成功例は存在します。
しかし人間が関わるものは予想が不可能になり、モデル化するのが難しくなります。常に条件が変わり、何かを得られても、すぐによくわかならないものが関わってきます。
そしてビッグデータは何かを見落とす可能性が高まる一方、全てがわかっているかのような幻想が生まれます。
定量化バイアス
このように測定可能なものを測定不可能なものよりも重視するという無意識の信念をトリシアは「定量化バイアス」と呼びます。
仕事でよくある話で、人は目の前の数字に固執してしまい、それ以外に突きつけられたものを見ることができなくなります。
エクセルに並んだ数字を見て素晴らしいと感じたことのある人はこのバイアスを持っているかもしれません。
この定量化にある問題は依存性です。定量化に依存してしまい、数値で示せないという理由でデータを捨ててしまいます。
ギリシアのオラクルの実話
さて、このようなビッグデータに関わる定量化ですが、話は戻ってギリシアのオラクル（巫女）。
このオラクルのいたギリシアのアポロの神殿は２つの地震断層の上に建造され、その断層の亀裂から放出された大量のエチレンガスを吸い込んでいたそうです。
これは実話で、これによりオラクルは大声で喚き、幻覚を見て、トランス状態になったということです。
そんな状態のオラクルですが、彼女の周りには介添人の男性がいて、その助言の手助けをしていました。
質問者に「なぜこの予言が知りたい？あなたは何者か？この情報で何をするのか？」と聞き、オラクルの信託に情報を加味していたのです。
シック（濃密）データの必要性
このように現代のビッグデータ（オラクル）にも、介添えが必要です。
この介添えこそシックデータ、つまり先のフィールドワークを行う民俗学者やユーザーリサーチャーのような人が必要になります。
これは物語や感情、人間関係など人間由来の定量化できない貴重なデータなのです。
濃密で示唆に富んだデータを生むのは人間の語りを理解する経験、つまりビッグデータとシックデータを統合して本当の全体像に近づくことなのです。
ビッグデータが大規模な洞察をもたらし、テクノロジーを最大限活用でき、シックデータはビッグデータで失われた文脈を取り戻し、人的知能を最大限に活用するのに役立ちます。
この２つを統合すると本当に面白いものになり、単に自分の収集したデータだけでなく、未収集のデータも扱うことができるようになるからです。
Netflixの実例
利用している方も多いと思うNetflixは、優れた推薦アルゴリズムで知られていて、アルゴリズムを改良したものに100万ドルの賞金を出し、それを獲得した人もいます。
しかしNetflixは全ての改良はまだまだ過程であることに気づき、民俗学者のグラント・マクラッケンを雇い、シックデータによる洞察をまとめさせました。
そのシックデータの洞察をスケールアップさせ、ビッグデータと突き合わせ、番組を色々なジャンルから提案したり、似たユーザーの見た別の番組を提案したりするのをやめたりして、Netflixは「一気見」を強く勧めることにしました。
そうしてNetflixはユーザーのメディア消費方法を変貌させ、株価も倍増する予想が出されています。
生死を分けるビッグデータ
このようにシックデータはスマホ販売数や動画視聴回数を増やすためだけではありません。
生活に関わるもの、それは社会の周縁に追いやられた者には生死を分けることもあるのです。
警察がビッグデータによる予測を取り締まりに利用したり、既存のバイアスで保釈金額や処罰勧告の設定を行っているのです。
またNSA（アメリカ国家安全保障局）のSkynet機器の学習アルゴリズムがモバイル端末のメタデータの読み誤りで何千人ものパキスタン市民を死に追いやった可能性もあります。
そして私たちが生活全般を自動化するにつれ、雇用や健康保険、自動車まで、皆が定量化バイアスに影響を受ける可能性が大きいのです。
ビッグデータだけでなく、シックデータを統合すること、こうすることでより良いデータからより良い意思決定を目指すことができるでしょう。
まとめ
ネットを利用することであらゆるところで採取されているビッグデータ。それは時には未来を予測するのにより良い結果をもたらすけれど、大きなものを見落としていることもあります。
それは仕事においても、データ化して、数字を並べて、分析して満足してしまうということがあるように、落とし穴にはなかなか気づきません。
そこに必要なシックデータは簡単に採取できるものではありませんが、人間を相手にする場合は、人間らしくデータでは予測不可能な行動を採取することができます。
いつでもビッグデータだけの場合は疑いを持ち、人間的な面があることを忘れないようにしたいものです。
コメントを残す