プログラミング不要なwebスクレイピングでデータ化してショップ運営に活用
情報収集する際にweb検索を使うことが多いですよね。いろいろなサイトを検索しながら集めた情報をExcelにまとめてリスト化したりすることがあるのではないでしょうか。そんな時に必要な情報をリスト化するのにコピペ作業を繰り返している人にはおすすめな内容です。
本日はそんな作業をあっという間に終わらせてくれるとても便利なwebサービスを見つけたので紹介したいと思います。
Webスクレイピングって聞いたことありますか？知ってるとショップ運営に役立つかも！？
あまり聞き慣れない言葉かもしれませんが、「Webスクレイピング」という言葉をご存知でしょうか？
Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。
Webスクレイピングを行うことで、Webページを対象として、あたかもWeb APIを利用しているかのようにデータを効率的に取得・収集することが可能になる。用途の例としては、部分的にコンテンツを取り出して携帯電話向けのコンテンツを生成したり、小見出しの一覧を生成したり、といった使い方あある。Webスクレイピングは様々な手段で実現可能であるが、PHPやPerlといったスクリプト言語を使用して行われることが多い。
IT用語辞典バイナリ-Webスクレイピング
Webスクレイピングをするには、データ化したいページのhtmlタグの構造を解析して、PHPやPerlなどのスクリプト言語でそのページ構造に沿った形でプログラムを作成する必要があります。要はある程度のプログラミングの知識が必要で知識がない人にとってはハードルが非常に高く簡単に出来ることではありません。そんな小難しいスクレイピングを誰でも簡単に可能にしたWebサービスを紹介したいと思います。
無料でWebページをスクレイピング可能な「import.io」がすごい
import.io | Web Data Platform & Free Web Scraping Tool
import.ioを利用すれば、データ化したいページのURLを指定するだけで、自動的にページ内容を解析してリスト化することが出来ます。
データ化したいページが最初から表形式でレイアウトされているのであれば、まるごとコピーしてExcel等に貼り付ければ文字情報などはリスト化することが出来ますが、画像のURLや表形式ではないレイアウトだった場合はまるごとコピペでリスト化することは出来ません。
試しに上記サイトから解析したいページのURLを指定して「Try It Out」をクリックしてみてください。例えば、ショップの商品検索ページのURLを指定するなどリスト化が出来そうなURLにする必要があります。
参考
URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」
Windows、Mac、Linuxで動作するアプリもダウンロード可能です。さきほどのサイト上からもURLを指定してのスクレイピングが可能ですが、取得したい項目など細かい設定、調整が出来ません。アプリを利用すれば不要な項目は除外でき取得したい項目をのみを指定することが出来るので利用するのであればパソコンにインストールするアプリを使うのをおすすめします。
無料で利用することが出来ますが、CSVでのダウンロードや細かい機能を利用するには会員登録が必要です。会員登録には、Facebook、Googleなどのアカウントもしくは、メールアドレスでの登録も可能です。
楽天の商品検索ページを指定してみると
楽天の商品検索のページでリスト化したいデータが表示されるように検索条件を指定して検索します。その検索結果のページURLをコピーして「import.io」でコピーしたURLを指定して解析を実行します。
自動的にページ内容を解析してリスト化されました。画像なども取得できているようです。この画像はCSV等でダウンロードした際には画像ファイルのURLとして取得します。
パソコンにダウンロードして利用するアプリの方が便利
パソコンにインストールするアプリをダウンロードしてセットアップすれば、もっと使い勝手が良くなります。
動画解説
上記ページは使い方の解説動画ページです。まずはURLを指定します。あとは項目名を入力、クリックで取得したい箇所を選択を繰り返して取得したい情報だけを指定することが可能です。
取得したデータはCSV形式でダウンロードが可能で、他にもJSON、TSVなどでも取得することも出来ます。
画像、品名、商品ページURL、価格といった取得したい画面上で項目名を入力して画面下でマウスクリックで取得したい箇所を選択していきます。
取得したい項目がリスト化されて確認することが出来ました。
複数のURLを指定することも可能で商品検索結果が複数ページになる場合は1ページ目、2ページ目、3ページ目と指定することが出来ます。
ショップ運営への活用方法について
さきほどは、楽天の商品検索ページをスクレイピングしてみましたが、他にもデータ化が出来そうなものを考えるといろいろありそうです。
レビューページからレビュー内容をデータ化
レビューデータをデータ化することで色々と分析出来るかもしれません。Excel上で加工、抽出などしてグラフ化して分析してみてはいかがでしょうか。
楽天ランキングのページからショップの入賞情報をデータ化
楽天ランキングの入賞情報を取得してみてはいかがでしょうか。楽天のランキング入賞ページでショップ名で検索すればショップの入賞している商品をリストアップすることが出来ます。
今回は楽天を例にしていますが、ショップの仕組みによっては他にも活用方法はあると思います。新着商品を検索出来るページがあれば、新着商品だけをスクレイピングで取得したり、レビュー、クチコミ等をデータ化することも出来るかもしれません。
ショップ運営にCSV化したデータをどのように活用するのかと思われるかもしれませんが、CSV化したデータを使って、ページに表示するコンテンツを楽に実装出来るのでは！？と色々と調べているところです。
上記の別記事にあるような、ショップレビュー、商品レビューを表示するツール、楽天ランキング入賞状況を表示するツールのようなものが出来ないかな－と。。。
今回の記事では紹介しきれなかったので、またCSV化したデータを使ってコンテンツ作成する方法を紹介したいと思います。javascript、jqueryでCSVデータを読み取って表示する方法([jQuery]csvファイルをTABLE表示する「csv2table.js」)、もしくはCSVデータを元にHTMLタグを生成する方法などかなーと考え中です。
Your Message