ウェブページテストやスクレイピング用途でお馴染みのSeleniumについて解説します。この記事ではSeleniumの特徴や欠点、インストール方法、使い方、よくあるエラーとその対処方法について説明します。この記事を読めば大抵のSelenium操作を把握することができます。なお、言語はPythonを使用しています。
記事中でウェブページの検索結果を取得するプログラムを紹介します。
Seleniumとは
Selenium(セレニウム)はブラウザ操作の自動化ライブラリです。ウェブページのリンクのクリックや文字の入力などをプログラムから行うことができます。またウェブページ要素の取得なども行えるため、ページのテストだけでなく、スクレイピングにも使用することができます。
Seleniumの特徴
Seleniumの特徴は以下の4つです
- JavaScriptを解釈できる
- CSSやXPATHなどのセレクタで要素指定ができる
- WebDriverを使用するためブラウザ上での表示状況を確認できる
- 様々な言語に対応している
JavaScriptを解釈できる
SeleniumではJavaScriptを解釈できます。このため動きのあるウェブページのテストやクリックしないと表示されない要素のスクレイピングなどに使用することができます。
CSSやXPATHなどのセレクターで要素指定ができる
SeleniumではHTML要素のセレクターとしてCSSやXPATHが利用できるため、目的の要素や属性、テキスト内容などを直接指定できます。またXPATHを駆使すれば値の大小比較や特定の文字列の検索などが非常に簡単に行なえます。
スクレイピングの入門としてよくBeautifulSoupが引き合いに出されますが、貧弱なCSSセレクターしか使えないBeautifulSoupに比べ、SeleniumではCSSとXPATHの合わせ技により、時に簡潔に、時に複雑な要素指定をすることができます。
WebDriverを使用するためブラウザ上での表示状況を確認できる
SeleniumはWebDriverを利用してブラウザにウェブページをロードすることができるため、ウェブページの表示状態を確認することができます。ウェブページをテストする時に便利なのはもちろんのこと、スクレイピングする際もページの表示状態が分かることでデバッグがしやすくなります。
様々な言語に対応している
SeleniumはJava、C#、Python、Ruby、JavaScript(Node.js)などの言語に対応しています。使い慣れた言語で開発できれば、開発スピードも向上します。
Seleniumの欠点
Seleniumには以下の3つの欠点があります。
- 遅い
- WebDriver特有のエラーがある
- Waitが難しい
遅い
SeleniumはウェブページをWebDriverにロードするため、基本的に動作が遅くなります。もしスクレイピング用途での使用を考えていて、ウェブページのJavaScriptを解釈する必要がないのなら、BeautifulSoupかlxmlの使用をオススメします。
また動作が遅いため大規模なサイトのクロールにも不向きです。もしECサイトやニュースサイト等の大規模サイトのページ内容をスクレイピングする予定なら、Scrapyを使用することをオススメします。
WebDriver特有のエラーがある
SeleniumはWebDriverを通してウェブページをロードするためWebDriverに起因するエラーが発生することがあります。
例えばChromeDriverにはsend_keys()を利用して、サイト上に文字を入力する際に文字列の一部しか入力されないという不具合があります。
こうしたエラーに出くわした場合はデバッグの難易度が少し上がるかもしれません。
Waitが難しい
SeleniumはJavaScriptを解釈してページをロードしていますが、要素がロードされるまでの時間は基本的にユーザーが明示的にwait(待ち時間)を設定します。どの要素を待てばいいのか、waitをどのように指定すればいいのかなどは若干JavaScriptの知識を要するため、初めての場合は少し難しいかもしれません。
本記事ではwaitの指定方法もあわせて紹介していきます。
Seleniumのインストール
ここからはSeleniumをPythonで使用することを前提に解説していきます。
Seleniumをインストールするには下記コマンドを実行します。
pip install seleniumまた使用するWebDriverを下記よりダウンロードします。オススメはGeckoDriver(Firefox)です。
ダウンロードしたWebDriverは/usr/binか/usr/local/binに解凍して配置してください。
Firefox以外のブラウザを使いたい場合やWindowsで動かしたい場合はこちらのリンクを参考にしてください。
Seleniumの使い方
ここからはhttps://www.python.org/を題材に、実際にコードでSeleniumの使い方を見ていきます。動作を見ながらコードが書けるのでIPythonやJupyterを使って書くことをオススメします。
ブラウザを開く
まずはURLにアクセスしましょう。下記コードでURLに指定したページをブラウザで開けます。
webdriver.Firefox()でWebDriverのインスタンスを作り、driver.get()で指定したURLにアクセスしています。
上手くいけば、画像のようにpython.orgにアクセスできます。
要素を取得する
要素を取得するにはfind_element...()を使います。ここではCSSセレクターを使って、Python.orgの検索窓を指定します。
検索窓の上で右クリックして、「検証」を選択すると検索窓のHTMLを見ることができます。
input要素でIDがid-search-fieldであるものを指定すれば上手くいきそうです。この場合のCSSセレクターはinput#id-search-field
のように書けます。
要素の指定は要素名(find_element_by_name)、クラス(find_element_by_class_name)、ID(find_element_by_id)、CSSセレクター(find_element_by_css_selector)、XPATH(find_element_by_xpath)などから行えます。
find_element...()メソッドは最初にヒットした要素を返します。もし、複数の要素を同時に取得したい場合はfind_elements...()メソッドを使います。この場合、ヒットした要素のlistが返ってきます。例えばこんな感じです。
要素の指定にはCSSセレクターとXPATHが便利です。覚えておいて損はありません。最初に手を付けるなら、簡単で手軽に書けるCSSセレクターがオススメです。【初心者向け】CSSセレクタとは？セレクタの種類や指定方法を解説！（基礎編）が参考になりました。XPATHに関してはクローラ作成に必須！XPATHの記法まとめが参考になります。
要素の存在を確認する
Seleniumは存在しない要素にアクセスしようとすると下のようにNoSuchElementExceptionの例外を出します。
存在が不確定な要素にアクセスする時は次のように、NoSuchElementExceptionに対して、例外処理をします。
要素が存在するはずなのにNoSuchElementExceptionが出てしまうという場合は、要素が描画される前にアクセスしてしまっている可能性があります。後述するwaitで待ち時間を指定することで要素が選択できるようになります。
文字を入力する
文字を入力するにはsend_keys()を使います。
ページが遷移してしまっている場合は次のコードでpython.orgを開いてください。
次の例では検索ボックスにAWSを入力しています。
画像のように検索ボックスにAWSが入力されれば成功です。
クリックする
Seleniumでは要素をクリックするメソッドも用意されています。click()を使って要素をクリックできます。次の例ではGOボタンをクリックして検索を実行しています。
画像のようにAWSの検索結果が表示されれば成功です。
キーを押す
Goボタンをクリックする代わりにEnterを押すこともできます。Seleniumでキー入力をするにはKeysを使います。
次の例では検索ボックスに'GCP'を入力し、Enterキーを押して、検索しています。
上手くいけばGCPの検索結果が表示されます。SeleniumではEnterキー以外にもカーソルキーやファンクションキーなどのキーを押すことができます。Seleniumで押せるキーはこちらから確認できます。
文字を取得する
Seleniumでタグ内の文字を取得するにはtextプロパティを使います。また属性値を取得したい場合はget_attribute()メソッドを使用します。
次の例では検索結果からタイトルとURL、場所、説明文を取得しています。
対象のHTMLは次のようになっています。
まずはli要素を取得し、得られた要素に対してa要素のテキストやhref属性値、p要素のテキストなどを抽出していきます。Pythonコードは以下のようになります。
まずsearch_resultとしてリストの中から1つのli要素を選択しました。タイトルやURLなどはこの選択した要素に対して更にセレクターを適用することによって絞り込んでいます。
urlはそのままでは'/jobs/4006/'のように相対URLになってしまうので、urllib.parseのurljoinを使って絶対パスを取得しています。urljoinの詳しい使い方はこちら。
p要素は複数存在する可能性があるため、find_elementsで取得して、要素ごとに改行をはさみながら1つの文字列に格納しています。
Waitする
「要素の存在を確認する」で触れたようにSeleniumはJavaScriptをロードするため、描画前の要素を選択しようとするとNoSuchElementExceptionが発生してしまいます。描画が遅い要素に対してはWaitを挟む必要があります。
SeleniumのWaitにはExplicit Waits(明示的な待機)とImplicit Waits(暗黙的な待機)の2種類があります。基本的にはExplicit Waitsを利用することをオススメします。暗黙的な待機はdriver = webdriver.Firefox()driver.implicitly_wait(10)
のようにして手軽に設定できるのですが、Seleniumが行うほぼ全ての操作に対してwaitがかかってしまい、数値によっては動作が遅くなります。逆に設定する数値が少なすぎると描画までの待ち時間が足りず、NoSuchElementExceptionが発生してしまいます。早い話がImplicit Waitsは使えません。
Explicit Waitsを使うには次のようにします。
By,WebDriverWait,expected_conditions,TimeoutExceptionをインポートします。さらにwaitしたい要素に対して、expected_conditionsのpresence_of_element_located()メソッドを使います。このメソッドは指定した要素がページ上に存在するかどうかをチェックします。
presence_of_element_located()は指定した要素がページ上で見える状態かどうかについては考慮しません。もし、要素が表示されるまで待つ必要がある場合はvisibility_of_element_located()を使用してください。
複数の要素全てを待ちたい場合はpresence_of_all_elements_located()を使います。
expected_conditionsには他にも様々なメソッドが用意されています。こちらから確認してみてください。
Headlessモードを使う
実行するたびにウィンドウがポップアップしてきてウザい。そんな時はheadlessモードを使います。
geckodriver(FireFox)でheadlessモードを使うには次のようにします。
うまく動作すればページタイトルが表示されます。
headlessモードはwebdriverによって対応が違うので使いたいwebdriverごとに調べる必要があります。geckodriverはこちら、chromedriverはこちらが参考になります。
JavaScriptを実行する
SeleniumでJavaScriptを実行したい!そんなときはexecute_script()を使います。これを使えばJavaScriptのコードをwebdriver上で実行できます。
よくあるのはページを一番下までスクロールするスクリプトです。JavaScriptのscrollToメソッドを使ってページを一番下までスクロールします。
うまくいけば、ページが一番下までスクロールされます。
JavaScriptの実行結果を得たい場合は次のようにreturnを書きます。
ウィンドウを閉じる
ウィンドウを閉じるにはclose()かquit()を使います。close()でタブを閉じる。quit()で全てのタブを閉じます。
【example】 Seleniumでpython.orgの検索結果を取得する
これまで紹介したテクニックを総合して、python.orgの検索結果を得るプログラムを作ります。
プログラムの簡単な流れは以下のとおりです。
- python.orgにアクセスする
- 検索ボックスからキーワードを検索する
- ページから検索結果を抽出する
- Nextボタンが有れば次ページに移動し、3を行う。無ければ5を行う
- 検索結果をjsonファイルへ出力する
Nextボタンの指定だけ少しトリッキーに見えるかもしれません。今回のページのNextボタンの要素は次のように書かれていました。
このように要素にIDやクラスが指定されていない場合は要素内の文字列や属性などが頼りになります。今回はdivを親に持つa要素のうち、href属性に'page'という文字列を含み、かつテキスト内に'Next'という文字列を含んでいるものを指すことでNextボタンの有無を判定しました。
//div/a[contains(@href,'page')][contains(text(),'Next')]XPATHのcontains(haystack,needle)は第1引数に検索対象を指定し、第2引数に検索文字列を指定します。検索対象に検索文字列が含まれていれば真を返します。検索対象はタグ内の文字列ならtext()、属性なら属性名の前に@をつけて、@classや@idなどと書きます。
Seleniumでよくあるエラー
ここからはSeleniumでよくあるエラーについて紹介します。
TypeError: 'str' object is not callable
エラー自体は文字列を関数として呼び出してしまった時に出ます。よくあるのはtextを取得する際に誤ってtext()とメソッドで呼んだ時などでしょう。XPATHでtext()と書くだけにやりがちなエラーです。
NoSuchElementException: Message: Unable to locate element:
存在しない要素にアクセスした際に出る例外です。
もし存在しているはずの要素ならばwaitが足らないか、設定されていないのかもしれません。waitを設定して要素が描画されるのを待ちます。waitに関してはこちらに書きました。
Chromedriverでsend_keys()を使うと文字列が最後まで入力されない
記事執筆時点で、chromedriverを使って文字列をsend_keys()で入力しようとすると中途半端に入力されてしまう不具合があります。対策は3通りあります。
- Geckodriverを使う
- JavaScriptを使って入力する
- 1文字ずつ入力する
1番手っ取り早いのはGeckodriverを使うことです。Geckodriverなら正常にsend_keys()で文字列を入力できます。
JavaScriptを使って入力する方法もあります。execute_script()を使ってJavaScript越しに要素の値を書き換えます。
少し面倒ですがどうしてもchromedriverを使わなければならない場合に使えるテクニックです。
1文字ずつ入力する方法は単に文字列をforで1文字ずつに分けて入力する方法です。実行が遅くなるのであまりオススメはしません。JavaScriptを使いたくなく、Pythonのみで書きたい場合などに使えます。
下記の記事も参考になります
Issue 1771: sendKeys() sometimes doesn't enter all the characters from string
sendKeys does not always enter all text #3196
Selenium - send_keys() sending incomplete string
参考
https://selenium-python.readthedocs.io/
https://www.asobou.co.jp/blog/web/css-selectors
https://qiita.com/rllllho/items/cb1187cec0fb17fc650a
https://qiita.com/edo_m18/items/ba7d8a95818e9c0552d9
https://developer.mozilla.org/en-US/docs/Mozilla/Firefox/Headless_mode
https://qiita.com/derodero24/items/9e9567790bde9e4b9d0c
スクレイピング・クローリングに関する知識をつけるのには『Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド』を使いました。コマンドを使った簡単なスクレイピングからScrapyを使った本格的なクローラーまで作れるようになった上に、それらをAWS上で運用することもできるようになりました。
2019/8/10に増補改訂版が出たため、そちらもご一読ください。
コメント