Pythonによるマルチスレッドプログラミング実践

プログラムは実行される際、プロセスという単位で実行領域がメモリ上に割り当てられ、処理が順次実行されていきます。(逐次処理)
マルチスレッドプログラミングとは、プロセスの中の処理を複数のスレッドに分割することで、片方のスレッドがネットワークの応答待ちなど、計算領域を効率よく使えていない時間にも別の処理を進めることができ、実行速度やプログラム構造の改善をすることができます。(並列処理)

タスクの流れ

1．任意のWebサイトへアクセスするWebクローラーの作製。
2．逐次処理により、複数の異なるWebサイト(10サイト程度)にクローリングを行い、終了までの所要時間を計測。
3．並列処理により、2で対象としたWebサイトにクローリングを行い、終了までの所要時間を計測。
4．横軸を並列処理に用いたスレッド数N(スレッド)、縦軸を処理時間T(秒)としたプロットを作成(Nは15程度)

STEP 1.　Webクローラーの作製

適当なpythonのライブラリを用い、URLを引数として対象WebサイトのHTMLを返すWebクローラーを作製します。
クローラー用のライブラリはurllib, requestsなどたくさんの種類がありますので、使いやすいものを選択します。

STEP 2. 逐次処理によるクローリング

10個の異なるWebサイトのURLに対し、STEP 1で作製したクローラーを用いて処理終了までの所要時間を計測します。
Hint: Pythonのlistやtupleなどに対象となる複数のURLを格納し、forループを回します。

STEP 3. 並列処理によるクローリング

STEP 2 で用いたURLに対し、STEP 1で作製したクローラーを用いて処理終了までの所要時間を計測します。
但し、今回は適当なPythonのライブラリを用いて並列処理を行います。使用するスレッド数は4とします。
並列処理用のライブラリにはmultiprocessing, joblibなどたくさんの種類がありますので、使いやすいものを選択します。
Hint: 並列処理をするためには、クローラーの入力がどのような形でなければならないか注意しましょう。

STEP 4. スレッド数 vs. 処理時間のグラフの作製

並列処理に使用するスレッド数を変えて(1から15程度まで)、STEP 3を行います。
横軸をスレッド数N、縦軸を所要時間T(秒)とし、グラフにプロットします。
Hint: 各スレッド数に対する結果は、一旦外部に保存しておくと作業がしやすいかもしれません。

CHALLENGE

● 単純にスレッドを増やすだけでは、各スレッドが同じページを探索してしまうことがあります。それではスレッドを増やした意味がありません。
これに対処するために、各スレッド間で共有できるオブジェクトを作り、探索済みのURLを格納する方法があります。プロセスベースの並列処理ページのマネージャーの項目を参考にしてください。
また、探索済みのページ数を表すnumberVisitedもスレッド間で共有できるようにしましょう。

● さらなる速度アップのための方法の一つとして、REDISを利用することが挙げられます。
HDDとのデータのやり取りは処理速度が遅いですが、それに比べ、インメモリデータベースであるREDISへのデータアクセスは非常に高速となるからです。
マルチスレッドプログラムでデータを格納していた部分を、REDISへの格納に変更してください。(REDISに格納したデータはbytes型になるので注意しましょう。)
さらに、指定したワードが見つかったURLをREDISとPostgresに格納し、両方から保存されたデータに照会してみてください。