まっさらな状態からUbuntu14.04LTSでChainerのFaster-RCNNを使って物体検出

　Faster-RCNNを実装したのでそのメモを残します。
　なるべく初めてでもできるように、まっさらな状態から環境構築して実装までやっていきます。が、この分野の知識が全くない状態から始めているので、間違いがあるかもしれません。気をつけてね。
　ちなみにCaffeじゃなくてChainerを選んだ理由は導入が簡単だったからです。最初Caffeでもやろうとしたけど挫折しました。Caffeはまた時間があるときに再挑戦してみます。

　とりあえず投稿したけど、書きかけでまだわかりづらいところもあると思うので、時間があるときに加筆修正したいと思います。長いから記事を分けるかも。

環境

【ハードウェア環境】

• Quadro6000

【実装したソフト環境】

• Ubuntu14.04LTS
• Anaconda3-4.1.1（Python）
• CUDA8.0
• cuDNN5.1
• OpenCV3.1
• Chainer（バージョン不明）

全体の流れ

　実装までの流れは以下の通り。
　Ubuntu14.04LTSのインストールから始めて、実際にデモを動かすところまでやります。

• Ubuntu14.04LTSをインストール、設定する。
• pyenvをインストールする。
• Anaconda3-4.1.1をインストールする。
• OpenCV3.1をインストールする。
• Nouveauドライバを無効化する。
• CUDAをインストールする。（Nvidiaドライバのインストール含む。）
• cuDNNをインストールする。
• Chainerをインストールする。
• Faster-RCNNをインストールする。
• 実装する。

Ubuntu14.04LTSをインストールする。

　Chainerを動かすためのOSをインストールします。
　が、申し訳ありませんが今回インストール手順は説明してません。また今度別記事にて説明する予定です。

pyenvをインストールする。

　Ubuntu14.04LTSをインストールしたらさっそくPython管理ツール『pyenv』というものをインストールします。
　Faster-RCNNを実装するにはPythonにいろんなパッケージをインストールしなきゃいけない。そのパッケージそれぞれが導入に結構なハードルがあって一つ一ついれていくのはかなり面倒。
　そこで元からいろんなパッケージが入ったお得セットみたいなPythonがある。それがAnacondaです。そして、このAnacondaと普通のPythonをお手軽に切り替えることができるソフトがpyenv(PYthon ENVironmentの頭文字かな？)というもの。（私個人の理解なので、間違った認識をしているかもしれません。）
　今回の実装ではAnacondaを使うのでPythonの切り替えにpyenvを使います。

【参考記事】

• Python3とOpenCV3の環境を構築してみた | SoraLab / ソララボ

【導入方法】

　まず、以下の操作をしてUbuntu14.04LTSに入っているいろんなソフト（パッケージ）やら何やらを最新にします。
　Control + Alt + T を押してターミナルを起動して、以下のコマンドを一行ずつ打ち込みます。

sudo apt-get update
sudo apt-get upgrade

　これが終わったら次にpyenvをインストールするためにgitのインストールを行います。下記のコマンドを打ち込んでください。

sudo apt-get install git

　次に、gitを使ってpyenvをcloneします。

git clone https://github.com/yyuu/pyenv.git ~/.pyenv

　cloneしたpyenvのパスを通します。

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc
source ~/.bashrc

　これでpyenvがインストールされました。

Anacondaをインストールする。

【参考記事】

• Python3とOpenCV3の環境を構築してみた | SoraLab / ソララボ

　次にAnaconda3-4.1.1をインストールします。
　pyenvのインストールでも書いたが、Anacondaはいろいろ入ったお得なPythonセットのようなものだ。これを入れることで、OpenCVの導入もものすごく簡単になる。

【導入方法】

　Anacondaの導入はpyenvを使って行う。
　まず、下記のコマンドでインストールできるAnacondaのバージョン一覧を確認する。

pyenv install -l | grep anaconda3

　すると、このように一覧が表示されると思う。

  anaconda3-2.0.0
  anaconda3-2.0.1
  anaconda3-2.1.0
  anaconda3-2.2.0
  anaconda3-2.3.0
  anaconda3-2.4.0
  anaconda3-2.4.1
  anaconda3-2.5.0
  anaconda3-4.0.0
  anaconda3-4.1.0
  anaconda3-4.1.1

　そしたら、この中から最新のバージョンを選び下記のコマンドでインストールしよう。この記事を書いたときはAnaconda3-4.1.1が最新だったのでそれをインストールする。

pyenv install anaconda3-4.1.1

　すると、

Downloading Anaconda3-4.1.1-Linux-x86-64.sh...
-> https://repo.continuum.io/archive/Anaconda3-4.1.1-Linux-x86-64.sh

　と出てしばらく止まったままだけどちゃんと動いるので、待ちます。
　その後、

Installing Anaconda3-4.1.1-Linux-x86-64...
Installed Anaconda3-4.1.1-Linux-x86-64 to ○○

　と表示されたらリハッシュします。

pyenv rehash

　これでインストール完了です。
　ちゃんとインストールされたか確認します。下のコマンドで、UbuntuにインストールされているPythonの一覧が表示されます。

pyenv versions

　Pythonを切り替えるには

pyenv global anaconda3-4.1.1

　切り替わったかの確認

pyenv version

　pyenvではなくPython側からも確認できる。

python --version

　Anacondaと表示されていれば成功。

OpenCV3.1をインストールする。

【参考記事】

• Python3とOpenCV3の環境を構築してみた | SoraLab / ソララボ

　Anacondaが入ったら次はOpenCVのインストールをする。
　これはAnacondaが入っていることが前提です。
　とっても簡単。下記のコマンドを打つだけです。

conda install -c https://conda.anaconda.org/menpo opencv3

これだけでOpenCV3がインストールは完了です。
インストールの確認。

python -c "import cv2;print(cv2.__version__)"

OpenCVのバージョンが表示されたら成功。

Nouveauドライバ無効化

　NVIDIA製のGPUを積んでいるパソコンの場合、CUDAを使うためにNVIDIAのドライバをいれたほうがいいでしょう。ですが、どうやらUbuntuに標準で入っているNouveauというドライバとNVIDIAのドライバが競合してしまうらしいのでNouveauを無効化します。

【参考記事】

• UbuntuにCUDAを入れようとしたらハマった - Qiita
• Ubuntu14.04のChainer1.9でGPU(CUDA)を使う | めめんと
• Ubuntu 14.04.3 LTS に Chainer をインストールする - 不確定特異点
• UbuntuにNVIDIAドライバを入れる手順 - Qiita
• Ubuntu 16.04LTSにNVIDIAドライバ(nvidia-390)とCUDA 9.1を入れた時のメモ - swytelの日記

【導入方法】

　blacklist-nouveau.confというファイルを編集します。もし、ファイルがなければ作成してください。

sudo vim /etc/modprobe.d/blacklist-nouveau.conf

　で下記を追記して保存します。

blacklist nouveau
options nouveau modeset=0

　その後、下記のコマンドを打ち、

sudo update-initramfs -u

　最後にUbuntuを再起動します。

CUDAをインストールする。（NVIDIAドライバのインストール含む）

　CUDAはNVIDIA製のGPUを使って並列処理を行うためのライブラリです。
　ちなみにCUDAをインストールするとNVIDIAのドライバも一緒にインストールされるようです。

【参考記事】

• Ubuntu14.04のChainer1.9でGPU(CUDA)を使う | めめんと
• Ubuntu 14.04にCUDA 7.0とcuDNNを導入する - Ry0 Note
• Ubuntu 14.04.3 LTS に Chainer をインストールする - 不確定特異点

【導入方法】

　まず、自分のGPUの型番を確認して下記URLから、対応しているCUDAのバージョンを調べます。

• CUDA - Wikipedia

　そしたらNVIDIAのサイトからCUDA Toolkitをダウンロードします。こちらのサイトは最新版のURLになります。

• CUDA Toolkit 10.0 Download | NVIDIA Developer

　自分のGPUが最新版に対応していなかった人はこちらから。

• CUDA Toolkit Archive | NVIDIA Developer

　Select Target Platformという欄から自分の環境にあったものを選択していきます。今回はUbuntu14.04LTSの64bit環境なので、
　Linux　→　x86_64　→　Ubuntu　→　14.04　→　deb(local)
　と選択していきます。
　最後のInstaller Typeの欄ですが、deb(local)かdeb(network)を選びましょう。
　2つの違いはCUDAをダウンロードしきってからインストールするか、ダウンロードしながらインストールするかの違いです。前者は手元にCUDAのデータが残りますが、後者は残りません。ですので、もし何か手違いがあってCUDA入れ直す事になったとき、後者の場合はもう一度ダウンロードしなければいけなくなります。今回は入れ直す可能性も考えて、deb(local)を選択します。
　表示されたDownloadのボタンを押して、ダウンロードします。ダウンロード場所はどこでもいいと思いますが、今回は

~/home/shiba/Download/

　にします。
　ダウンロードが終わったらダウンロードしたディレクトリにcdコマンドで移動します。そして、

sudo dpkg -i cuda-repo-ubuntu1404-8-0-local_8.0.44-1_amd64.deb
sudo apt-get update
sudo apt-get install cuda

　でCUDAをインストールします。
　次に.bashrcか.bash_profileに下記のコマンドを追記します。

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

.bashrc .bash_profileどちらもhomeにある隠しファイルです。今回は.bashrcに追記します。
具体的な追記方法は、

sudo gedit ~/.bashrc

　でエディタを開いて上記のコマンドをコピペして保存します。
　もしくは、

echo 'PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc

　とコマンドを入力します。
.bashrcに追記した後は、

source ~/.bashrc

　と入力します。

なお、『パスを通す』ことや、『export』コマンドについて詳しくは以下のURLを参照。

• UbuntuデスクトップでPATHの設定は、~/.bashrc か ~/.bash_profile か ~/.profile のどれに書けばよいのか？ - 部屋の中にも一年
• .bash_profileと.bashrcについて - Qiita
• パス(PATH)の確認と設定方法は？ - Pocketstudio.jp Linux Wiki
• PATHを通すとは？ (Mac OS X) - Qiita
• [Mac, Linux] PATHを通す方法 | Memo on the Web
• echoコマンドの詳細まとめました【Linuxコマンド集】

　『source』コマンドについては、

• Linux — source コマンドは何をしているのか > 実は環境をリロードするためのものではない - Qiita

　インストールできたか確認する

nvcc -V

　CUDAのバージョンが確認できれば成功。
　CUDAのインストールが完了するとNVIDIAのドライバもインストールされるので、確認します。

lsmod | grep nvidia

　このコマンドを打つと下の3つが表示されます。

nvidia_uvm ●●
nvidia ●●
drm ●●

　●●の部分は人によって多分違います。
　参考にさせて頂いた記事にも書いてありましたが、私の環境でもnvidia_uvmが表示されていませんでした。なので

dpkg -l | grep nvidia

　このコマンドで、nvidia-●●-uvmを探します。見つけたら、

sudo modprobe nvidia-352-uvm

　と打ってカーネルモジュールにnvidia-uvmを登録します。
　再び、

lsmod | grep nvidia

　と打って、

nvidia_uvm ●●
nvidia ●●
drm ●●

　の3つが出てくれば成功です。Ubuntuを再起動しましょう。

　ちなみに、NVIDIAのドライバを個別にインストールする場合は下記の記事を参考に。

• UbuntuでNVIDIAのドライバをインストールする - Qiita
• nvidiaのdriverをインストール(ubuntu) - mikemoke blog

cuDNNのインストール

　cuDNNはディープニューラルネットワークを効率よく処理するためのライブラリです。

【参考記事】

• Ubuntu 14.04にCUDA 7.0とcuDNNを導入する - Ry0 Note
• Windows上にChainer v1.5+CUDA+cuDNNを一番簡単に入れれる方法 - Qiita

【導入方法】

　まず、NVIDIAのサイトからcuDNNをダウンロードしなきゃいないんですが、cuDNNのダウンロードにはユーザー登録が必要です。
　下記のサイトからユーザー登録を行います。
NVIDIA cuDNN | NVIDIA Developer
　Registerをクリックします。
　何やら色々書いてありますが、とりあえずJoin nowをクリック。
　必要事項を英語で記入していきます。
　Organization Nameには個人なのでIndividualと記入して次へ。（どうでもいいけど、13歳未満はcuDNNを使えないのは何故なんでしょう。そんなに過激なものなのか・・・）
自分の環境や使う言語、利用目的やらを記入して登録。
　数日すると完了するようなのでそしたら、cuDNNをダウンロードします。
　再び下記のサイトへ。
NVIDIA cuDNN | NVIDIA Developer
　今度はDownloadをクリック。登録したメールアドレスとパスワードを入力してログイン。
　そしたら再び何に使うのかやらどういう分野に使うのかやらをチェックして次へ。
　cuDNNのソフトライセンスを熟読して同意したらチェックボックスにチェック。
　そしたら、色々バージョンがでてくるので、自分のCUDAのバージョンに合った最新のcuDNNをダウンロードしましょう。
　この記事を書いているときは、cuDNN v5.1が最新でしたので、

Download cuDNN v5.1 (August 10, 2016), for CUDA 8.0

　をクリック。そして、

cuDNN v5.1 Library for Linux

　をクリックして『cudnn-8.0-linux-x64-v5.1.tgz』をダウンロードしましょう。これもダウンロードはどこでもいいと思います。
　ダウンロードが完了したらターミナルでダウンロードしたディレクトリにcdコマンドで移動します。移動したら、

tar -zxf cudnn-6.5-linux-x64-v2.tgz
cd cudnn-6.5-linux-x64-v2

　と打って、cuDNNの解凍と解凍したディレクトリへの移動をします。
　ここまできたらcuDNNのインストールを行うのですが、cuDNNのインストールはただファイルをコピーするだけとなっています。なので下のコマンドを打って終わりです。

cd lib
sudo cp lib* /usr/local/cuda/lib64/
cd ../
cd include/
sudo cp cudnn.h /usr/local/cuda/include/

　インストールできたか確認します。

python -c "import cupy.cudnn"

　と打って何も起こらなければOKです。

　ちなみに余談ですが、参考記事にもありますが、Chainerを先にインストールしてしまい後からcuDNNをインストールする場合、Chainerを再インストールする必要があるそうです。具体的には

pip unisntall chainer

でchainerをアンインストールした後に、

pip install chainer

Chainerをインストールする。

　いよいよChainerをインストールしていきます。

【参考記事】

• Faster R-CNNのChainer実装で物体検出を試してみた | SoraLab / ソララボ
• GitHub - mitmul/chainer-faster-rcnn: Object Detection with Faster R-CNN in Chainer
• Ubuntu14.04のChainer1.9でGPU(CUDA)を使う | めめんと
• Ubuntu 14.04.3 LTS に Chainer をインストールする - 不確定特異点
• Windows上にChainer v1.5+CUDA+cuDNNを一番簡単に入れれる方法 - Qiita

【導入方法】

　まず、Python環境がAnacondaに切り替わっていることを確認します。

pyenv versions

　でAnacondaと出てくればOK。もし違うようなら、

pyenv global anaconda3-4.1.1

　で切り替える。
　次にPythonパッケージ管理ツールpipを使って依存関係をインストールします。ただ、下記のパッケージはおそらくAnacondaと一緒に入っているので（pipも）、入れようとしてももう入っているよって言われると思います。ですが、念のためコマンドを入力しておきます。

pip install numpy
pip install cython

　そうしたら、次にchainerのインストールを行います。

pip install chainer

　これでChainerのインストールは完了です。ちゃんとインストールできたか確認します。

python -c "import chainer"

　と入力して何も起こらなければOKです。

Faster-RCNNをインストールする。

【参考記事】

• Faster R-CNNのChainer実装で物体検出を試してみた | SoraLab / ソララボ
• GitHub - mitmul/chainer-faster-rcnn: Object Detection with Faster R-CNN in Chainer

【導入方法】

　GitHubからchainer-faster-rcnnをクローンします。
　githubからクローンする場所なのですが人によってホントにまちまちでいろんな記事を参考にしているとてんでバラバラになってしまいます。なので、今回は参考にさせていただいた記事にならい ~/github というディレクトリを作成してそこにクローンしたいと思います。
　クローン用のディレクトリを作成します。

mkdir ~/github

　作ったディレクトリに移動して、chainer-faster-rcnnをクローンします。

cd ~/github
git clone https://github.com/mitmul/chainer-faster-rcnn

　クローンしたディレクトリに移動して、dataというディレクトリを作成します。

cd chainer-faster-rcnn
mkdir data

　作ったdataディレクトリに移動して、プレトレーニングモデルをダウンロードします。

cd mkdir
wget https://dl.dropboxusercontent.com/u/2498135/faster-rcnn/VGG16_faster_rcnn_final.model

　chainer-faster-rcnnディレクトリに戻り、サンプルの画像をダウンロードします。

cd ..
wget http://vision.cs.utexas.edu/voc/VOC2007_test/JPEGImages/004545.jpg

　が、何故か自分の環境ではサンプル画像がダウンロードできず。なので、適当にネットから画像を引っ張ってきてこのディレクトリに保存しました。
　画像が用意できたらついに、デモの実行です。

python forward.py --img_fn 004545.jpg --gpu 0

　物体が資格で囲まれたresult.jpgという画像がディレクトリに出力されれば成功です。やったね！
　オプションの詳細は

--img_fn　　入力画像
--out_fn　　出力画像、　省略でresult.jpg
--gpu　　　 0でGPUモード、　-1もしくは省略でCPUモード

　となっています。

参考にさせて頂いた記事まとめ

• Python3とOpenCV3の環境を構築してみた | SoraLab / ソララボ
• Faster R-CNNのChainer実装で物体検出を試してみた | SoraLab / ソララボ
• Ubuntu14.04のChainer1.9でGPU(CUDA)を使う | めめんと
• UbuntuにCUDAを入れようとしたらハマった - Qiita
• Windows上にChainer v1.5+CUDA+cuDNNを一番簡単に入れれる方法 - Qiita
• Ubuntu 14.04.3 LTS に Chainer をインストールする - 不確定特異点
• Ubuntu 14.04にCUDA 7.0とcuDNNを導入する - Ry0 Note
• GitHub - mitmul/chainer-faster-rcnn: Object Detection with Faster R-CNN in Chainer
• UbuntuでNVIDIAのドライバをインストールする - Qiita