可変ブログ

色々メモとか。とりあえず自分が分かるように。その後、なるべく人が見て分かるように。可変。

まっさらな状態からUbuntu14.04LTSでChainerのFaster-RCNNを使って物体検出

 Faster-RCNNを実装したのでそのメモを残します。
 なるべく初めてでもできるように、まっさらな状態から環境構築して実装までやっていきます。が、この分野の知識が全くない状態から始めているので、間違いがあるかもしれません。気をつけてね。
 ちなみにCaffeじゃなくてChainerを選んだ理由は導入が簡単だったからです。最初Caffeでもやろうとしたけど挫折しました。Caffeはまた時間があるときに再挑戦してみます。

 とりあえず投稿したけど、書きかけでまだわかりづらいところもあると思うので、時間があるときに加筆修正したいと思います。長いから記事を分けるかも。


環境

【ハードウェア環境】
  • Quadro6000
【実装したソフト環境】
  • Ubuntu14.04LTS
  • Anaconda3-4.1.1(Python
  • CUDA8.0
  • cuDNN5.1
  • OpenCV3.1
  • Chainer(バージョン不明)



全体の流れ

 実装までの流れは以下の通り。
 Ubuntu14.04LTSのインストールから始めて、実際にデモを動かすところまでやります。

  • Ubuntu14.04LTSをインストール、設定する。
  • pyenvをインストールする。
  • Anaconda3-4.1.1をインストールする。
  • OpenCV3.1をインストールする。
  • Nouveauドライバを無効化する。
  • CUDAをインストールする。(Nvidiaドライバのインストール含む。)
  • cuDNNをインストールする。
  • Chainerをインストールする。
  • Faster-RCNNをインストールする。
  • 実装する。



Ubuntu14.04LTSをインストールする。

 Chainerを動かすためのOSをインストールします。
 が、申し訳ありませんが今回インストール手順は説明してません。また今度別記事にて説明する予定です。


pyenvをインストールする。

 Ubuntu14.04LTSをインストールしたらさっそくPython管理ツール『pyenv』というものをインストールします。
 Faster-RCNNを実装するにはPythonにいろんなパッケージをインストールしなきゃいけない。そのパッケージそれぞれが導入に結構なハードルがあって一つ一ついれていくのはかなり面倒。
 そこで元からいろんなパッケージが入ったお得セットみたいなPythonがある。それがAnacondaです。そして、このAnacondaと普通のPythonをお手軽に切り替えることができるソフトがpyenv(PYthon ENVironmentの頭文字かな?)というもの。(私個人の理解なので、間違った認識をしているかもしれません。)
 今回の実装ではAnacondaを使うのでPythonの切り替えにpyenvを使います。

【導入方法】

 まず、以下の操作をしてUbuntu14.04LTSに入っているいろんなソフト(パッケージ)やら何やらを最新にします。
 Control + Alt + T を押してターミナルを起動して、以下のコマンドを一行ずつ打ち込みます。

sudo apt-get update
sudo apt-get upgrade

 これが終わったら次にpyenvをインストールするためにgitのインストールを行います。下記のコマンドを打ち込んでください。

sudo apt-get install git

 次に、gitを使ってpyenvをcloneします。

git clone https://github.com/yyuu/pyenv.git ~/.pyenv

 cloneしたpyenvのパスを通します。

echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc
source ~/.bashrc

 これでpyenvがインストールされました。


Anacondaをインストールする。

【参考記事】

 次にAnaconda3-4.1.1をインストールします。
 pyenvのインストールでも書いたが、Anacondaはいろいろ入ったお得なPythonセットのようなものだ。これを入れることで、OpenCVの導入もものすごく簡単になる。

【導入方法】

 Anacondaの導入はpyenvを使って行う。
 まず、下記のコマンドでインストールできるAnacondaのバージョン一覧を確認する。

pyenv install -l | grep anaconda3

 すると、このように一覧が表示されると思う。

  anaconda3-2.0.0
  anaconda3-2.0.1
  anaconda3-2.1.0
  anaconda3-2.2.0
  anaconda3-2.3.0
  anaconda3-2.4.0
  anaconda3-2.4.1
  anaconda3-2.5.0
  anaconda3-4.0.0
  anaconda3-4.1.0
  anaconda3-4.1.1

 そしたら、この中から最新のバージョンを選び下記のコマンドでインストールしよう。この記事を書いたときはAnaconda3-4.1.1が最新だったのでそれをインストールする。

pyenv install anaconda3-4.1.1

 すると、

Downloading Anaconda3-4.1.1-Linux-x86-64.sh...
-> https://repo.continuum.io/archive/Anaconda3-4.1.1-Linux-x86-64.sh

 と出てしばらく止まったままだけどちゃんと動いるので、待ちます。
 その後、

Installing Anaconda3-4.1.1-Linux-x86-64...
Installed Anaconda3-4.1.1-Linux-x86-64 to ○○

 と表示されたらリハッシュします。

pyenv rehash

 これでインストール完了です。
 ちゃんとインストールされたか確認します。下のコマンドで、UbuntuにインストールされているPythonの一覧が表示されます。

pyenv versions

 Pythonを切り替えるには

pyenv global anaconda3-4.1.1

 切り替わったかの確認

pyenv version

 pyenvではなくPython側からも確認できる。

python --version

 Anacondaと表示されていれば成功。


OpenCV3.1をインストールする。

【参考記事】

 Anacondaが入ったら次はOpenCVのインストールをする。
 これはAnacondaが入っていることが前提です。
 とっても簡単。下記のコマンドを打つだけです。

conda install -c https://conda.anaconda.org/menpo opencv3

これだけでOpenCV3がインストールは完了です。
インストールの確認。

python -c "import cv2;print(cv2.__version__)"

OpenCVのバージョンが表示されたら成功。

Nouveauドライバ無効化

 NVIDIA製のGPUを積んでいるパソコンの場合、CUDAを使うためにNVIDIAのドライバをいれたほうがいいでしょう。ですが、どうやらUbuntuに標準で入っているNouveauというドライバとNVIDIAのドライバが競合してしまうらしいのでNouveauを無効化します。

【導入方法】

 blacklist-nouveau.confというファイルを編集します。もし、ファイルがなければ作成してください。

sudo vim /etc/modprobe.d/blacklist-nouveau.conf

 で下記を追記して保存します。

blacklist nouveau
options nouveau modeset=0

 その後、下記のコマンドを打ち、

sudo update-initramfs -u

 最後にUbuntuを再起動します。


CUDAをインストールする。(NVIDIAドライバのインストール含む)

 CUDAはNVIDIA製のGPUを使って並列処理を行うためのライブラリです。
 ちなみにCUDAをインストールするとNVIDIAのドライバも一緒にインストールされるようです。

【導入方法】

 まず、自分のGPUの型番を確認して下記URLから、対応しているCUDAのバージョンを調べます。

 そしたらNVIDIAのサイトからCUDA Toolkitをダウンロードします。こちらのサイトは最新版のURLになります。

 自分のGPUが最新版に対応していなかった人はこちらから。

 Select Target Platformという欄から自分の環境にあったものを選択していきます。今回はUbuntu14.04LTSの64bit環境なので、
 Linux → x86_64 → Ubuntu → 14.04 → deb(local)
 と選択していきます。
 最後のInstaller Typeの欄ですが、deb(local)かdeb(network)を選びましょう。
 2つの違いはCUDAをダウンロードしきってからインストールするか、ダウンロードしながらインストールするかの違いです。前者は手元にCUDAのデータが残りますが、後者は残りません。ですので、もし何か手違いがあってCUDA入れ直す事になったとき、後者の場合はもう一度ダウンロードしなければいけなくなります。今回は入れ直す可能性も考えて、deb(local)を選択します。
 表示されたDownloadのボタンを押して、ダウンロードします。ダウンロード場所はどこでもいいと思いますが、今回は

~/home/shiba/Download/

 にします。
 ダウンロードが終わったらダウンロードしたディレクトリにcdコマンドで移動します。そして、

sudo dpkg -i cuda-repo-ubuntu1404-8-0-local_8.0.44-1_amd64.deb
sudo apt-get update
sudo apt-get install cuda

 でCUDAをインストールします。
 次に.bashrcか.bash_profileに下記のコマンドを追記します。

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

.bashrc .bash_profileどちらもhomeにある隠しファイルです。今回は.bashrcに追記します。
具体的な追記方法は、

sudo gedit ~/.bashrc

 でエディタを開いて上記のコマンドをコピペして保存します。
 もしくは、

echo 'PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc

 とコマンドを入力します。
.bashrcに追記した後は、

source .bashrc

 と入力します。

なお、『パスを通す』ことや、『export』コマンドについて詳しくは以下のURLを参照。

 『source』コマンドについては、


 インストールできたか確認する

nvcc -V

 CUDAのバージョンが確認できれば成功。
 CUDAのインストールが完了するとNVIDIAのドライバもインストールされるので、確認します。

lsmod | grep nvidia

 このコマンドを打つと下の3つが表示されます。

nvidia_uvm ●●
nvidia ●●
drm ●●

 ●●の部分は人によって多分違います。
 参考にさせて頂いた記事にも書いてありましたが、私の環境でもnvidia_uvmが表示されていませんでした。なので

dpkg -l | grep nvidia

 このコマンドで、nvidia-●●-uvmを探します。見つけたら、

sudo modprobe nvidia-352-uvm

 と打ってカーネルモジュールにnvidia-uvmを登録します。
 再び、

lsmod | grep nvidia

 と打って、

nvidia_uvm ●●
nvidia ●●
drm ●●

 の3つが出てくれば成功です。Ubuntuを再起動しましょう。
 また、再起動したらPythonでCUDAを使えるかをチェックします。

python -c "import cupy"

 と打って何も起こらなければOKです。

 ちなみに、NVIDIAのドライバを個別にインストールする場合は下記の記事を参考に。



cuDNNのインストー

 cuDNNはディープニューラルネットワークを効率よく処理するためのライブラリです。

【導入方法】

 まず、NVIDIAのサイトからcuDNNをダウンロードしなきゃいないんですが、cuDNNのダウンロードにはユーザー登録が必要です。
 下記のサイトからユーザー登録を行います。
NVIDIA cuDNN | NVIDIA Developer
 Registerをクリックします。
 何やら色々書いてありますが、とりあえずJoin nowをクリック。
 必要事項を英語で記入していきます。
 Organization Nameには個人なのでIndividualと記入して次へ。(どうでもいいけど、13歳未満はcuDNNを使えないのは何故なんでしょう。そんなに過激なものなのか・・・)
自分の環境や使う言語、利用目的やらを記入して登録。
 数日すると完了するようなのでそしたら、cuDNNをダウンロードします。
 再び下記のサイトへ。
NVIDIA cuDNN | NVIDIA Developer
 今度はDownloadをクリック。登録したメールアドレスとパスワードを入力してログイン。
 そしたら再び何に使うのかやらどういう分野に使うのかやらをチェックして次へ。
 cuDNNのソフトライセンスを熟読して同意したらチェックボックスにチェック。
 そしたら、色々バージョンがでてくるので、自分のCUDAのバージョンに合った最新のcuDNNをダウンロードしましょう。
 この記事を書いているときは、cuDNN v5.1が最新でしたので、

Download cuDNN v5.1 (August 10, 2016), for CUDA 8.0

 をクリック。そして、

cuDNN v5.1 Library for Linux

 をクリックして『cudnn-8.0-linux-x64-v5.1.tgz』をダウンロードしましょう。これもダウンロードはどこでもいいと思います。
 ダウンロードが完了したらターミナルでダウンロードしたディレクトリにcdコマンドで移動します。移動したら、

tar -zxf cudnn-6.5-linux-x64-v2.tgz
cd cudnn-6.5-linux-x64-v2

 と打って、cuDNNの解凍と解凍したディレクトリへの移動をします。
 ここまできたらcuDNNのインストールを行うのですが、cuDNNのインストールはただファイルをコピーするだけとなっています。なので下のコマンドを打って終わりです。

cd lib
sudo cp lib* /usr/local/cuda/lib64/
cd ../
cd include/
sudo cp cudnn.h /usr/local/cuda/include/

 インストールできたか確認します。

python -c "import cupy.cudnn"

 と打って何も起こらなければOKです。

 ちなみに余談ですが、参考記事にもありますが、Chainerを先にインストールしてしまい後からcuDNNをインストールする場合、Chainerを再インストールする必要があるそうです。具体的には

pip unisntall chainer

でchainerをアンインストールした後に、

pip install chainer



Chainerをインストールする。

 いよいよChainerをインストールしていきます。

【導入方法】

 まず、Python環境がAnacondaに切り替わっていることを確認します。

pyenv versions

 でAnacondaと出てくればOK。もし違うようなら、

pyenv global anaconda3-4.1.1

 で切り替える。
 次にPythonパッケージ管理ツールpipを使って依存関係をインストールします。ただ、下記のパッケージはおそらくAnacondaと一緒に入っているので(pipも)、入れようとしてももう入っているよって言われると思います。ですが、念のためコマンドを入力しておきます。

pip install numpy
pip install cython

 そうしたら、次にchainerのインストールを行います。

pip install chainer

 これでChainerのインストールは完了です。ちゃんとインストールできたか確認します。

python -c "import chainer"

 と入力して何も起こらなければOKです。


Faster-RCNNをインストールする。

【導入方法】

 GitHubからchainer-faster-rcnnをクローンします。
 githubからクローンする場所なのですが人によってホントにまちまちでいろんな記事を参考にしているとてんでバラバラになってしまいます。なので、今回は参考にさせていただいた記事にならい ~/github というディレクトリを作成してそこにクローンしたいと思います。
 クローン用のディレクトリを作成します。

mkdir ~/github

 作ったディレクトリに移動して、chainer-faster-rcnnをクローンします。

cd ~/github
git clone https://github.com/mitmul/chainer-faster-rcnn

 クローンしたディレクトリに移動して、dataというディレクトリを作成します。

cd chainer-faster-rcnn
mkdir data

 作ったdataディレクトリに移動して、プレトレーニングモデルをダウンロードします。

cd mkdir
wget https://dl.dropboxusercontent.com/u/2498135/faster-rcnn/VGG16_faster_rcnn_final.model

 chainer-faster-rcnnディレクトリに戻り、サンプルの画像をダウンロードします。

cd ..
wget http://vision.cs.utexas.edu/voc/VOC2007_test/JPEGImages/004545.jpg

 が、何故か自分の環境ではサンプル画像がダウンロードできず。なので、適当にネットから画像を引っ張ってきてこのディレクトリに保存しました。
 画像が用意できたらついに、デモの実行です。

python forward.py --img_fn 004545.jpg --gpu 0

 物体が資格で囲まれたresult.jpgという画像がディレクトリに出力されれば成功です。やったね!
 オプションの詳細は

--img_fn  入力画像
--out_fn  出力画像、 省略でresult.jpg
--gpu    0でGPUモード、 -1もしくは省略でCPUモード

 となっています。