2018/12/10 版 1

#TJBot #TJBotzero

目次 0. TJBot zero の動作構成とこのガイドのカバー範囲 ............................................................. 2

1. IBM ID と IBM Cloud ライトアカウントの取得 ...................................................................... 2

1.1 IBM ID の取得 ................................................................................................................................ 2 1.2 IBM Cloud アカウントの作成 .................................................................................................... 3

2 Watson API 環境の準備 ............................................................................................................ 5

2.1 ログイン ............................................................................................................................................ 5 2.2 カタログから使用する API の環境を準備する ................................................................. 6 2.3 IBM Cloud ダッシュボードへサービスを追加する ........................................................... 6

3. Raspberry Pi zero WH をセットアップする ................................................................................ 7

3.1 OS イメージのダウンロードと展開 ......................................................................................... 7 3.2 MacOS での Raspberry Pi zero WH のセットアップ ......................................................... 8 3.3 Windows PC での Raspberry Pi zero WH のセットアップ ............................................ 10 3.4 Raspberry Pi zero WH を初期設定する ............................................................................. 12 3.5 Node-RED に必要なモジュールを追加する .................................................................... 15 3.6 オーディオとカメラの設定 ....................................................................................................... 16

4. Node-RED の起動と基本動作の確認 ..................................................................................... 16

4.1 Node-RED の起動 .................................................................................................................... 17 4.2 機能テストフローを読み込み実施する ........................................................................... 17

5. Watson とつないだフローを動かす ........................................................................................... 21

5.1 スピーチ用フローを読み込む ................................................................................................. 21 5.2 画像認識用のフローを読み込む .......................................................................................... 25 5.3 言語翻訳用のフローを読み込む ........................................................................................ 26

6. 最後に ................................................................................................................................................. 28

TJBotzero

2018/12/10 版 2

0. TJBot zero の動作構成とこのガイドのカバー範囲 TJBot zero は、インターネットを経由し、IBM Cloud に接続して、IBM Watson の機能を利⽤します。 製作ガイドは、2 種類に分かれていて、当ガイドはソフトウェアやクラウドの設定などに関するガイドとなります。最初に、ハードウェア的なガイドの組み⽴てガイドをご参照いただき、その後このガイドに進んでください。

1. IBM ID と IBM Cloud ライトアカウントの取得

TJBot zero は、Watson API と連携して、AI を使⽤します。次の⼿順で利⽤登録をしてください。Watson を利⽤するためには、IBM ID を取得したのちに IBM Cloud にアカウントを作成します。 1.1 IBM ID の取得

http://ibm.biz/create_ibm_id 上記の URL から IBM ID の登録をします。

BC ) )

2018/12/10 版 3

⼊⼒が終わり、先へ進むと、E メールに 7 桁のアクティベーションコードが送られてきますので、それを⼊れて登録終了です。

1.2 IBM Cloud アカウントの作成 http://ibm.biz/create_ibm_cloud_account 上記のウェブサイトから登録作業を進めます。

IBM ID として登録した E メールアドレスを下記の画⾯に⼊⼒し⼊⼒フィールドの中にある右⽮印をクリックします。

IBM ID を作成した E メールアドレスを⼊⼒すると、下記の様な画⾯になりますので、「アカウントの作成」ボタンをクリックします。

2018/12/10 版 4

2018/12/10 版 5

ブラウザーを閉じて下さい。 2. Watson API 環境の準備

2.1 ログイン https://console.bluemix.net/へ PC のブラウザーからアクセスし、1.で作成したアカウントでログインします。

2.2 カタログから使⽤する API の環境を準備する IBM Cloud にログインすると、下記の様なダッシュボードが表⽰されますので、画⾯上部の”カタログ”をクリックします。

2018/12/10 版 6

カタログのページでは、様々なコンポーネントを開発環境に組み込んで⾏くことができます。今回は、左中央の”AI”を選んで先に進んでください。

2.3 IBM Cloud ダッシュボードへサービスを追加する 下記の 4 種類を追加して⾏きます。

o Speech to Text o Text to Speech o Language Translator o Visual Recognition それぞれの API サービスをクリックして、画⾯が変わると、右下に作成ボタンが出てきますので、クリックします。作成されるとさらに画

2018/12/10 版 7

⾯が変わり、URL や、ユーザーID、パスワードそして、API キーなどが表⽰されます。これらは API によって異なります。 追加が終わったら、ダッシュボードのトップ画⾯に戻ります。 ダッシュボードへは、画⾯左上の三本線をクリックするとメニューが出ますので、そこからダッシュボードを選択すると移動できます。

3. Raspberry Pi zero WH をセットアップする 3.1 OS イメージのダウンロードと展開

PC のブラウザーを使⽤して、Raspbian Stretch with desktop をRaspberry Pi の公式ダウンロードサイト(https://www.raspberrypi.org/downloads/raspbian/)から ZIP 形式でダウンロードします。(2018/11/18 現在) 古いものは使わず、2018-11-13 の Version をダウンロードしてください。

2018/12/10 版 8

3.2 MacOS での Raspberry Pi zero WH のセットアップ Windows PC を使いの⽅は、3.3 へ進んでください。 Zip ファイルを解凍するツール The Unarchiver (https://theunarchiver.com/)をインストールし、ダウンロードしたRASPBIAN の Zip ファイルを解凍します。 ダウンロードした OS(2018-11-13-raspbian-stretch-full.zip)をアーカイバーで解凍すると、"2018-11-13-raspbian-stretch-full.img"が展開されます。

3.2.1 SD カードのフォーマット 以前別の⽤途で利⽤した SD カードを再利⽤される⽅もいらっしゃるかと思います。新品を使う⽅も、念のため SD アソシエーションがリリースしている SD メモリカードフォーマッター(https://www.sdcard.org/jp/downloads/formatter_4/)で SD カードのフォーマットをお勧めします。 ダウンロードして、実⾏すると下記のような画⾯が出ますので、フォーマットします。クイックでも上書きのどちらでも構いません。カードの名前は後で変更されますので、特に気にしなくても⼤丈夫です。

2018/12/10 版 9

3.2.2 SD カードへ OS イメージの展開 Mac に SD カードを刺し、ターミナルから、df -h と打ち、SD カードのボリューム名を調べます。 ⼀番右の Mounted on にフォーマットの際に指定した名前が出てきているのが、SD カードの Volume になります。下記の例では、⼀番下の⾏の/dev/disk2s1 が SD カードです。 ⾒つけた SD カードをコマンドでアンマウントします。(Finder からではなく、コマンドで実施してください） 次に dd コマンドで、SD カードにイメージを展開します。この時、SD カードの Volume 名を下記の様に⼊⼒します。/dev/disk2s1 だった場合、/dev/rdisk2 とします。 2018-10-09-raspbian-stretch.img があるディレクトリーで下記のコマンドを実⾏します。 2-3 分無反応ですが、control + T で進捗が確認できます。展開が終わると下記の様な表⽰が出で終わりです。

$ df -h

Filesystem Size Used Avail Capacity iused ifree %iused Mounted on

/dev/disk1s1 234Gi 221Gi 7.9Gi 97% 16251 922337 0% /

devfs 189Ki 189Ki 0Bi 100% 653 0 100% /dev

/dev/disk1s4 234Gi 4.0Gi 7.9Gi 34% 72038 54775803 0% /private/var/vm

map -hosts 0Bi 0Bi 0Bi 100% 0 0 100% /net

/dev/disk2s1 15Gi 32Ki 15Gi 1% 0 0 100% /Volumes/NO NAME

$ sudo diskutil unmount /dev/disk2s1

$ sudo dd bs=1m if=2018-11-13-raspbian-stretch-full.img of=/dev/rdisk2 conv=sync

2018/12/10 版 10

SD カードを Raspberry Pi に装着し、モニターとキーボードとマウスを接続し、USB ケーブルから電源を供給して⽴ち上げます。 3.4 へ進んでください。

3.3 Windows PC での Raspberry Pi zero WH のセットアップ ダウンロードした RASPBIAN の Zip ファイルを解凍します。 ダウンロードした OS(2018-11-13-raspbian-stretch-full.zip)を解凍すると、"2018-11-13-raspbian-stretch-full.img"が展開されます。

3.3.1 SD カードのフォーマット 以前別の⽤途で利⽤した SD カードを再利⽤される⽅もいらっしゃるかと思います。新品を使う⽅も、念のため SD アソシエーションがリリースしている SD メモリカードフォーマッター(https://www.sdcard.org/jp/downloads/formatter_4/)で SD カードのフォーマットをお勧めします。 ダウンロードして、実⾏すると下記のような画⾯が出ますので、フォーマットします。クイックでも上書きのどちらでも構いません。ボリュームラベルは後で変更されますので、特に気にしなくても⼤丈夫です。

3944+0 records in

3944+0 records out

4135583744 bytes transferred in 95.124084 secs (43475675 bytes/sec)

2018/12/10 版 11

3.3.2 ダウンロードした.img ファイルを SD カードへ書き込む Win32 Disk Imager (https://ja.osdn.net/projects/sfnet_win32diskimager/)などのツールを使⽤して先ほど展開した.img ファイルを SD カードへ書き込みます。Win32 Disk Imager をダウンロードする場合は、ダウンロードタブへ⾏き、その中にある、"Archive"カテゴリーの"win32diskimager-1.0.0-install.exe"をクリックすることで、ダウンロードすることができますので、インストールして.img ファイルを SD カードへ書き込みます。

3.3.3 SSH が使える環境の準備 Windows PC から Raspberry Pi へ SSH 接続をしてこの先作業しますので、Windows PC に OpenSSH もしくは、PowerShell が利⽤できる様にしておいてください。ネット上にインストール⽅法が沢⼭ありますので、そちらをご覧ください。

3.4 Raspberry Pi zero WH を初期設定する このセクションの作業は Raspberry Pi に接続されているキーボード, マウス, モニターを使⽤して作業します。

3.4.1 Raspberry Pi zero WH を⽴ち上げ、IP アドレスを確認する SD カードを Raspberry Pi に装着し、モニターとキーボードとマウスを接続し、USB ケーブルから電源を供給して⽴ち上げます。 OS が⽴ち上がり、デスクトップ上に下記の画⾯が出てきたら、Next で先に進み、国の情報や WiFi の設定などをし、ソフトウェアのアップデートまで終わらせ、画⾯の指⽰に従って Reboot します。

2018/12/10 版 12

次に Raspberry Pi のコマンドプロンプトを開き、下記のコマンドで IP アドレスを確認します。 wlan0:の中の inet のアドレスをメモしておきます。上の例では、192.168.0.23 となっています。Ether の項⽬にある、b8:27:eb から始まるのが MAC アドレスです。

※この先、DHCP でアサインされる IP アドレスで不具合が出る場合は、のRaspberry Pi zero の IP アドレスを固定することをお勧めします。

3.4.2 SSH の有効化 Raspberry Pi のコマンドプロンプトから下記のコマンドでツールを実⾏し画⾯の⼿順で SSH を有効化します。

lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536 inet 127.0.0.1 netmask 255.0.0.0 inet6 ::1 prefixlen 128 scopeid 0x10<host> loop txqueuelen 1000 (Local Loopback) RX packets 0 bytes 0 (0.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 0 bytes 0 (0.0 B) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 wlan0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.0.23 netmask 255.255.255.0 broadcast 192.168.0.255 inet6 fe80::7e31:402:b191:8351 prefixlen 64 scopeid 0x20<link> ether b8:27:eb:--:--:--75 txqueuelen 1000 (Ethernet) RX packets 2205 bytes 205229 (200.4 KiB) RX errors 0 dropped 2 overruns 0 frame 0 TX packets 1038 bytes 110902 (108.3 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

$ ifconfig

$ sudo raspi-config

2018/12/10 版 13

3.4.3 シャットダウンし、PC から SSH 接続する Raspberry Pi からキーボード、ビデオ、マウスを取り外し、USBマイクを戻し、頭をつけて再起動します。

2018/12/10 版 14

再起動する間に、PC から SSH 接続の準備をします。 PC のコマンドプロンプトから下記のコマンドで Raspberry Pi にSSH 接続します。各⾃の IP アドレスを⼊⼒してください。 Windows/Mac の場合 IP アドレスは、前に調べた値を使⽤してください。 Mac の場合(Windows でも構成により下記で接続できます) パスワードの初期値は、"raspberry"です。前の設定で独⾃のパスワードをつけた⽅はそれを使⽤してください。 WiFi ルータの設定などにより、IP アドレスが変わってしまい、SSH 接続がうまく⾏かない場合は、"ネットワークに繋がっている機器の IP と MAC アドレス確認⽅法"などで検索すると⾊々な解決策が出てきます。 Raspberry Pi の MAC アドレスは、b8:27 から始まりますので簡単に機器の特定ができます。 以前にお使いの PC から Raspberry Pi に SSH で接続したことがあると、raspberrypi.local で接続できない場合があります。その場合は、.ssh ディレクトリーの下にある known_hosts を探して、削除します。

3.4.4 OS と Node-RED の更新 OS と Node-RED を最新にアップデートします。Raspberry Pi のコマンドプロンプトから下記のコマンドを⼊⼒してください。

$ ssh pi@192.168.0.23

$ ssh pi@raspberrypi.local

$ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get dist-upgrade $ update-nodejs-and-nodered

2018/12/10 版 15

3.5 Node-RED に必要なモジュールを追加する 標準では組み込まれていない IBM Watson や Raspberry pi のハードウェアなどを制御するためのノードを追加します。下記のコマンドをコマンドプロンプトから⼊⼒してください。 インストールが終わったら、リブートしておきます。

3.6 オーディオとカメラの設定 Raspberry Pi zero シリーズでは、標準でオーディオ機能が利⽤可能になっていませんので、/boot/config.txt の⼀番下の⾏に下記の⾏を追加する オーディオの⼊出⼒レベルを下記のコマンドであげておきます。 次にカメラを有効化するために、SSH の有効かと同様に下記のコマンドで、構成ツールを実⾏し、カメラを有効化します。 構成メニュー：5. Interfacing Options ＝＞P1. Camera => はい ＝＞了解

$ sudo npm --unsafe-perm -g install node-red-node-watson node-red-contrib-

camerapi

$ sudo reboot

dtoverlay=pwm-2chan,pin=18,func=2,pin2=13,func2=4

$ sudo raspi-config

$ amixer -D hw:1 sset Mic 100%

$ amixer -c0 sset PCM 100% unmute

2018/12/10 版 16

4. Node-RED の起動と基本動作の確認 いよいよ、Node-RED を起動させ、フローを読み込んで TJBot zero を動作させます。 4.1 Node-RED の起動

SSH で Raspberry Pi zero にログイン(3.4.3 参照)し、下記のコマンドで Node-RED を起動します。

4.2 機能テストフローを読み込み実施する PC のブラウザーより http://192.168.0.23:1880/へアクセスします。IP アドレスは、各⾃の Raspberry Pi zero WH のアドレスを使⽤してください。 下記の URL にこれ以降に使⽤するフローのデータ（JSON 形式）を置いてありますので、表⽰させて Cut & Paste してご利⽤ください。 http://ibm.biz/tjbot_zero_recipes

4.2.1 LED のテストフローの読み込みと実⾏ 下記の画⾯が表⽰されたら、右上の三本線メニュー=>読み込み=>クリップボードを選択します。

$ node-red

Welcome to Node-RED =================== **途中省略** 22 Nov 22:22:22 - [warn] --------------------------------------------------------------------- フローのクレデンシャルファイルはシステム生成キーで暗号化されています。 **途中省略** --------------------------------------------------------------------- 22 Nov 22:22:22 - [info] フローを開始します 22 Nov 22:22:22 - [info] フローを開始しました 22 Nov 22:22:22 - [info] サーバは http://127.0.0.1:1880/ で実行中です

2018/12/10 版 17

下記のポップアップ画⾯が開きますので、http://ibm.biz/tjbot_zero_recipes にある led-test.json の内容をコピーして貼り付け、読み込んでください。

フローを読み込むと、下記のような画⾯になりますので、右上の”デプロイ”ボタンを押し、実⾏の準備をします。 “デプロイが成功しました”と表⽰された後に、画⾯内の点灯、消灯と書かれたノードの左側にある⽿タブのような場所をクリックします。そうすると、頭の LED が点灯します。

2018/12/10 版 18

4.2.2 サーボモーターのテストフローの読み込みと実⾏ LED の テ ス ト フ ロ ー の 読 み 込 み と 同 様 にhttp://ibm.biz/tjbot_zero_recipes にある servo-test.json の内容をCut & Paste して読み込みます。

読み込んだら、忘れずに“デプロイ”します。 先ほどと同様に⽿タブをクリックすると、⼿を上げたり下げたりすることができます。

2018/12/10 版 19

4.2.3 マイク・スピーカーのテストフローの読み込みと実⾏ 同様に http://ibm.biz/tjbot_zero_recipes にある audio-test.json のテストフローを読み込み、デプロイします。

⽿タブをクリックすると、TJBot zero の下側についているマイクから 5 秒間録⾳し、それをそのまま再⽣します。⾳量は、ブレッドボードのボリュームで調整できます。

5. Watson とつないだフローを動かす いよいよ Watson とつないだフローを動かしてみます。いくつか準備がありますので、⼿順に沿って進めてください。 5.1 スピーチ⽤フローを読み込む

これまでやってきた⼿順で、http://ibm.biz/tjbot_zero_recipes にあるtjbot-speech.json のフローを Node-RED に読み込みます。 読み込むと、下記のようなフローが出てきます。

5.1.1 Watson への接続情報の設定 IBM Cloud のダッシュボードから、使⽤する API のユーザー情報

2018/12/10 版 20

やパスワードなどをコピーしてフローのノードへインプットします。 PC のブラウザーから https://console.bluemix.net/へアクセスするか、“2. Watson API 環境の準備”を参照して IBM Cloud のダッシュボードを開きます。

例えば、Speech to Text をクリックすると、下記の様な画⾯が出てきます。

次に Node-RED のフロー上の Speech to Text の緑のノードをダブルクリックします。下記の画⾯が出ますので、上のユーザー名とパスワードをコピーして⼊⼒します。API キーはブランクで OKです。

2018/12/10 版 21

同様に、Text to Speech にもユーザー情報を設定してデプロイします。

5.1.2 TJBot zero に話しかけてみる ⽿タブをクリックるすと頭が⻘に変わり、話を 3 秒間⼈の話を聞き取ります。“⼿を振って”とか、”頭を⾚くして“というとそれに反応した動きをします。 Watson Assistant と連携するとより⾼度な応対ができる様になりますので研究してみてください。

5.2 画像認識⽤のフローを読み込む http://ibm.biz/tjbot_zero_recipes にある visual.json を Node-RED に読み込み Text to Speech と Visual Recognition のユーザー情報を設定し、デプロイします。Visual Recognition は、API キーのみが必要となっています。

2018/12/10 版 22

5.2.1 画像判別を試してみる 画像判別には、顔認識と物認識の 2 つのパーターンが⽤意されています。顔認識では、⾒えている⼈の性別や年齢を判別して教えてくれ、物認識では、⾒えている物の確度の⾼いものから 3 つ教えてくれます。

5.3 ⾔語翻訳⽤のフローを読み込む http://ibm.biz/tjbot_zero_recipes にある translate.json を Node-REDに読み込み Speech to Text, Text to Speech そして Language Translatorのユーザー情報を設定し、デプロイします。Language Translator は、API キーのみが必要となっています。

5.3.1 ⾔語翻訳を試してみる このフローでは、⽿タブをクリックすると 5 秒間声を聞き取り、⽇本語から英語へ翻訳してくれます。Speech to Text, Language Translator, Text to Speech のそれぞれの⾔語設定を変更すると様々な⾔語の翻訳が試せます。外国語を聞かせる場合は、Web の翻訳サイトなどで喋らせた⾳声を聞かせると良く認識します。

2018/12/10 版 23

6. 最後に IBM のサイトをはじめ、ユーザーの⽅々も TJBot zero に関するフローのレシピやノウハウを公開してくださっています。皆さんも拡張された TJBot zero のフロー・レシピをどんどん公開してください。ロボット本体にペイントしてお化粧した姿の写真もぜひ公開をお願いします。ハッシュタグは、#TJBot #TJBotzero でお願いします。

更新履歴： 2018/11/26 初版 2018/12/10 JSON コードの⽂字の折り返しによる不具合の修正(JSON コードをWeb へ掲載) 当資料は、情報提供の⽬的のみで提供されており、いかなる読者に対しても法律的またはその他の指導や助⾔を意図し

たものではなく、またそのような結果を⽣むものでもありません。本資料に含まれている情報については、完全性と正

確性を期するよう努⼒しましたが、「現状のまま」提供され、明⽰または暗⽰にかかわらずいかなる保証も伴わないも

のとします。本資料またはその他の資料の使⽤によって、あるいはその他の関連によって、いかなる損害が⽣じた場合

も、IBM は責任を負わないものとします。