コンテンツへスキップ

Google Homeへの音声コマンドをIFTTTトリガーへ

Google Assistantに「OK グーグル」とコマンド受付状態にし、その後利用したい色々な音声コマンドを設定します。

トリガー:「OK グーグル」「ゆうまの部屋のパソコンをシャットダウンして」
アクション:パソコンのシャットダウンを実行

Google Home Assistant向けのTriggerは4種類

  • 定形メッセージ
  • 定形メッセージ+数字
  • 定形メッセージ+不定形メッセージ
  • 定型メッセージ+数字+不定形メッセージ

以下が、トリガーの一覧となります。それぞれ配置し、少し操作すれば、利用方法は分かると思います。日本語での紹介サイトも多くあるので、必要に応じてGoogle検索で情報を探して下さい。(このサイトでもユースケースとして各種具体的な利用方法として記載します)

トリガーへの設定

定形メッセージの登録画面です。

1番目の「What do you want to say ?」から3番目の「And another way ?」までは、コマンドとして登録したい内容を記載します。3つの言い方が登録出来ます。
4番目は、コマンド受付時のGoogle Assistantからの返答です。空欄でも問題ないです。「○○を了解しました。」などを登録します。
最後は、利用言語となります。

Google Assistantの日本語認識

実際に、Google Assistantに話しかけ、Google Assistantがどのように日本語認識をしているか確認し、確認結果をもとにIFTTTトリガーへの命令として指定することをオススメします。
以下のGoogle Homeアプリの「マイアクティビティ」で発音した音声コマンドの履歴が見れます。

実際に「ゆうまの部屋」と発音した際の認識状況

「ゆうまの部屋」「優雅な部屋」「優馬の部屋」と漢字の変換方法の違い含め、複数パターンの認識結果となります。誤認識が少ない単語や文章の選択が必要となります。

Google Assistantの認識結果を参考に登録したトリーがサンプル

システムオーバービュー

トリガーとアクション、そしてロジック

トリガー

    • 音声コマンド(Google Home / Google Home mini など)
    • 物理ボタンやスマホのボタン押下
    • 時間 (定期的なスケジュール実行など)
    • メール受信
    • ツイッター (特定情報発信者や特定キーワード)
    • 雨が、降ってきた
    • 室温上昇
    • 人感センサー

アクション

    • Google homeより音声発信発信 Notification
    • メール送信
    • ライン送信
    • 家電操作(テレビ、照明、エアコン)
    • パソコン操作

IFTTT(イフト)If This Then That

IFTTT(イフト)とは“if this then that”の略で、「こうなったら(if this)」「こうする(then that)」という 簡単なルール設定で連携させることができます。
  • [こうなったら]:トリガー
  • [こうする]アクション
多くのサービスなりが連携されており、トリガー部分にもアクション部分にも利用できます。詳しい紹介サイト:https://www.atmarkit.co.jp/ait/spv/1711/22/news031.html

ロジックの利便性

IFTTTは基本的にトリガーとアクションが1:1になります。条件判断などにも対応しておりません。1:1アクションには、基本的にIFTTTのレシピで完結するようにします。
Google Homeで標準で対応できない、グーグールホームとNATURE REMO 連携での、テレビのチャンネル変更や音量変更など。
また、一部ロジック定義が出来るサービスもありますが、トリガーもアクションも品不足で、トリガーの一部利用に止まります。
ここでは、一つのトリガーで複数のアクションや時間によって異なるアクションなどを、自宅サーバーで実現します。

全体API連携時のシステムアーキテクチャ

トリガーロジック
home-api on Raspberry Pi
アクション
IFTTT

  • Google Home音声入力
  • Twitter監視
  • メール監視
  • 天気トリガー など

IFTTT以外

  • タスクスケジューラーやCron実行
  • 他WEBサービス
トリガーに対してアクションをキック。

時間判定によるアクション内容変更

複数条件判定によるアクション実施の決定

IFTTT

  • ライン送信
  • メール送信

IFTTT以外

  • Google Home音声発信(google-home-notifier)
  • PC操作
  • 他WEBサービスへのAPI発行(Spotifyなど)

アーキテクチャオーバービュー(Architecture Overview)、IFTTT、LINE、Google Home、Twitter、Nature Remo、Raspberry Pi

実現したいこと

  • Nature Remoに搭載されているセンサ情報の蓄積
  • Nature Remo Cloud APIを用いたPHPからのセンサ情報取得
  • Googleデータポータルでの表示

前提条件

  • Nature Remoの設置が完了している
  • SynologyのDBサーバがセットアップされている(Maria DB)
    DB作成時にphpMyAdminが導入されていると便利です(Synologyパッケージマネージャよりインストール可能です)
  • SynologyでPHPがインストールされていること
  • Synologyの外部公開設定が終わっている (GoogleデータポータルからSynologyのDBへアクセスする場合)
    • DNSで名前解決ができる、固定IPやダイナミックDNSを利用
    • ルーターのNAT / Port Foward / Virtual Serverの設定が出来ており、インタネットからSynologyのMaria DB(デフォルトポート:3307)にアクセスできる

構築手順

Nature Remo API利用時のアクセストークン発行

Nature Remo Cloud APIへアクセスし、OAUTH2認証用のアクセストークンを発行します。APIを利用する際には、HTTPヘッダに以下を指定します。

Authorization: Bearer {TOKEN}

自分のアクセストークンは、home.nature.globalより新規発行します。

Nature Remo Cloud APIのサンプルレスポンス。

[
  {
    "id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
    "name": "string",
    "temperature_offset": 0,
    "humidity_offset": 0,
    "created_at": "2019-06-29T01:47:23.111Z",
    "updated_at": "2019-06-29T01:47:23.111Z",
    "firmware_version": "string",
    "mac_address": "string",
    "serial_number": "string",
    "newest_events": {
      "te": {
        "value": 0,
        "created_at": "2019-06-29T01:47:23.111Z"
      },
      "hu": {
        "value": 0,
        "created_at": "2019-06-29T01:47:23.111Z"
      },
      "il": {
        "value": 0,
        "created_at": "2019-06-29T01:47:23.111Z"
      }
    }
  }
]

Maria DBの準備

SynologyのMaria DBで、データ蓄積用のDBとテーブルを作成します。
データ取得時間記録カラムとTE(室温)、HU(湿度)、IL(照度)を格納するカラムを作成します。また、データ蓄積時のユーザーとDB参照用のユーザーを作成しておきます。

NatureRemo蓄積DB構成
NatureRemo室温湿度照度蓄積DBの構成

PHPスクリプトの準備

簡単なスクリプトサンプルを載せておきます。
取得したアクセストークン、設定したDB関係のパラメーターを設定すれば動作すると思います。

<?php
/*************************************************************************
 * home-api (History of Nature Remo Senser)
 * Home Tools for private. Using IFTTT and Google Home etc
 *
 * PHP 5 or later
 *
 * @category  Home IoT
 * @author    Miki
 * @url       https://www.miki-ie.com/
 * @copyright 2019 (c) MIKI-IE All rights Reserved.
 * @license   https://opensource.org/licenses/mit-license.html MIT License
 * @version   1.0
*************************************************************************/
//Nature Remo API情報
$token = '@NatureRemoApiToken@'; // tokenを設定
$header = [
	    'Authorization: Bearer '.$token,  // 前準備で取得したtokenをヘッダに含める
		    'Content-Type: application/json',
		];
$base_url = 'https://api.nature.global/1/';

//DB情報
$host_name = '127.0.0.1:3307'; //DB
$user_name = '@DB_USER@';
$password = '@DB_PASS@';
$database_name ='@DB_NAME@';
$table_name = '@DB_TABLE@';

$mysqli = new mysqli($host_name, $user_name, $password, $database_name);

$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $base_url.'devices');
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false); // 証明書の検証を行わない
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
curl_setopt($curl, CURLOPT_HEADER, true);
$response = curl_exec($curl);

// ステータスコード取得
$code = curl_getinfo($curl, CURLINFO_HTTP_CODE);
echo 'HTTP_CODE:'.$code."\n";
// header & body 取得
$header_size = curl_getinfo($curl, CURLINFO_HEADER_SIZE);
echo 'HEADER_SIZE:'.$header_size."\n";
$header = substr($response, 0, $header_size);
$body = substr($response, $header_size);
$result = json_decode($body, true);

echo 'te: '.$result[0]["newest_events"]["te"]["val"]."\n";
echo 'hu: '.$result[0]["newest_events"]["hu"]["val"]."\n";
echo 'il: '.$result[0]["newest_events"]["il"]["val"]."\n";

$te = $result[0]["newest_events"]["te"]["val"]."\n";
$hu = $result[0]["newest_events"]["hu"]["val"]."\n";
$il = $result[0]["newest_events"]["il"]["val"]."\n";
$datetime = date("Y/m/d H:i:s");

curl_close($curl);

// SQL(INSERT)を作成
$sql = "INSERT INTO $table_name (
	DATETIME, TE, HU, IL
	) VALUES (
	'$datetime', $te, $hu, $il
		)";
echo $sql."\n";

$mysqli->query($sql);
$mysqli->close();

?>

コマンドラインより動作確認します。定期実行を設定する際にフルパスで実行指定をしたいので、動作確認もフルパス指定で実行確認を行います。
「/usr/local/bin/php72 /var/services/homes/php/Remo.php」
phpMyAdminなどで、登録されたレコードを確認することもおすすめします。

@Synology:~$ /usr/local/bin/php72 /var/services/homes/php/Remo.php
HTTP_CODE:200
HEADER_SIZE:574
te: 24.6
hu: 60
il: 249.39
INSERT INTO living (
	DATETIME, TE, HU, IL
	) VALUES (
	'2019/06/29 11:01:46', 24.6
, 60
, 249.39

		)
@Synology:~$

スクリプトの定期実行登録

Synologyのタスク スケジューラーでスクリプトの定期実行を登録します。

Googleデータポータル(データスタジオ)

Googleデータポータル

Googleデータポータルにアクセスし、レポートを作成します。

  1. データソース追加。GoogleコネクタのMySQLを選択し、接続情報を登録しSynologyのDBとの接続設定を行います。
  2. レポートやData Studio Explorer (Labs)を用いて、Viewを作成します。

以下にGit Hubのgistへ登録したソースコードも載せておきます。

前提条件

「google-home-notifier」利用に向けて、Raspberry PiへNode.jsとnpmをインストールします。 参考ページ

@raspberrypi:~/google-home-notifier $ node -v
v10.16.0
@raspberrypi:~/google-home-notifier $ node npm -v
6.9.0

参考にさせていただいたページです。

GoogleHomeスピーカーに外部からプッシュして自発的に話してもらいます
Google Home に任意のテキストを喋らせる
GitHub-google-home-notifier
google-home-notifierで"Error: get key failed from google"とエラーが出る問題の対処法

google-home-notifierインストール

@raspberrypi $ curl -sL https://deb.nodesource.com/setup_7.x | sudo -E bash -
@raspberrypi$ sudo apt-get install nodejs
@raspberrypi $ sudo apt-get install git-core libnss-mdns libavahi-compat-libdnssd-dev
@raspberrypi$ git clone https://github.com/noelportugal/google-home-notifier
@raspberrypi $ cd google-home-notifier/
@raspberrypi $ npm install

GoogleTTSの仕様変更対応

GoogleTTSの新バージョンがリリースされており、このままでは、うまく動作しません。仕様変更により、今まで利用していたユーザーも利用できなくなり、関連する記事がWEBに複数出ておりました。
Error: get key failed from google
at /home/user/google-home-notifier/node_modules/google-tts-api/lib/key.js:23:23
at process._tickCallback (internal/process/next_tick.js:68:7)

package.jsonのバージョン情報を変更。(0.0.2から0.0.4に変更)

"keywords": [
"google home",
"notifications",
"notifier"
],
"license": "MIT",
"dependencies": {
"body-parser": "^1.15.2",
"castv2-client": "^1.1.2",
"express": "^4.14.0",
"google-tts-api": "0.0.4",// ここを0.0.4に書き換える
"mdns": "^2.3.3",
"ngrok": "^2.2.4"
},

pakage.jason変更後に、google-tts-apiのアップデートを実施。

@raspberrypi:~/google-home-notifier $ npm update google-tts-api

Webhook(WEBリクエスト)形式での運用準備

google-home-notifierフォルダにあるexample.jsを流用して、以下の形式でのリクエストによりGoogleホームより音声出力を実現します。以下のコマンドで、WEBアクセスの待ち状態となります。

node.js example.js

Endpoints:
http://192.168.xxx.xxx:9081/google-home-notifier
GET example:
curl -X GET http://192.168.xxx.xxx:9081/google-home-notifier?text=Hello+Google+Home
POST example:
curl -X POST -d "text=Hello Google Home" http://192.168.xxx.xxx:9081/google-home-notifier

起動時に以下のWARNINGが出るのですが、ほかの方もWARNINGが出たまま運用しているようです。(WARNINGを消す情報は見つけられませんでした)

*** WARNING *** The program 'node' uses the Apple Bonjour compatibility layer of Avahi.
*** WARNING *** Please fix your application to use the native API of Avahi!
*** WARNING *** For more information see <http://0pointer.de/blog/projects/avahi-compat.html>
*** WARNING *** The program 'node' called 'DNSServiceRegister()' which is not supported (or only supported partially) in the Apple Bonjour compatibility layer of Avahi.
*** WARNING *** Please fix your application to use the native API of Avahi!
*** WARNING *** For more information see <http://0pointer.de/blog/projects/avahi-compat.html>Endpoints:

それでは設定です。google-home-notifierフォルダにあるexample.jsの言語設定を2か所変更します。

var language = 'ja'; // default language code

後は、Google HomeのIPアドレスと、WEBアクセスを受けるポートをexample.jsに設定します。

今回は3台分のGoogle Home Miniを運用したいので、example.jsを3個コピーして、3個のスクリプトを起動する方式にしました。

  • Google-Home-1:192.168.xxx.81:ポート番号9081
    http://192.168.xxx.xxx:9081/google-home-notifier?text=Hello+Google+Home
  • Google-Home-2:192.168.xxx.82:ポート番号9082
    http://192.168.xxx.xxx:9082/google-home-notifier?text=Hello+Google+Home
  • Google-Home3:192.168.xxx.83:ポート番号9083
    http://192.168.xxx.xxx:9083/google-home-notifier?text=Hello+Google+Home

forever導入による常時起動化とサーバー再起動時の自動起動

【Node.js入門】foreverの使い方とデーモン化による永続化・自動起動まとめ!
Node.js製のアプリをforeverで永続化する

foreverモジュールの導入方法

@raspberrypi:~/google-home-notifier $ sudo npm install -g forever

起動時のコマンドは、以下となります。

/usr/local/bin/forever start /home/user/google-home-notifier/google-home-1.js

再起動時にスクリプトが自動起動するようにクーロン登録します。

@raspberrypi:~/google-home-notifier $ crontab -e

以下を登録します。

@reboot /usr/local/bin/forever start /home/user/google-home-notifier/google-home-1.js
@reboot /usr/local/bin/forever start /home/user/google-home-notifier/google-home-2.js
@reboot /usr/local/bin/forever start /home/user/google-home-notifier/google-home-3.js

以上、上手く行ったら良いですね。
時間があれば、HOYAのVoiceText Web APIを利用する方法へ変更する予定です。

【うまく動作しなかった際に、実行したコマンドです】

@raspberrypi:~ $ sudo npm install -g npm
@raspberrypi:~/google-home-notifier $ npm update

「google-home-notifier」利用に向けて、Raspberry PiへNode.jsとnpmをインストールします。

利用環境

  • NOOBS:Offline and network install、Version:3.1.1、Release date:2019-06-24
  • Raspberry Pi 3 Model B+:1.4GHz 64-bit quad-core processor

インストール

@raspberrypi $ npm -v
-bash: npm: コマンドが見つかりません
@raspberrypi $ sudo apt-get update
@raspberrypi $ sudo apt-get install -y nodejs npm
@raspberrypi $ sudo npm cache clean
@raspberrypi $ sudo n stable
@raspberrypi $ sudo npm install npm n -g
@raspberrypi $ npm -v6.9.0

Google Home Notifier導入準備完了

「google-home-notifier」利用に向けて、Raspberry PiへNode.jsとnpmをインストールが完了しました。