最近、スマホ制御や音声制御できる家電が話題になっているで低価格かつ比較的簡単に構築できるか試してみました。
iRemoconなど便利な製品も出ているのに何故自作かといいますと。。。
簡単な解説動画を制作してみました
【ニコニコ動画】スマホ・音声で家電を制御するシステムを作ってみた
達成目標
スマホ等からリモートで操作できること
音声だけで何も触れずに操作できること
なるべく低価格で構築すること
なるべく単純なスクリプトで実装すること
自宅サーバを構築しているような感覚で構築できること
ハードウエア
Raspberry Pi Type B
USB接続 赤外線リモコンキット
GW-USValue-EZ(無線LAN子機)
TEMPer V23.5(温度計)
MM-MCUSB21BK(マイク)
MS-UP201BK(スピーカー)
U2H-EG4SWH(セルフパワーのUSBハブ)
その他、USB延長コードなど
※ USB接続 赤外線リモコンキットを使用するのは、事前の実験にてLIRCではエアコンなどの長い命令を送る家電の制御が出来ないことがあると判明したためです。
簡単な仕組みについての図
Raspberry Piの初期設定
Raspberry PiのOSインストールに関しては以前まとめたものがありますのでこちら を御覧ください。
有線LANでも構築できますが、どうしても無線LANを使用したい場合、設定はネットに多くの情報が出ておりますので各自で調べるようお願いします。
USB接続された機器の制御で必要となるパッケージのインストール
USB接続 赤外線リモコンキット制御用コマンドのインストール
信号を受信する場合は次のように実行します。
信号を送信する場合は次のように実行します。
TEMPer V23.5制御用コマンドのインストール
/* 44行目付近の行で日付がグリニッジ標準時となってるので修正 */
//utc = gmtime(&t);
utc = localtime(&t);
/* 47行目付近の行で日付のフォーマットが欧米仕様となってるので修正 */
//strftime(dt, 80, "%d-%b-%Y %H:%M", utc);
strftime(dt, 80, "%Y-%m-%d %H:%M:%S", utc);
$ make
温度を取得する場合は次のように実行します。
WEBリモコン機能の実装
ネットワーク図
Mojoliciousの導入
Mojoliciousをデーモンとして稼働させるためstarmanもインストールします。
WEBリモコン機能をスクリプトで作成
#!/usr/bin/env perl
use utf8;
use strict;
use warnings;
use Mojolicious::Lite;
# GETメソッドで「/」にアクセスしたときに行う処理を書く
get '/' => sub {
my $self = shift;
# 描画
$self->render();
} => 'index';
get '/light_on' => sub {
my $self = shift;
system("sudo bto_ir_cmd -e -t 022000E70C976800000000000000000000000000000000000000000000000000000000");
$self->flash(message => '【送信完了】シーリングライト 全光');
$self->redirect_to('/');
} => 'light_on';
get '/light_night' => sub {
my $self = shift;
system("sudo bto_ir_cmd -e -t 022000E70C8F7000000000000000000000000000000000000000000000000000000000");
$self->flash(message => '【送信完了】シーリングライト 常夜灯');
$self->redirect_to('/');
} => 'light_night';
get '/light_off' => sub {
my $self = shift;
system("sudo bto_ir_cmd -e -t 022000E70C8B7400000000000000000000000000000000000000000000000000000000");
$self->flash(message => '【送信完了】シーリングライト 消灯');
$self->redirect_to('/');
} => 'light_off';
get '/aircon_on' => sub {
my $self = shift;
system("sudo bto_ir_cmd -e -t 0188004000148043422EDE230068000001000055000000000000000000000000000000");
$self->flash(message => '【送信完了】エアコン 稼働');
$self->redirect_to('/');
} => 'aircon_on';
get '/aircon_off' => sub {
my $self = shift;
system("sudo bto_ir_cmd -e -t 0188004000148043412EDE030068000001000052000000000000000000000000000000");
$self->flash(message => '【送信完了】エアコン 停止');
$self->redirect_to('/');
} => 'aircon_off';
# アプリ起動
app->start;
# 以下テンプレート(Mojo::Template)
__DATA__
@@ index.html.ep
<html>
<head>
<meta name="viewport" content="width=320, height=480, initial-scale=1.0, minimum-scale=1.0, maximum-scale=2.0, user-scalable=yes" />
<title>室内リモコン</title>
</head>
<body>
<h1>室内リモコン</h1>
<%= flash 'message' %>
<h2>シーリングライト</h2>
<input type="button" value="全光" onClick="location.href='<%= url_for('light_on') %>'">
<input type="button" value="常夜灯" onClick="location.href='<%= url_for('light_night') %>'">
<input type="button" value="消灯" onClick="location.href='<%= url_for('light_off') %>'">
<h2>エアコン</h2>
<input type="button" value="稼働" onClick="location.href='<%= url_for('aircon_on') %>'">
<input type="button" value="停止" onClick="location.href='<%= url_for('aircon_off') %>'">
</body>
</html>
※ 各自、環境に合わせたスクリプトを書いてください。TEMPerを使って温度を表示しても良いかもしれません。
スクリプトに実行権限を与えてコマンドとして実行できるようにします。
スクリプトが正常に実行され、WEBブラウザからアクセスできる事を確認します。
Raspberry Pi起動時に自動でスクリプトが実行されるように以下の行を追記します。
# WEB_REMOCON SERVER
su - pi -c 'starman --port=3000 --daemonize --pid=/tmp/web_remocon.pid /usr/local/bin/web_remocon'
これで、WEBリモコン機能の実装は完了です。
音声リモコン機能の実装
音声リモコン 制御プロトコルについての図
Juliusで使用するサウンドデバイスの指定
0 snd_bcm2835
1 snd_usb_audio
※ 各自、環境に合わせて読み替えて下さい。
USBマイクを接続するとJuliusが標準で使用されるデバイスファイル(/dev/dsp)とは異なるため環境変数で指定します。
export AUDIODEV=/dev/dsp1
Juliusの導入
設定ファイルや辞書ファイルを設置するディレクトリを作成します。
Juliusをビルドしてインストールします。
dictation-kitに含まれているファイルをコピーします。
単語辞書を作成します。
<sil> [] silB
<sil> [] silE
<sp> [] sp
スタンバイ [スタンバイ] s u t a N b a i
ニュートラル [ニュートラル] n u t o r a r u
照明起動 [照明起動] sh o u m e i k i d o u
ライト点ける [照明起動] r a i t o t u k e r u
照明停止 [照明停止] sh o u m e i t e i sh i
ライト消す [照明停止] r a i t o k e s u
暖房起動 [暖房起動] d a N b o u k i d o u
暖房点ける [暖房起動] d a N b o u t u k e r u
暖房停止 [暖房停止] d a N b o u t e i sh i
暖房消す [暖房停止] d a N b o u k e s u
冷房起動 [冷房起動] r e i b o u k i d o u
冷房点ける [冷房起動] r e i b o u t u k e r u
冷房停止 [冷房停止] r e i b o u t e i sh i
冷房消す [冷房停止] r e i b o u k e s u
※ 各自、環境に合わせて単語辞書を書いてください。
Juliusの設定ファイル(テスト稼働用)を作成して記述します。
-w /var/lib/julius/word.list
-v /var/lib/julius/bccwj.60k.htkdic
-h /var/lib/julius/jnas-tri-3k16-gid.binhmm
-hlist /var/lib/julius/logicalTri
-n 5
-output 1
-input mic
-input oss
-rejectshort 600
-charconv euc-jp utf8
-lv 1500
※ 各自、自分に合わせて設定を書いてください。
Juliusの設定ファイル(本稼働用)を作成して記述します。
-w /var/lib/julius/word.list
-v /var/lib/julius/bccwj.60k.htkdic
-h /var/lib/julius/jnas-tri-3k16-gid.binhmm
-hlist /var/lib/julius/logicalTri
-n 5
-output 1
-input mic
-input oss
-module
-rejectshort 600
-charconv euc-jp utf8
-lv 1500
※ 各自、自分に合わせて設定を書いてください。
Juliusをテスト稼働し音声コマンドを正常に認識できるか動作確認をします。
Raspberry Pi起動時に自動でjuliusが実行されるように以下の行を追記します。
su - pi -c 'nohup julius -C /etc/julius/julius.conf > /dev/null 2>&1 & echo $! > /tmp/julius.pid'
Open JTalkの導入
デフォルトは男性の音声ですが女性の音声を追加することもできるようです。
Open JTalkを手軽に使用するスクリプトの記述
#!/bin/bash
WAV_FILE=/tmp/jsay_${RANDOM}.wav
#cd /usr/share/hts-voice/nitech-jp-atr503-m001
#cd /usr/share/hts-voice/mei_happy
cd /usr/share/hts-voice/mei_normal
echo "$1" | open_jtalk \
-td tree-dur.inf \
-tf tree-lf0.inf \
-tm tree-mgc.inf \
-md dur.pdf \
-mf lf0.pdf \
-mm mgc.pdf \
-dm mgc.win1 \
-dm mgc.win2 \
-dm mgc.win3 \
-df lf0.win1 \
-df lf0.win2 \
-df lf0.win3 \
-dl lpf.win1 \
-ef tree-gv-lf0.inf \
-em tree-gv-mgc.inf \
-cf gv-lf0.pdf \
-cm gv-mgc.pdf \
-k gv-switch.inf \
-s 16000 \
-a 0.05 \
-u 0.0 \
-jm 1.0 \
-jf 1.0 \
-jl 1.0 \
-x /var/lib/mecab/dic/open-jtalk/naist-jdic \
-ow $WAV_FILE && \
aplay --quiet $WAV_FILE
rm -f $WAV_FILE
スクリプトに実行権限を与えてコマンドとして実行できるようにします。
音声合成ができる事を確認します。
音声リモコン機能をスクリプトで作成
#!/usr/bin/env perl
use utf8;
use strict;
use warnings;
use 5.10.0;
use Encode;
use IO::Socket;
# 接続先情報にJuliusサーバを指定する
my $socket = IO::Socket::INET->new(
PeerAddr => 'localhost', # 接続先
PeerPort => 10500, # Port 番号
Proto => 'tcp', # Protocol
TimeOut => 5 # タイムアウト時間
);
die("Could not create socket: $!") unless($socket);
# 待機モードのループ
while(1){
my $msg = $socket->getline();
my ($word, $cm) = &get_parameter($msg);
# 誤認識による誤作動防止のための合言葉を判定
# 認識の信憑性もCM値で確認する
if($word eq "スタンバイ" && $cm >= 0.8){
system("sudo jsay アクティブモードを開始します");
eval{
local $SIG{ALRM} = sub { die "timeout" };
# タイムアウトする時間(秒)の設定
my $timer = 30;
# タイムアウト処理-開始-
alarm($timer);
# 音声コマンドの受付のループ
while(1){
my $msg = $socket->getline();
my ($word, $cm) = &get_parameter($msg);
# 認識の信憑性が一定である場合はコマンドを識別し実行する
if($cm >= 0.8){
given($word){
when("ニュートラル"){
system("sudo jsay アクティブモードを終了します");
last;
}
when("照明起動"){
system("sudo jsay 照明を起動します");
system("sudo bto_ir_cmd -e -t 022000E70C976800000000000000000000000000000000000000000000000000000000");
}
when("照明停止"){
system("sudo jsay 照明を停止します");
system("sudo bto_ir_cmd -e -t 022000E70C8B7400000000000000000000000000000000000000000000000000000000");
}
when("暖房起動"){
system("sudo jsay 暖房を起動します");
system("sudo bto_ir_cmd -e -t 0188004000148043422EDE230068000001000055000000000000000000000000000000");
}
when("暖房停止"){
system("sudo jsay 暖房を停止します");
system("sudo bto_ir_cmd -e -t 0188004000148043412EDE030068000001000052000000000000000000000000000000");
}
}
}
}
# タイムアウト処理-終了-
alarm(0);
};
if($@){
print $@ . "\n";
system("sudo jsay ディアクテブモードになります");
}
}
}
# 渡されたXMLにUTF-8フラグを付けてWORDとCMを取得する関数
sub get_parameter(){
my $msg = shift;
my $text = decode_utf8($msg);
if($text =~ /.+WORD="(\S+)".+CM="(\S+)"/){
return ($1, $2);
}else{
return ("", 0);
}
}
※ 各自、環境に合わせたスクリプトを書いてください。音声合成時には音声識別を停止しても良いかもしれません。
スクリプトに実行権限を与えてコマンドとして実行できるようにします。
スクリプトが正常に実行され、音声コマンドにて制御できる事を確認します。
Raspberry Pi起動時に自動でスクリプトが実行されるように以下の行を追記します。
su - pi -c 'sleep 30 && nohup voice_remocon > /dev/null 2>&1 & echo $! > /tmp/voice_remocon.pid'
これで、音声リモコン機能の実装は完了です。
将来性・拡張性について
今回は家電制御に重点を置いていますが、スクリプトをちょっと書き換えたり追加することにより、現在時刻や室内温度、天気予報、干満時刻、新着メール、ニュースヘッドライン、Twitterのタイムラインなどを音声コマンドだけで読み上げてくれるシステムを作成出来るでしょう。家電制御の面だけでも、ルンバの起動や、温度監視を行いエアコンを制御して室温を自動調整したり、リモコン式のOAタップと組み合わせることで赤外線リモコンに対応していない他の家電を制御することも可能になるかもしれませんので拡張性は大いにあるかと思います。
その他・補足について
マイクを取り付けている以上、Raspberry Piに侵入された場合、日常生活を盗聴される危険性があります。また、音声で家電を制御するということは当然ながらスピーカーを取り付けたパソコン越しからでも動作する事が実験でも分かっております。今のところ実害は無いと思いますが通話中など、パソコン越しや電話越しに家電を乗っ取られる可能性も十分に考えられますのでご注意ください。
参考サイト 株式会社 ビット・トレード・ワン | USB接続 赤外線リモコンキット kjmkznr/bto_ir_cmd Mojolicious::Liteでウェブツールを作ろう – Perl Advent Calendar Japan 2011 Casual Track Devel/電子工作/RaspberryPi/日本語音声認識 – cubic9.com Raspberry Pi で音声認識 – 猫ぱーんち！ Raspberry Pi でミクにしゃべらせよう | ぱわふる 橋本商会 » Raspberry Piに喋らせる いつか、そのとき、あの場所で。 | [システム監視][Temper][Zabbix] Raspberry Piで、USB温度計を使って室温を計測する方法。
最近のコメント