Windows Virtual Desktop #42 Cortana の音声インターフェースを試す

この記事のWVDは”Windows Virtual Desktop Spring 2020 Release”が対象です。

Windows Virtual Desktop の仮想のWindows 10 でCortana が使えるのか試してみる話です。 Cortana を使うと言っても今回確認したいことは1つです。 音声インターフェースによる利用です。 物理デバイスのマイク入力を仮想のWindows 10 に渡してあげる必要があります。 それではやってみます。

1. テスト環境

今回テストする環境は以下の通りです。

  • ローカルデバイス
    • 自作PCにインストールしたWindows 10 Enterprise 1909
    • リモートデスクトップクライアントは最新のInsider User Group
    • マイクはlogicool Web Camera C615
  • リモートデバイス
    • Windows Virtual Desktop に展開したWindows 10 Enterprise 2004

2. Audio input のリダイレクション

まずはWindows Virtual Desktop の Host Pool のプロパティからAudio のinput のリダイレクションを有効化します。 既定は無効のためです。

以前はGUIからスライドバーで設定出来たのですが今現在はテキストボックスに直接入力する必要があります。

今回は以下パラメータを投入します。

camerastoredirect:s:*;audiocapturemode:i:1;audiomode:i:0;redirectprinters:i:1;redirectsmartcards:i:1;screen mode id:i:2;

それぞれのProperties の役目と値の取り方はMicrosoft Docs の“サポートされるリモート デスクトップ RDP ファイルの設定” を確認してみてください。 

今回やりたい音声入力のリダイレクションは”audiocapturemode”で設定します。既定の”0″ は無効、今回設定する”1″は有効となります。

上記の内容を”RDP Properties” に登録し、”Save” します。

3. 音声入力のリダイレクションの確認

Cortana をテストする前に物理デバイスとWindows Virtual Desktop の仮想のWindows 10 の音声入力のリダイレクションを確認します。

物理デバイスは入力として”HD Webcamera C615″が選択され、正常に動作しています。

次は仮想のWindows 10 です。 リモートデスクトップクライアントから接続します。青い背景は仮想のWindows 10 です。

しかし、仮想のWindows 10 には音声入力デバイスはリダイレクションされていません。

アプリケーション(例えばTeams)からも見えていません。 

ここに来て、自分が過去に同じ状況に陥ったことを思い出します。 結論からいうとリモートデスクトップクライアントでフィードを更新することにより解決します。  Host pool でRDP Properties を変更する場合は以下の手番が必要になります。 今回は3番目の手番の実行を忘れてしまっていたということです。

  1. 管理者がHost pool のRDP Properties を変更する
  2. エンドユーザはWVDの仮想のWindows 10からサインアウトする
  3. エンドユーザはリモートデスクトップクライアントでフィードを最新化する
  4. エンドユーザはWVDの仮想のWindows 10にサインインする

フィードの最新化とは以下の操作となります(他にもやり方は何個かありますが)。

正しい手番を実施し、再度Windows Virtual Desktop の仮想のWindows 10 にサインインします。

今度はInputのデバイスは “Remote Audio” として認識され、声を出すと”Test your microphone” のボリュームがリアルタイムに変動することも確認出来ました。

デバイスマネージャでも正しく認識されています。

Teams でも認識しました。 なお、今回のテスト環境ではMedia Optimization for Microsoft Temas をまだ導入していません。 従ってRemote Audio としてTeamsから認識されます。

準備は整いましたので本題のCortana のテストに移ります。

4. WVD でCortana をテストする

まずは手動でCortana を起動します。

Cortana へのサインインが求められます。 普段Cortana を使うことが無いのでサインインがどうして必要なのか把握していないのですが、とりあえずサインインして進めます。 画面などは省略しますがこの後マイクロソフトアカウントのIDとパスワードの再入力を求められ入力しています。

”Cortana is not available in your organization” とのこと。 組織(といっても私個人が契約したMicrosoft 365 E5 なので特別な組織があるわけでもなく)としてCortana の許可が必要とのこと。

今回はWindows Virtual Desktop 上でCortana の音声インターフェイスを使うことが目的なので、再度、Personal account でサインインします。

権限の承認が求められます。 ”Yes” で進めます。

personal information にCortana がアクセスすることの承諾を求められます。 特に問題は無いので”Accept and continue” で進めます。  

やっと使える状態になった模様です。 手元の物理PCのCortana はこんなステップを踏んだ記憶はなかったのですがWindows 10 version 2004 から変わったのかもしれませんね。 Cortana のことは本当に知識が無いのですが、これまでの流れを見ていると企業や学校法人ではCortana を共有して使うことが出来そうな感じです。 共有というかCortana のAI のデータやエンジンの範囲を限定するためなのかもしれませんが。 どちらにせよこれはこれで別途調べないといけないかなと。

それでは音声インターフェイスを試していきます。

マイクアイコンをクリックします。

“I can’t hear you without your permission” とのことで、権限設定が不足しているようです。

赤枠部分をクリックします。

“Online speech recognition” をOffからOn へ変更します。

再度、マイクアイコンをクリックします。

画像に alt 属性が指定されていません。ファイル名: image-264.png

“Windows voice activation isn’t working” (Windows voice activation は機能していない) とのこと。修正するにはPCを再起動しましょうとのこと。 仮想のWindows 10を再起動します。

PCを再起動し、再度 Windows Virtual Desktop に接続しました。

“Windows voice activation isn’t working” で変わらずでした。

Cortana の設定を確認していきます。 “Microphone” をクリックします。

Windows 10 のSettings > Microphone に画面が変わります。 許可設定されていることが確認できます。

“Online Speech Recognition” をクリックします。

問題ありません。

何か情報が無いかイベントログを確認します。 色々とエラーや警告のイベントのログはあったのですがタイミングがずれていたりで関係なさそうです。

このあと Cortana のApps の最新版があるとのことで最新化を実行したところ”Windows voice activation isn’t working” は解消されました。(最新化の過程のスクリーンショット残せず)

Cortana からのサンプル文言にある”Show my calendar” で話かけます。 最初は”Show my current” として認識されました。。。  再チャレンジで”Show my calendar” と認識され、それに対して”Youd don’t have anything scheculed for tody” との応答。  つまり、Windows Virtual Desktop でもCortana の音声インターフェースが利用できることを確認出来ました。

“I want to eat a hamburger” と話しかけると、一応、日本の店舗を紹介してくれました(Cortanaからの音声ナレーションは英語)。 ただ、場所は江東区として認識されているようです。 自宅は大田区ですし、Windows Virtual Desktop の仮想のWindows 10 には位置情報がないため、ネットワーク(パブリックIP)から判断しているのだと推測します。

せっかくなのでWindows 10 のUI を日本語化した状態でもテストしてみましょう。 Japanese のpack をインストールします。

日本語で”ラーメンを食べたいです”とCortana に話しかけます。今度は近くのラーメン屋情報ではなく、インターネットのニュースからピックアップされてきました。 ナレーションも日本語です。

特に問題なく動作しました。

5. まとめ

途中ちょっとだけ色々ありましたが最終的にはWVD の仮想のWindows 10 でCortana の音声インターフェースを利用出来ることが確認出来ました。 

音声インターフェースも大分一般化したと思います。 私もスマートフォンでは検索したいときに音声を使うことが当たり前になっています。 英会話学習ツールでSpeech の練習で利用できるアプリもありますし、使っています。  Microsoft というかWindows 10 のRoadmap を見てもOSのUIの1つとしての音声の重要性は今後増していくのだと思います。 そう考えると Windows Virtual Desktop でCortana を利用出来ることはそれは当然なのかなと思ったり。

以上