Bot on @johtaniの日記 3rd

AI活用しきれていない話

Thu, 05 Dec 2024 15:00:00 +0000

この記事はpyspa アドベントカレンダー 2024の6日目です。

公私ともにAIを活用しきれてないけど、こんな感じで使いましたというお話です。

Elasticsearchのハンズオン

お客さん向けにElasticsearchのハンズオンを1時間 x 15回という形で提供しました。新しい人も入ってきたので慣れてもらうために、また、知ってる人もハンズオンすることで普段は触らない・知らない機能を触って刺激になってアイデアが浮かぶかもしれないしという感じのモチベーションです。

ただ、資料作成にそれほど時間をかけるのももったいないですよねとお客さんとの会話にも出たので、そういう時にこそAIでしょ！となり、使ってみました。

こんな感じで。

Google AI StudioのGeminiに壁打ちの相手してもらってるところだけど、賢いなぁ（驚き屋みたいになってるな） pic.twitter.com/swyvbTdYxt
— Jun Ohtani (@johtani) May 1, 2024

このツイートではGoogleのAI Studioを使っていますが、ChatGPTでも同じように作ってもらって、最終的にはChatGPTで最後の回までを作ってもらいました。プロンプトを工夫したりはできていないので、まだまだ使い切れてる感じはしないですが。。。

流れとしては、次のような感じで作ってもらいました。

15回で初心者向けのハンズオンの流れを考えてもらう
- 「Elasticsearchのハンズオンを15回程度で考えているところです。全文検索のユースケースを想定しています。カリキュラムを考えてみてください」
- 戻ってきた答えにはロギングなどのユースケースも混ざっちゃってたので何度かやり取りして直してもらいました
大体出来上がったらそれぞれの回のハンズオンについて詳しく書き下してもらいます
- 最初の流れでは、1行程度の説明しかなかったので、ここでそれぞれのハンズオンでの流れが出来上がります
あとは、個別にさらにいくつか会話をしていって、仕上げていきました
- 「図を用いて説明して」「手順を書いて」「Dockerを使う形のインストールだと？」

題材がElasticsearchということもあり、世の中に資料がたくさんあって学習されているようで、REST APIやクエリもなんとなく作ってくれます。おかげでハンズオン資料もそれなりの形にできたのではかどりました（出てきたクエリなどは個別に確認しますが、ざっくりした項目は上げてあるのであとは説明すればいい）。

ただ、Elasticsearchはバージョンアップも頻繁なので、「資料があふれている＝古いバージョンの書き方もある」という状況がよく起こります。私はある程度知っている内容なので、「ここがおかしい」「これは古い」という形で自分ですぐに修正が入れられるので良いのですが、知らない分野だとそれぞれの調査で時間がかかるだろうなぁという感じです。

慣れてる内容を再度まとめたり、文章を書いてもらってちょっと修正などは作業がすごく楽になって助かりました。

GoでSlackのボット作成（第2弾）

もう一つの使い方としてプログラムも書いてもらいました。こっちはうまく指示が出せずに失敗という感じになってしまいましたが。。。

3月に「続ける思考」を読んだ記事を書きました。で、本をちょっとずつ読んだり、ガンプラをちょっとずつ作ったりしています。それらの記録をつけるのに、Slackのボットを作ってみるか→じゃあ、AIに手伝ってもらいながらコーディング？という流れで、壁打ちしながらコードも書いてもらってみたのですが。。。

ペアプロってこんな感じなのだろうか？ pic.twitter.com/KWxYERNgX3
— Jun Ohtani (@johtani) May 1, 2024

G.W.に壁打ちしながらコードは書いてもらったんですが、実際にGoLandにもってきて動かそうとすると、まぁ、うごかないのです。。。（そもそもmainの関数なのにpackage mainになってないとか。。。）結局、お蔵入りして8月に骨格をもとにしながら最低限（Google Driveじゃなくてローカルファイルに保存）の実装にして動くようになって活用していますが。

反省点はこんな感じ

複数ファイルにまたがるような形で設計してもらおうとしたのがよくなかった
そもそも指示の出し方がよくない？（プロンプト書くのが下手？）
GitHub CopilotのようなIDEで使えるもののほうがよさそう（もってきて動かすのがめんどくさい）
テストとか書いてもらうのがいいのかなぁ？

もちろん、メリットもありました。

プロジェクト、プログラムの命名
- 「こんなプログラムを作りたいんだけど名前をいくつか考えて？」「もっと中二っぽい名前がいいな」という感じ会話をして10個くらい名前を考えてもらってそこから採用した
変数名、関数名などの命名
READMEの記述
REST APIのレスポンスJSONとかをもとに構造体作ってもらったり
書いてもらったプログラムの個々のパーツは書き方の参考になった

あとは、JetBrainsのAIアシスタントに課金はしていないのですが、GoLandの補完が賢くなっており、定型的なエラー処理やログメッセージなどを予測して補完してくれるのがすごく楽ですね。テストケース書く時もいい感じに補完してくれるのかしら？（書きなさいよテストケース）

まとめ

まだまだうまく使えてない自信があります（なんだそれ）。プロンプトを工夫したりなどはしていないので、なんとなく会話してもらってAIに壁打ちしてもらう形程度にしか使えてないと思っています。あとは、プログラミングでの活用も課金してたりはしていないので、試してみないとなぁ。

世の中的には、プロンプトエンジニアリング、RAG、エージェントRAG、グラフRAG、画像生成などいろいろ流行っていますが、なんとなく概念を知っているかな？くらいになっています。来年はRAGだとかエージェントRAGだとかをもっと触って使ってみたり作ってみたりしないとですね。（本も買って積んでるし。。。）

Slackボットで音楽検索＆再生

Thu, 14 Mar 2024 09:24:04 +0000

年末に、GoでSlackのボットを作ったという記事を書きましたが、少し改良したので話の続きを。

やってみたいこととして、キーワードを指定して再生する仕組みを上げていました。

キーワードに関連する曲の再生
- OwnTone自体に検索の仕組みがついているので、キーワードを受け付けてそれに関する曲を流す

コマンドの判別の仕組みの変更

これまでは、単純なコマンドを実行してもらう形で実装していたため、Slackで入力された文字列をそのままコマンド名にマッチするかどうかの判定だけをしていました（レーベンシュタイン距離でタイポ対応はしてましたが）。

この場合、やってみたいことに挙げていた「キーワードを受け付けて」の部分が想定から抜けています。なので、コマンド名の判別処理を入力文字列そのままではなく、次のような処理にしました（処理切り替え時のPR）。

入力された文字列をスペース区切りでSplitして配列に
登録済みのコマンド名もスペース区切りでSplitして配列に
入力の配列に登録済みコマンドの配列が含まれていればコマンドにマッチした
- 入力の配列の残り（コマンド部分を抜いたもの）をスペースで連結してからコマンドの引数として渡す

また、このタイミングでコマンド名を1つの文字列にするために使っていたハイフンも除去することにしました（コマンドと引数の切れ目をわかりやすくしようと思ってハイフンを入れていたのですが、連結しておく必要もなくなったので）。

キーワードを受け取って検索

コマンドごとに引数をどのように利用するかは異なるので、コマンド側で引数の処理を行います。

Owntoneには単語で簡単に検索できるAPIが用意されています。とりあえずは、引数の部分の文字列をそのままこのAPIのqueryパラメータに渡すだけの簡単な処理を実装しました。取得件数（limit）などもありますが、まずは固定で5として実装しました（その時のPRはこちら）。

APIのレスポンスには、アーティスト、アルバム、曲ごとに項目が返ってくるので、それを表示しています。「検索するだけ(search music)」のコマンドと「検索した結果を再生するsearch play」コマンドの2種類を追加しました。

Search Results...
# Artists (1)
 Southern All Stars
# Albums (4)
 Paint The Sky With Stars: The Best Of Enya / Enya
 SOUTHERN ALL STARS / サザンオールスターズ
 STARS / Superfly & トータス松本
 江ノ島 (SOUTHERN ALL STARS GOLDEN HITS MEDLEY) / Z団
# Tracks (20)
 All Of The Stars / Ed Sheeran
 ...

簡易版のクエリパーサーを追加

ちょっと使ってみると、ほかにもできそうなことが出てきます。

検索結果を見るとわかりますが、情報のタイプごとに結果が返ってきています。検索のAPIの仕様に、このタイプを絞り込む条件も渡すことができるようになっています。

いろんな曲が混ざるのもいいのですが、アルバム名で指定したかったり、アーティストで指定して曲をかけたくなります。また、取得件数も指定できるのがいいかも？ということで、引数にちょっとだけパース処理を入れてみました（Parse関数）。

パーサー用のライブラリなども調べてみましたが、そこまで凝った条件を書くわけでもないので、スペース区切りで分割した後に、「limit:数値」や「type:artist」など特殊なキーが単語の先頭についているかどうかの判断をする処理でお茶を濁しました。。。

search music stars type:artist

と入れた場合は、「stars」を含むアーティストだけが結果としてかえるようになります。

そして新たな課題

とりあえずなんとなく検索して再生できるようになりました。ただ、OwntoneはSQLiteに入っているデータに対して、入力された単語で部分一致検索をしているだけのようです。また、曲ごとに異なるアーティスト名になっている場合にアルバムのアーティストがVarious Artistsのようになっており、いい感じに検索できないこともあります（トラックごとのアーティストにも検索してほしい）。

また、私の問題なのですが、海外の歌手名のつづりを覚えていなかったりもするので、もうちょっといい感じに検索できる仕組みが欲しくなってきています。

ということで、今後は類義語（英語名の歌手のカタカナ名とか）や細かなアーティスト名やコンポーザーなどでも検索できるようになにかしらの検索エンジンにデータをいれて、検索はそちらでやりつつ、音楽を流せるような仕組みを作りたくなってきました。

曲のメタデータを増やしたりどうやってやるのがいいかなぁ？

GoでSlackのボットを作った話

Fri, 08 Dec 2023 00:00:00 +0900

PySpaアドベントカレンダーの12/08のエントリーです。昨日は渋川さんのアンラーニングで失敗した話でした。

私は、今年は昨年の続きっぽい話を。

音楽の再生とか停止とか

今年もリモートで仕事を継続しています。昨年、OwnToneという音楽サーバーを導入しましたが、ミーティング開始時や終了後に音楽の停止や再生をするのに、ブラウザで操作するのはちょっと面倒です。加えて、ミーティングする際には実際には

音楽を止める
電気をつける

といったことをっやります。音楽再生についても

音楽を再生する
アンプの音は音楽再生用の音量にする

といった複数のことを行います。

基本的にPCの前にいるし、Slackを常に開いているからSlackのBotを作ると便利になるのでは？ということで、自分専用のSlack Botを作ってみました。

GitHubリポジトリ

全く誰の役にも立たないけど、公開しています。

https://github.com/johtani/smarthome

Goで実装

知り合いに勧められたということもあり、Goをあまり触ったことがなかったので、Goでやってみました。時々新しい言語を触ってみたくなるので。。。

コマンドパターンのような作りで、コマンド（操作）を増やしていく感じで実装してはみたのですが、この書き方がいいのかはまだよくわかっていないです。

Actionという単体の操作(例：OwnToneの一時停止)を、操作したい機器の操作ごとに作成しています。インターフェースとしてはRunだけを定義しています。

type Action interface {
	Run() (string, error)
}

それらの操作（Action）をひとまとめにしたものをSubcommandという形で定義して、SlackのBotにはSubcommandの名前を送って処理を実行する形にしています。

type Subcommand struct {
	Definition
	actions     []action.Action
	ignoreError bool
}

やりたいことを追加するタイミングで時々リファクタしたりもしていますが、基本はこんな感じです。細かな実装はさておき、今回ボットを作るときの観点をいくつか。

宅内ネットワーク

音楽サーバーのOwnToneもですが、YAMAHAのアンプのAPIも見つけたのでこれらの操作をボットから行っています。どちらも自宅のネットワークにあるので、今回作成したボットも同じネットワークで動作します。

外部に公開されたHTTPのエンドポイントがあればよいのですが、今回は用意していません。 SlackのAPIではこれに対応したアプリを作るときのためにSocket Modeを用意してくれています。

ドキュメントがしっかりしているのもあり、チュートリアルなどを見つつ特に迷うことなく構築できました。

基本的には「特定のチャンネルでボットがメンションされたら動作する」という挙動だけしか実装していないので、特に今回はこれで困ることもありませんでした（世の中の人たちはもっとすごいSlackの使い方をしていそうだけど。。。）。

対象となるものたち

ボットから操作しているのは今のところ3種類です。

SwitchBot
OwnTone
YAMAHAのアンプ

SwitchBot

SwitchBotについては、go-siwtchbotを利用しています。電気、エアコン、空気清浄機、サーキュレーターのオンオフをSwitchBot経由でやっています。

室内灯の明るさのために、SwitchBot側でシーンを設定している（一番暗い明るさで電気をつける）ので、そこが少しと特殊でしょうか？

あとは、SwitchBotの温湿度計を3つ（室内2つ、室外1つ）おいてあるので、これらの温度を表示するコマンドも用意しました。

それぞれの機器の電池残量（電池の絵文字の右側）を表示してます（書斎が2つあるように見えますが、温湿度計の名前なので、同じ部屋においてあります。。。温度が高いほうがデスクトップPCの近くにある）。防水の温湿度計があるので、外の気温もわかるのは便利です。

OwnTone

JSONのAPIが用意されていますが、特にクライアントライブラリなどは用意されていません。今回は、用意されているAPIのごく一部だけを利用するので、net/httpのClientでJSONを投げています。必要になったらowntone/clientにメソッドを追加していく感じです。

https://github.com/johtani/smarthome/blob/master/subcommand/action/owntone/client.go#L45

再生、一時停止、プレイリストの取得、音量指定あたりを実装しています。音の出力先はAirPlay（次に出てくるYamahaのアンプ）になっています。

あと、JSON APIのサンプルをChatGPTに渡して、「このJSONをレスポンスに受け取る処理をGoで書いてください」と聞いて処理を書いたりしました（細かいのはどう聞いたか覚えてないけど）。

YAMAHAのアンプ

ググって探してきましたが、利用しているYAMAHAのアンプにYXC（Yamaha Extented Control）と呼ばれるAPIが用意されていました。 PDFでAPIの仕様が公開されていたので、この資料とにらめっこしながら、必要そうなAPIを実行するクライアントを実装しました。こちらは、OwnToneのAPIの処理をすでに書いた後だったので、それをもとに必要な実装を追加しただけです。

ちなみに、アンプの電源をONにするAPIは実装していません。

OwnToneで音楽を再生する(AirPlayで信号が送られるみたい)
シーン選択（Nintendo SwitchやPS5のシーンを用意している）のAPIを呼び出す

という処理をすると自動で電源がONになりました。スタンバイしている状態でもAPIはリクエストを受け付ける状態になっているようです。また、PS5のシーンを呼び出したら、PS5自体も起動するのが便利だったりします。HDMI経由で信号が飛んでるのかな？「ミーティング開始」や「音楽停止」コマンドではアンプの電源をオフするAPIを呼び出すようにしています。

タイポ対応

「入力間違いしちゃうんです、人間だもの。。。」

ということで、10月にタイポ対応の処理を入れてみました。タイポ対応前の実装では、入力された文字列がコマンドの文字列と完全一致した場合にだけ、コマンドが実行される形になっていました。結構タイポしちゃうので、完全一致で見つからない場合の処理として、入力された文字列とコマンド名のレーベンシュタイン距離が2以下のものを探し、その中で距離が一番小さな値のコマンドを実行する形にしてみました。コマンド数はたかが知れているのでコマンドのリストを全部チェックする形にしています。タイポするとこんな感じ。

レーベンシュタイン距離の計算にはGo-edlibを利用しています。OSS便利ですね。

やってよかったこと

ミーティング開始時などのいくつかの手順が簡素化できたので満足しています。 SwitchBotの操作もスマホをわざわざ操作しなくてもいいですし（仕事してるとキーボードとSlackは常に使ってるし）。また、副次的な効果として、部屋の外から電源を切り忘れていたり、エアコンの切り忘れなどの場合に、スマホから遠隔でまとめた処理ができるのが便利です。

今後やってみたいこと

こういうのがあるともうちょっと便利かもなぁ？というのもあるので今後も気が向いたらコマンドなどを追加していく予定です。今のところこんなことやりたいなというのがいくつかあります。

キーワードに関連する曲の再生
- OwnTone自体に検索の仕組みがついているので、キーワードを受け付けてそれに関する曲を流す
Flexispotの操作
- ミーティングの時は立ち上がっているので、机をスタンディングの状態にしたい
- 電子工作しないとだめかも？
Webカメラ用ライトの点灯
- ミーティング時に明かりが必要なのですが、物理スイッチのOn/Off
- これも電子工作かな？
定期的に温度をBotに表示させるとと面白いかも？

まとめ

ということで、新しいプログラミング言語にも触れたし、作業環境も便利になって一石二鳥でした。新しいプログラミング言語触るのはやっぱたのしいですね。