LangChainで用意されている代表的なVector StoreにChroma(ラッパー)がある。 ドキュメントだけ読んでいても、どうも使い方が分かりにくかったので、適当にソースを読みながら使い方をメモしてみました。 VectorStore作成 データの追加 データの検索 永続化 …
LangChainでテキストを分割するとき、ライブラリに含まれるRecursiveCharacterTextSplitterをそのまま使っても問題ないんだけど、なんとなく素人考えで、分割したテキストも読みやすい方がいいかなーと思って、句読点で分割してくれるTextSplitterを作ってみ…
最近、ChatGPTを使ったAI対話システムの開発をしている中で、ChatGPTが返した文章に感情情報を付与したいなーと考えてました。ChatGPTプロンプトで設定するという方法もいいのですが、もっと自由に、ネガティブまたはポジティブよりももっと豊かな感情を扱い…
Pythonを使って、人間3Dアバター向けのフォーマットであるVRMのアバターの表情を動かしてみました。 といっても、Pythonから直接VRMをゴリゴリではなく、「VMagicMirror」というVRMアバターを動かすアプリを使用しています。 このアプリは、MIDIからの入力で…
まえから音声対話に興味があったので、作りかけだったシステムにChatGPT APIをつなげてみました。 ChatGPTで遊ぶのは面白いけど、キーボードでカチャカチャ入力するのが面倒だったので我ながら大満足な出来ばえ。自画自賛。なお、中身はChatGPT、Googleスト…
GCPに音声認識APIがあることを知識としては知っているけど、あんまり使ったことがなかったので使ってみました。 Speech-to-Text API V1の音声認識方法には「同期認識」「非同期認識」「ストリーミング認識」の3種類があります。 ネットで見かけるサンプルは…
ウェイクワードは「アレクサ」や「OK Google」みたいな音声認識を開始するための言葉。 そのウェイクワード検出がしたくなったので、前々から気になっていたpicovoice社のPorcupine(ポーキュパイン)を使ってみました。 Porcupineは日本語に翻訳すると「やま…
GCPに音声合成APIがあることを知識としては知っているけど、使ったことがなかったので使ってみました。 ネットで見かけるサンプルはmp3ファイルに保存する例が多いけど、自分が使いたい用途はファイルに保存せずに再生だったので修正。 動作確認環境 Windows…
音声認識で何か作ってみたいなーと思いつつ、調べて動かすだけでも疲れたので、ひとまず整理。 音声対話で使いたいので、認識精度が良いAPIやレスポンスの早いストリーミング方式を中心に記載。 動作確認環境 バッチ方式 SpeechRecognitionライブラリ ストリ…
前回の記事で音声再生に悪戦苦闘していたけど、音声再生／録音するだけならWSLgでとっくに対応していた。。。 そのWSLgが組み込まれたWSL2なら、あっけないくらい簡単に再生／録音できた。 (WSLgはWindows11の比較的新しいWSL環境なら組み込まれているっぽい…
usbipd-winをインストールすれば、WSL2上でUSBデバイスが認識できて、デバイスによっては動くらしい。 なので、WSL2上でUSBオーディオデバイスを使って再生もできるかなーと期待したものの、駄目だった記録です。 USBデバイスの認識まではできた。 追記 USB…
Windows上で手軽にROS2を使いたかったので、WSL2上のUbuntuにROS2をインストールしたときのメモです。 WSL2のおかげで、思った以上にすんなりROS2が動いている。GUIも動く。DockerとかUbuntuを入れたPCを用意した方がトラブルが少ないんだろうけど、気軽にサ…
前回作成した音声合成やら、レゴやら、何やらを組み合わせて「おしゃべりラジコンカー」を作成したときのメモです。 主な材料、環境 レゴ組み立て方メモ Build HATとモーターの接続 ゲームパッドでの動かし方 プログラム 反省点 主な材料、環境 ハード: Rasp…
gTTSを使って自分の欲しい音声合成処理ができたので、その備忘録です。 ネットで探せば簡単にgTTSを使ったサンプルは見つかるけど、発話がゆっくり過ぎてツライ・・・なので2倍速にして再生。 あと、mp3データをファイルに保存したくないので、ファイル保存…
ラズパイ上で音声を再生してみたので、その記録です。 再生方法はコマンドやPythonを使っています。 主な材料、環境 デバイスの確認と設定 デバイス確認 音声の出力先を設定 再生時の音量を調整 コマンドで音声を再生 WAV再生 MP3再生 pythonで音声を再生 py…
なんとなくRaspberry Pi Build HATを使ってラジコンカーを作りたくなったので、次はラジコンカーを作成。そのときの備忘録です。 作ったラジコンカー↓ まあまあシンプルに作れたので満足。 もっと部品点数を減らすことはできそうだけど、モーターをしっかり…
Build HATとLEGO SPIKEの情報を自分向けにまとめたリンク集です。 LEGO SPIKEと類似したマインドストーム ロボットキットの情報も含んでいます。 (やっと日本で発売されたのに、もうすぐ廃盤で悲しい) Raspberry Pi Build HAT レゴ® エデュケーション SPIKE™…
Raspberry Pi Build HATでペンギン型(？)ロボットを作ったので、その備忘録です。 作ったロボット↓ 旋回後に直進や後進を指定してもなーんか真っ直ぐ進まないけど、ご愛敬。 原因は未調査。まっすぐ進むこともある。そんな問題を抱えつつ、オリジナルロボッ…
ずいぶんLEGOやラズパイの情報をチェックしてなかったけど、「Raspberry Pi Build HAT」という製品が発売されていたのを今更発見。 早速スイッチサイエンスさんで購入して遊んでみた。 Raspberry Pi Build HATSupTronicsAmazon とりあえずゲームパッドでレゴ…
久々のブログ更新。 ラズパイ上でゲームパッドの情報を取得してみたくなったので、その記録です。 ロジクール ワイヤレスゲームパッド F710Logicool(ロジクール)Amazon 環境 ハード: Raspberry Pi 3 model B、F710ワイヤレス ゲームパッド OS: Raspberry Pi …
手軽にROSで音声合成がしたくてtts-ros1パッケージを使ってみたので、そのメモ。 音声合成にはAWSのクラウド音声合成サービスAmazon Pollyが利用される。クラウドなので、ネットワークが必須で、ちょっとだけお金もかかる。(日本語だと100万文字で4ドル。1年…
ROS上で音声合成を使ってみたくて、sound_playを動かしてみたので、そのメモ。音声合成は思ってた感じと違ってたものの、音声ファイル再生は便利そう。 動作確認環境 インストール ノード起動 テスト再生 音声ファイルの再生(WAV、OGG) 内蔵サウンドの再生 …
T265は2つのモノクロ魚眼カメラ、IMU、VPU(Vision Processing Unit）を内蔵していて、自己位置推定(自分の位置の推定)してくれるデバイス。 自己位置推定は実装したことが無いものの、資料を読む限り、とても面倒で難しそう。そんな自己位置推定をこんな小さ…
rostopic listでトピック一覧表示はできる、なのにrostopic echoでトピック内容は表示できない。 そんな現象にちょっと前から遭遇していた。 ネットで調べるとファイヤーウォール等の通信制限や、環境変数ROS_MASTER、ROS_IPの設定ミスというケースでも発生…
2D LiDAR LDS-01(別名 HLS-LFCD2、HLS-LFCD-LDS、Neato XV-11 LiDAR？)を使ってみたので、その記録です。 距離はレーザーの反射で測定しているので、鏡など鏡面反射する物があると測定結果が乱れる。確認してないけど、反射率の低い黒い物の測定にも弱く、透…
使用したROSパッケージは pwm_pca9685。デバイスファイルを経由してI2Cの制御を行うので、ラズパイ等でも使用できるはず。 わざわざROSノードにしなくてもいいような気もするけど、コマンドラインから制御できたり、複数ノードからアクセスできるので結構い…
前回の続き。 キットの組み立て、動作確認が終わったので、次はJetson Nanoと接続して制御。 ゲームパッドで操作したかったので、USBゲームパッドF710も接続。 完成後はこんな感じ 写真が前回と代わり映えしないので、中身 写真には写ってないけど、モバイル…
レゴ互換モーターでメカナムホイールカーを作ってみたものの、もっとパワーとスピードのある別の車体がほしくなってきたので、手っ取り早くキットを選択。組み立てたキットは「OSOYOO メカナムホイールカー」(英語名はMecanum Wheel Metal Chassis Robotic)…
@karaage0703さんが紹介してくれていた「Docker上でGUIのROS1/ROS2を一瞬でセットアップする方法」を試したところ、とても便利でした。 Dockerでコンテナを起動して、ブラウザからアクセスするだけでROS/ROS2が使える。超お手軽。 ブラウザでアクセスできて…
JetBot をハード無改造で Donkey Car 化するという記事を見かけたので、自分でもやってみた。 ソフトウェアセットアップから学習データ作成、学習、推論と一通り動かしたので、その記録です。 目次 (クリックで展開) 確認環境 ソフトウェアセットアップ ベー…
