feat: Use Deno.Kv to create a database of dictionaries

[uga-rosa]

話題のDeno KV (組み込み key-value database) を使って辞書をデータベース化します。
config.databasePath から有効化できます。

[tani]

興味深い機能追加だと思います。
実装がアドホックになっているため、設計を再検討しリファクタリングする余地がありそうです。
まず確認ですが、この変更の意図は、DenoKVをキャッシュDBに使うということですね。

今の実装は以下の順番になっています。

• (1) データベースパスが設定されているなら、
• (2) データベースを初期化し、
• (3) 通常通り辞書を読み込み、
• (4) データベースにキャッシュする
• (3-4*) もじ既に格納されているなら読み込みがスキップする。
  これは、元実装 (3)に (1,2,4)をラップする事で実現しています。

私の懸念は、本来パスの設定と、機能の有効化/無効化は直交する操作であるのに、パスの設定から暗黙に機能が有効化されてしまうことです。

また設計についても懸念があります。
Deno KVは、インメモリ型とファイル型の2つがあったはずです。(ですよね？)
つまりDenoKVを有効化すること自体はデフォルト化しても良く、
キャッシュする(ファイルに保存する)ことの有無のみを
切り替える実装にするほうが全体の見通しが立ちそうです。

今は、Map()を使うか、DenoKVを使うかということで、Mapの機能とDenoKVの機能に重複があり、
コードが複雑化しているように思えます。

もし不正確なところがありましたら、指摘していただければ幸いです。

[Shougo]

私の懸念は、本来パスの設定と、機能の有効化/無効化は直交する操作であるのに、パスの設定から暗黙に機能が有効化されてしまうことです。

デフォルトのパスをプラグインがわできめられなかったので、こういう実装になったと理解しています

[uga-rosa]

インメモリなDeno KVを使う場合、現状のMapを使った実装よりも初期化が遅くなってしまいます（手元では200 ms -> 1300 msほどの変化）。重複はありますが仕方ないのかなと

[tani]

• DenoKV版: 初回は遅いが、2回目以降は高速に起動
• 従来版: 初回は(相対的に)高速だが、2回目以降も同様の速度で起動

という状態なのですね。

[uga-rosa]

そうですね。巨大な辞書を使っており現在の起動時間に不満のある人にとっては良い選択肢になるはずです。
常にDeno.Kvを使うように実装を整理してみたものを別ブランチにpushしておきました。気になるようでしたら試してみてください。console.logでかかった時間を吐きます。
https://github.com/uga-rosa/skkeleton/tree/database-as-default

[kuuote]

データベースへの変換がすごく遅いのでインメモリの有効化はしない方がいいと思います

[kuuote]

このPRでやるべきかは不明ですが、事前に変換する方式で辞書形式の1つにしてしまうのもありかもですね

[tani]

JISYO(新辞書形式)でも変換済みのDBが配布できるか検討してみます。
その場合, タイムスタンプで比較するのは不味いかもれません。

あと、複数辞書対応は出来ていますかね？ちょっとコードリーディングでできておらず...

[uga-rosa]

データベースは単独のファイルですが、keyの中にpathを入れることで辞書ごとに候補を管理できるようにしています。また、各辞書のmtimeも保存しているので、辞書それぞれの更新を検知して再構築を行います。

[uga-rosa]

jisyo/deno_kv.ts を分離し、コミットを整理しました。

[Shougo]

試しました。確かに初回だけ DB 作成に時間がかかりますが、あとは問題なさそう

[Shougo]

今は、Map()を使うか、DenoKVを使うかということで、Mapの機能とDenoKVの機能に重複があり、
コードが複雑化しているように思えます。

実装の重複とは skk_dictionary.ts と deno_kv.ts のことでしょうか？
jisyo についてはいつか実装を分離したいので重複は問題ないと思います。

[uga-rosa]

データベースを手動で更新するためのAPIを追加しました

[uga-rosa]

一つバグ見つけたので少し待ってください。kv.list はこの書き方だと完全一致の補完候補が取れないらしい
Deno.Kvのバグっぽい気もするけどどうしようかなこれ

[uga-rosa]

denoland/deno#21711
これです。とりあえず今動くコードをpushしました。

[uga-rosa]

テストも入れて通ってるので明日の夜まで特に指摘なければそのままマージします。

[uga-rosa]

https://github.com/denoland/denokv/blob/a5ae69f1dd58283ae124771e0d136a6b1815d7a5/proto/codec.rs#L36

Deno.AtomicOperation を使うとき、total key size が 81920 バイトを越えてコミットするとエラーが出ます。key は TypeScript のレイヤーでは Deno.KvKey ですが、Rust のレイヤーで u8 のバイト列に変換されます。この際、要素ごとに元の型を特定するための識別子や末尾に区切りの 0x00 が追加されます。

今回使う文字列の場合で説明すると

1. 配列の各要素に対して文字列であることの識別子 0x02 から開始
2. 各要素の文字列をバイト列に変換し、0x00 を 0xFF でエスケープ
3. 末尾に 0x00 を追加

となるので、['a', 'bc'] は 0x02 0x61 0x00 0x02 0x62 0x63 0x00 の7バイトになります。

また、mutation 自体の回数が 1000 を越えるとそれもエラーが出ます。これらの条件から IO が発生する this.#atm.commit() の回数を最小化しています。