ObsidianでローカルLLMを使う
はじめに Obsidianの拡張機能とHugging Face1、Ollama2を使用してオフライン環境下での生産性の爆上げを図る。 ※自己責任で実施すること。 flowchart LR A(Hugging FaceでLLMをフォーク) --> B(OllamaでLLMをpull&ローカル実行) B --> C(Obsidianの拡張機能でLLMを実行) ちなみに表題に反して、おすすめはGemini APIです。 実装環境 M3 Macbook Hugging FaceでLLMをフォーク 自分の使いたいLLMがいつ配信停止となっても困らないように、自分のリポジトリにフォークする。 ※ライセンスには注意し、自己責任で行うこと ※Hugging FaceにはOllamaで使えない形式のモデルも存在するため選定の際は注意すること。 ※いつ配信停止となっても別のモデルを探せるのであればOllamaでLLMをpull＆ローカル実行から実施すること。 Hugging Face アカウント の作成 Hugging Faceのアカウントはメールアドレスがあれば作れる。有料プランを使用する場合は乗っ取り防止で2FAの設定をしておいた方がいい。 Hugging Face – The AI community building the future. Hugging Face CLI のインストール Hugging FaceのGUIだと日本語対応しておらず、UIも変更される可能性もあるため、再現性を確保するためCLIをインストールする。 1 brew install huggingface-cli Access Tokens の作成 Settingsの[Access Tokens](Hugging Face – The AI community building the future.)から作成する。Repositories内の項目をチェックする。トークンは発行時にしか表示されないため、メモしておくこと。 Hugging Face CLI でログイン 先ほど発行したトークンでログインする。 1 hf auth login --token <トークン> Git の大容量ファイル対応 gitが大規模言語モデル等の大容量ファイルを操作できるようにgit-lfsをインストールする。 ...