AIエージェントが実際にどのように動いてトークンを使っているかが後から見てわかるようにできる「Langfuse」、オープンソースでセルフホスト可能

親愛なる読者の皆さまへ。ご存じの通り価格高騰などの悪影響でサーバー運営がとても苦しい状態です。回線や台数を整理し見直せる部分は全て見直しましたが、やはりまだ危険水域です。このままだと1ページを10分割ぐらいして無理矢理PVを増やさざるを得なくなってしまいます。そこで、GIGAZINEの物理的なサーバーたちを、たった1円でも良いので親愛なる読者の皆さまに支援してもらえればとっても助かります！今すぐ寄付は上のボタンから！ ・ これまでGIGAZINEを支援してくれたメンバーのリスト

AIエージェントが回答を作る裏側では「LLMに問い合わせる」「検索する」「ツールを実行する」「結果を再びLLMへ渡す」といった処理が連続して行われています。その実行経路を丸ごと記録し、どこで何トークンを使用したのかまでブラウザから追跡できるオープンソースツールでセルフホストが可能な「 Langfuse 」が公開されています。 Langfuse https://langfuse.com/

langfuse/langfuse: Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23 https://github.com/langfuse/langfuse ◆Langfuseの概要 LangfuseはLLMやAIエージェントの実行内容を「Trace」として記録し「どのLLMを呼び出したか・どのツールを実行したか・どの情報を検索したか・入力および出力処理の消費時間・トークン使用量・推定コスト」などを後から確認できるAIエンジニアリングプラットフォームです。 ◆Langfuseの利用方法 ・Organizationsの登録とAPIキーの発行 Langfuseを構築後、ブラウザで「http://localhost:3000」にアクセスすると「Organizations」の一覧ページが表示されるので「New Organization」をクリック。

・AIエージェントへの組み込み 今回はAIエージェントとして Google Gemini を利用しLangfuseと連携するために、 Google Gen AI SDK と Observability for Google Gemini Models with Langfuse Integration を利用して、PythonスクリプトからAIエージェントを呼び出した際のトレースを行います。 LangfuseでAI内部の処理を確認しやすくするため、同じ内容を別の検索キーワードでも確認するよう、あえて冗長な命令をプロンプトに加えて実行してみます。

東京の今日の天気を調べて、傘が必要か簡潔にまとめてください。 情報の正確性を高めるため、 最初に得た情報だけで判断せず、 別の検索キーワードでも同じ内容を改めて確認してください。 複数の検索結果を比較したうえで回答してください。

結論：折りたたみ傘を持ってお出かけください。 複数の検索結果を比較確認した結果は以下の通りです。 --- 1. 「天気予報」での確認結果（気象庁・ウェザーニュースなど） 天気：一日を通して雲が広がりやすい天気です。日中は晴れ間が出る時間帯もありますが、昼過ぎから夕方・帰宅時間帯にかけて急に雨が降り出し、雷を伴って激しく降るおそれがあります。 気温：最高気温は32℃前後で蒸し暑くなります。 2.