- LangChain
- LLMを基盤としたアプリケーション開発を効率化するためのPython/JavaScriptフレームワーク。エージェント、チェーン、プロンプト管理、メモリなどのモジュールを提供し、複雑なAIワークフローの構築を支援します。
- LlamaIndex
- 外部データソースをLLMに接続し、RAG（検索拡張生成）システムを構築するためのフレームワーク。データローダー、インデクサー、クエリエンジンなどの機能を通じて、LLMが外部知識を活用する能力を高めます。
- Hugging Face Transformers
- 自然言語処理（NLP）やマルチモーダルAIのための事前学習済みモデルとツールを提供するライブラリ。多様な言語モデルやトークナイザーを簡単に利用・ファインチューニングできます。
- RAG (Retrieval-Augmented Generation)
- 大規模言語モデル（LLM）が外部の知識ベースから関連情報を検索し、その情報に基づいて回答を生成する手法。ハルシネーション（誤情報生成）を抑制し、回答の正確性と信頼性を向上させます。
- AIエージェント
- 目標を達成するために、計画立案、ツール利用、記憶保持、推論といった一連の行動を自律的に実行するAIシステム。複雑なタスクの自動化に活用されます。
- ファインチューニング
- 事前学習済みモデルを、特定のタスクや独自のデータセットに合わせて追加学習させること。少ないデータと計算リソースで、対象タスクに特化した高性能なモデルを構築できます。
- ベクトルDB
- テキストや画像などのデータをベクトル埋め込みとして保存し、類似度に基づいて高速に検索できるデータベース。RAGシステムにおける関連情報検索の基盤となります。
- トークナイザー
- 自然言語のテキストを、AIモデルが処理できる最小単位（トークン）に分割するツール。言語モデルの性能や推論コストに大きく影響します。
- パイプライン設計
- AIアプリケーションにおけるデータの前処理、モデルの推論、後処理といった一連の処理フローを構造化し、モジュールとして連結させる設計手法。開発効率と保守性を高めます。
- プロンプト管理
- LLMへの指示（プロンプト）を効率的に作成、テスト、バージョン管理すること。プロンプトの品質がLLMの出力に直結するため、重要な開発プロセスです。
- 量子化
- AIモデルの重み（パラメータ）の精度を低減（例: 32bit浮動小数点数を8bit整数に変換）することで、モデルサイズを縮小し、推論速度とエネルギー効率を向上させる技術。モデルの軽量化手法の一つです。
- マルチモーダルAI
- テキスト、画像、音声など、複数の異なる種類のデータを同時に処理・理解できるAI。より複雑で現実世界に近い問題解決を可能にします。
- データコネクタ
- 様々な外部データソース（データベース、クラウドストレージ、SaaSなど）からAIモデルに必要なデータを効率的に抽出・連携するためのインターフェースやツール。
- クエリエンジン
- ユーザーからの質問を受け取り、インデックス化されたデータから関連情報を検索し、LLMに渡すための処理ロジックを管理するコンポーネント。RAGシステムの中核をなします。
- ストリーミング処理
- データが生成されると同時にリアルタイムで処理を行う方式。AI分野では、リアルタイム分析、不正検知、インタラクティブな応答生成などに活用されます。
- ナレッジグラフ
- 実世界のエンティティ（人、場所、概念など）とその関係性をノードとエッジで表現したグラフ構造の知識ベース。AIがより深い文脈理解や推論を行うのに役立ちます。
- コスト最適化
- AIモデルの運用にかかる計算リソース（GPU、CPUなど）やAPI利用料を効率的に管理し、費用対効果を最大化する戦略。量子化やキャッシュなどが含まれます。
- メモリ管理
- AIエージェントやチャットボットが会話履歴や外部情報を効率的に保持し、過去の文脈を考慮した応答を生成できるようにするための仕組み。短期記憶と長期記憶があります。
- 評価指標
- AIモデルやアプリケーションの性能を客観的に測定するための基準。RAGではHit RateやMRR、LLMでは回答の適切性や安全性などが用いられます。
- API連携実装
- AIフレームワークが外部サービス（LLMプロバイダー、ベクトルデータベース、カスタムツールなど）と連携するためのインターフェースやプロトコルを実装すること。AIアプリケーションの機能を拡張します。