ダイナテックナレッジ活用プロジェクト

開発/研究の目的

弊社では、お客さま向けのFAQサイトと社内向けのトラブル対応履歴サイトを通じてナレッジを共有しています。しかし、必要な情報をうまく検索できず、直接人に尋ねなければ解決できないことが多々あります。そこで、Chat-GPTや日本語対応のLLM（大規模言語モデル）を活用し、自然言語で問い合わせができるシステムを導入することで、人に聞く手間を省き、迅速に問題を解決できるようにしたいと考えています。このシステムにより、業務効率の向上を目指します。

全体のプロセス

現在はPoC（概念実証）の段階にあります。実際のナレッジデータを使って、質問に対する回答の有用性や回答までに要する時間を確認しています。Chat-GPTによる回答システムは実現できたため、今後は日本語対応のLLMを導入し、Chat-GPTとの比較を行い、そのメリットとデメリットを調査していく予定です。

使用されているAI技術やアルゴリズム

EmbeddingにはChat-GPTのtext-embedding-ada-002を使用し、チャットでの問い合わせにはGPT-4を利用しています。

システム構成

事前にAPIを呼び出してナレッジデータをEmbeddingし、その結果をElasticSearchに保存しています。回答システムはPythonで開発し、Streamlitを使ってチャット機能を提供しています。入力された質問に近いナレッジデータをElasticSearchからベクトルデータのコサイン類似度で検索し、そのデータをプロンプトに付加することで、ナレッジデータに基づいた回答を得られるようにしています。

進捗状況と計画

Chat-GPTによる回答システムは実現できたため、現在は日本語対応LLMの導入を進めています。
IDCフロンティアのGPUクラウドは、数十GBのLLMモデルもダウンロードが速く、大変助かっています。しかし、現段階ではLLMの初期化に10分ほどかかってしまうため、回答システムとしては利用が難しく、原因を調査中です。今後の予定としては、日本語対応LLMを使った回答システムを構築し、社内の人員向けに公開して、Chat-GPTとの使い勝手の違いについてアンケート調査を行う予定です。