import os
from bs4 import BeautifulSoup
import chardet

def fetch_html_from_file(file_path: str) -> str:
    # ファイルのエンコーディングを推定
    with open(file_path, 'rb') as file:
        raw_data = file.read()
        result = chardet.detect(raw_data)
        encoding = result['encoding']

    # 推定されたエンコーディングでファイルを開く
    try:
        html = raw_data.decode(encoding)
    except (UnicodeDecodeError, TypeError):
        # デコードエラーが発生した場合、別のエンコーディングで試行する
        try:
            html = raw_data.decode('utf-8')
        except UnicodeDecodeError:
            try:
                html = raw_data.decode('shift_jis')
            except UnicodeDecodeError:
                try:
                    html = raw_data.decode('iso-8859-1')
                except UnicodeDecodeError:
                    # それでもエラーが解決しない場合、無理やりデコードする
                    html = raw_data.decode('utf-8', errors='replace')

    return html

def remove_blank_lines(text):
    lines = text.split('\n')
    non_blank_lines = [line for line in lines if line.strip()]
    return '\n'.join(non_blank_lines)

def download_and_process_html_files(root_directory):
    documents = []  # 各HTMLファイルのテキストを格納するリスト

    # 再帰的にディレクトリ内の .html ファイルを探索
    for dirpath, _, filenames in os.walk(root_directory):
        for filename in filenames:
            if filename.endswith('.html'):
                html_file = os.path.join(dirpath, filename)
                try:
                    # HTMLファイルからコンテンツを取得
                    html = fetch_html_from_file(html_file)

                    # BeautifulSoupで解析
                    soup = BeautifulSoup(html, 'html.parser')

                    # テキストコンテンツを抽出
                    text = soup.get_text()
                    result_text = remove_blank_lines(text)
                    result_text += '\n\n'

                    # テキストをファイルに保存
                    output_file = os.path.splitext(html_file)[0] + '.txt'
                    with open(output_file, 'w', encoding='utf-8') as f:
                        f.write(result_text)

                    documents.append(result_text)

                except Exception as e:
                    print(f"ファイル {html_file} の処理中にエラーが発生しました: {e}")

    return documents

def save_documents_as_text_file(documents, output_file):
    with open(output_file, 'w', encoding='utf-8') as f:
        for document in documents:
            f.write(document + '\n')

def main():
    # カレントディレクトリ以下の全てのディレクトリを再帰的に探索
    current_directory = os.getcwd()
    documents = download_and_process_html_files(current_directory)
    save_documents_as_text_file(documents, './output.txt')

if __name__ == "__main__":
    main()

from langchain_huggingface import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import FAISS

# ベクトルDB化する元データファイル読み込む
with open("output.txt", encoding="utf-8") as f:
    test_all = f.read()

# チャンクに分解する
text_splitter = RecursiveCharacterTextSplitter(
        chunk_size = 5000,
        chunk_overlap = 100,
        )
texts = text_splitter.split_text(test_all)

# embeddingの指定
embedding = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")

# 実際にembedding処理する
index = FAISS.from_texts(
        texts = texts,
        embedding = embedding
        )

# 結果をfaiss_indexというディレクトリ下に保存する
index.save_local("faiss_index")

# -*- coding: utf-8 -*-

from flask import Flask, render_template
from flask import request

from markupsafe import Markup
from markdown import markdown

from langchain_huggingface import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import FAISS
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

import os
openai_api_key = os.environ["OPENAI_API_KEY"]

embedding = []
index = []

def prepare_model():
    # ベクトルDB検索のため、モデルとDB本体を用意する
    global embedding
    global index

    print("loading HuggingFaceEmbeddings model...")
    embedding = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")
    print("faiss_index loading...")
    # ローカルディレクトリ配下のfaiss_indexからベクトルDBをロードする
    index = FAISS.load_local("faiss_index", embedding, allow_dangerous_deserialization=True)
    print("faiss_index loaded")

app = Flask(__name__)

@app.route('/', methods=['GET'])
def get():
    # 質問文入力のためのフォームを用意
    return render_template('form.html')

@app.route('/', methods=['POST'])
def post():
    # フォーム内容(質問文)を受け取り、結果を出力する
    # ここでRAGの本体の処理を実行する
    global embedding
    global index

    query_content = request.form['content']
    checkbox = request.form.get('checkbox')

    # 質問文でベクトルDBを検索する
    embedding_vector = embedding.embed_query(query_content)
    doc = index.similarity_search_by_vector(embedding_vector, k=10)

    # 使用するLLMを指定。OpenAIのgpt-4o-miniを使用する指定。
    chat = ChatOpenAI(model="gpt-4o-mini", temperature=0, api_key=openai_api_key)
    # システムプロンプトを指定
    system = ("以下の情報を利用して、質問の文章に対する回答を作成して下さい。質
問に対して回答するのに十分な情報がない場合には、回答するのに十分な情報がない旨を返答して下さい。情報：{vectordb}")
    human = "{input}"
    prompt = ChatPromptTemplate.from_messages([("system", system), ("human", human)])

    chain = prompt | chat
    result = chain.invoke(
            {
                "vectordb": doc,
                "input": query_content,
            })

    # 結果の整形
    md = Markup(markdown(result.content))
    # 結果の出力
    if checkbox == "debug_on":
        # debugチェックボックスがonのときは、ベクトルDB検索結果とデバッグ情報も出力する
        return render_template('response_with_debug.html', query_content = query_content, vectordb = doc, result = result)
    else:
        return render_template('response.html', query_content = query_content, result = md)

if __name__ == '__main__':
    prepare_model()
    app.run(debug=False, host='0.0.0.0', port=5000)