#Deze code combineert document retrieval via een FAISS-vectorstore en antwoordgeneratie via BLOOMZ.<\/p>\n\n\n\n
#Stap 1: Importeer vereiste bibliotheken<\/strong><\/p>\n\n\n\n #zie requirements.txt voor alle benodigde pip install zoals: !pip install -U langchain sentence-transformers faiss-cpu langchain-community<\/p>\n\n\n\n from sentence_transformers import SentenceTransformer # let op, bovenstaande google.colab is niet van toepassing op Productieomgeving!<\/p>\n\n\n\n #2. Definieer een Wrapper voor SentenceTransformer<\/strong><\/p>\n\n\n\n class SentenceTransformerWrapper(Embeddings): #Initialiseer het embeddingsmodel via de wrapper<\/p>\n\n\n\n embeddings_model = SentenceTransformerWrapper()<\/p>\n\n\n\n #3. Initialiseer BLOOMZ model pipeline<\/strong><\/p>\n\n\n\n #Gebruik BLOOMZ als krachtiger model dan bijv flan-t5-base<\/p>\n\n\n\n nlp_pipeline = pipeline(“text-generation”, model=”bigscience\/bloomz-1b7″)<\/p>\n\n\n\n #4. Upload documenten<\/strong><\/p>\n\n\n\n uploaded = files.upload() for file_name, file_content in uploaded.items(): print(f”Aantal documenten: {len(documents)}”)<\/p>\n\n\n\n #5. Maak de FAISS-vectorstore<\/strong><\/p>\n\n\n\n document_texts = [doc.page_content for doc in documents] #6. Functie voor ophalen van relevante documenten<\/strong><\/p>\n\n\n\n #def retrieve_documents(vraag, k=3):<\/p>\n\n\n\n #results = vectorstore.similarity_search(vraag, k=k)<\/p>\n\n\n\n #return [result.page_content for result in results]<\/p>\n\n\n\n def retrieve_documents(vraag, k=3): #7. Functie voor antwoord genereren met BLOOMZ<\/strong><\/p>\n\n\n\n #NEW<\/strong><\/p>\n\n\n\n #def generate_answer(vraag, context):<\/p>\n\n\n\n #prompt = (<\/p>\n\n\n\n #f”Gebruik alleen de relevante informatie uit onderstaande tekst om de vraag te beantwoorden:\\n”<\/p>\n\n\n\n #f”{context}\\n\\n”<\/p>\n\n\n\n #f”Vraag: {vraag}\\n”<\/p>\n\n\n\n #f”Antwoord (alleen waar lunchpauze in voorkomt):”<\/p>\n\n\n\n #)<\/p>\n\n\n\n #print(f”DEBUG CONTEXT:\\n{context}”)<\/p>\n\n\n\n #ORG<\/strong><\/p>\n\n\n\n def generate_answer(vraag, context):<\/p>\n\n\n\n #8. Hoofdfunctie: Vraag en antwoord<\/strong><\/p>\n\n\n\n def kba_antwoord(vraag): # OPTIE 1 Filter de context # Vervolg OPTIE 1 Filter de context # OPTIE 2 Origineel #Testvraag<\/strong><\/p>\n\n\n\n #vraag = “Wat moet ik doen met bedrijfsapparatuur?”<\/p>\n\n\n\n vraag = “Hoe laat is het lunchpauze?” #print(f”Vraag : {vraag}”)<\/p>\n","protected":false},"excerpt":{"rendered":" #Deze code combineert document retrieval via een FAISS-vectorstore en antwoordgeneratie via BLOOMZ. #Stap 1: Importeer vereiste bibliotheken #zie requirements.txt voor alle benodigde pip install zoals: !pip install -U langchain sentence-transformers faiss-cpu langchain-community from sentence_transformers import SentenceTransformerfrom langchain.vectorstores import FAISSfrom langchain.embeddings.base import Embeddingsfrom langchain.docstore.document import Documentfrom transformers import pipelinefrom google.colab import files # let op, bovenstaande […]<\/p>\n","protected":false},"author":1,"featured_media":0,"template":"","blossom_portfolio_categories":[17],"class_list":["post-4062","blossom-portfolio","type-blossom-portfolio","status-publish","hentry","blossom_portfolio_categories-kba"],"_links":{"self":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/blossom-portfolio\/4062","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/blossom-portfolio"}],"about":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/types\/blossom-portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/users\/1"}],"wp:attachment":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/media?parent=4062"}],"wp:term":[{"taxonomy":"blossom_portfolio_categories","embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/blossom_portfolio_categories?post=4062"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
from langchain.vectorstores import FAISS
from langchain.embeddings.base import Embeddings
from langchain.docstore.document import Document
from transformers import pipeline
from google.colab import files <\/p>\n\n\n\n
def init<\/strong>(self, model_name=”sentence-transformers\/all-MiniLM-L6-v2″):
self.model = SentenceTransformer(model_name)<\/p>\n\n\n\ndef embed_documents(self, texts):\n \"\"\"Genereer embeddings voor een lijst met teksten.\"\"\"\n return self.model.encode(texts, show_progress_bar=True)\n\ndef embed_query(self, query):\n \"\"\"Genereer een embedding voor een enkele vraag.\"\"\"\n return self.model.encode([query], show_progress_bar=False)[0]<\/code><\/pre>\n\n\n\n
documents = []<\/p>\n\n\n\n
content = file_content.decode(‘windows-1252’) # Decodeer inhoud
texts = content.split(‘\\n’)
file_documents = [Document(page_content=text.strip(), metadata={“source”: file_name}) for text in texts if text.strip()]
documents.extend(file_documents)<\/p>\n\n\n\n
vectorstore = FAISS.from_texts(document_texts, embeddings_model)<\/p>\n\n\n\n
“””Haal de top k relevante documenten op uit de vectorstore.”””
# Controleer of vectorstore is aangemaakt
if ‘vectorstore’ not in globals():
raise NameError(“Vectorstore is niet gedefinieerd. Zorg ervoor dat je FAISS-vectorstore hebt aangemaakt.”)<\/p>\n\n\n\n# Zoek naar relevante documenten\nresults = vectorstore.similarity_search(vraag, k=k)\nreturn [doc.page_content for doc in results]<\/code><\/pre>\n\n\n\nprompt = (\n f\"Gebruik de onderstaande informatie om de vraag te beantwoorden:\\n\"\n f\"{context}\\n\\n\"\n f\"Vraag: {vraag}\\n\"\n f\"Antwoord (geef alleen het relevante deel van de context):\"\n)\n\n\n#prompt = f\"Gebruik de onderstaande informatie om de vraag te beantwoorden:{context}\\n\\nVraag: {vraag}\\nAntwoord (geef alleen het relevante deel van de context):\"\n\n#prompt = f\"Context: {context}\\n\\nVraag: {vraag}\\nAntwoord:\"\n\nprint(f\"DEBUG Prompt:\\n{prompt}\") # Debugging\nresult = nlp_pipeline(prompt, max_length=200, truncation=True, num_return_sequences=1)\nprint(f\"DEBUG Result:\\n{result}\") # Debugging\nprint(f\"DEBUG Result[0] Generated tekst:\\n{result[0]['generated_text']}\") # Debugging\nreturn result[0]['generated_text']<\/code><\/pre>\n\n\n\n#def filter_context(context, vraag):<\/h1>\n\n\n\n
relevante_documenten = retrieve_documents(vraag)
context = “\\n”.join(relevante_documenten)<\/p>\n\n\n\n
<\/strong># “””Filter de context op basis van trefwoorden in de vraag.”””
# vraag_trefwoorden = [woord.lower() for woord in vraag.split()] # Vraag splitsen in trefwoorden
# relevante_zinnen = []
# for zin in context.split(‘\\n’):
# # Voeg zinnen toe die een overlap hebben met trefwoorden in de vraag
# if any(trefwoord in zin.lower() for trefwoord in vraag_trefwoorden):
# relevante_zinnen.append(zin)
# return “\\n”.join(relevante_zinnen)<\/p>\n\n\n\n
<\/strong>#gefilterde_context = filter_context(context, vraag)
#if not gefilterde_context:
# return “Geen relevante informatie gevonden om deze vraag te beantwoorden.”
#print(f”Gefilterde context:\\n{filter_context(context, vraag)}”)
#antwoord = generate_answer(vraag, gefilterde_context)<\/p>\n\n\n\n
<\/strong>antwoord = generate_answer(vraag, context)<\/p>\n\n\n\nprint(f\"DEBUG Gevonden documenten:\\n{relevante_documenten}\")\nprint(f\"DEBUG antwoord in kba_antwoord:\\n{antwoord}\")\n\nreturn antwoord<\/code><\/pre>\n\n\n\n
antwoord = kba_antwoord(vraag)
print(f”EINDE DEBUG antwoord:\\n{antwoord}”)<\/p>\n\n\n\n