{"id":3871,"date":"2024-12-16T14:31:05","date_gmt":"2024-12-16T14:31:05","guid":{"rendered":"https:\/\/yininit.nl\/?p=3871"},"modified":"2024-12-16T21:17:47","modified_gmt":"2024-12-16T21:17:47","slug":"kba-versie1","status":"publish","type":"post","link":"https:\/\/yininit.nl\/index.php\/2024\/12\/16\/kba-versie1\/","title":{"rendered":"KBA-versie1"},"content":{"rendered":"\n

Samenvatting<\/strong><\/p>\n\n\n\n

Functionaliteit<\/strong><\/th>Locatie in code<\/strong><\/th>Waarom belangrijk?<\/strong><\/th><\/tr><\/thead>
Embeddingsfunctionaliteit<\/strong><\/td>– SentenceTransformerWrapper<\/code>
– FAISS.from_texts<\/code>
– retrieve_documents<\/code><\/td>		Zorgt voor semantische matching tussen vragen en documenten.<\/td><\/tr>
NLP-functionaliteit<\/strong><\/td>– pipeline(\"text2text-generation\")<\/code>
– generate_answer<\/code><\/td>		Zorgt voor geformuleerde antwoorden in natuurlijke taal, gebaseerd op de context.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

<\/p>\n\n\n\n

#Deze code combineert document retrieval via een FAISS-vectorstore<\/h1>\n\n\n\n

en antwoordgeneratie via Flan-T5.<\/h1>\n\n\n\n

#Stap 1: Importeer vereiste bibliotheken<\/h1>\n\n\n\n

!pip install -U langchain sentence-transformers faiss-cpu langchain-community<\/p>\n\n\n\n

from sentence_transformers import SentenceTransformer
from langchain.vectorstores import FAISS
from langchain.embeddings.base import Embeddings
from langchain.docstore.document import Document
from transformers import pipeline
from google.colab import files<\/p>\n\n\n\n

#2. Definieer een Wrapper voor SentenceTransformer<\/h1>\n\n\n\n

class SentenceTransformerWrapper(Embeddings):
def init<\/strong>(self, model_name=”sentence-transformers\/all-MiniLM-L6-v2″):
self.model = SentenceTransformer(model_name)<\/p>\n\n\n\n

def embed_documents(self, texts):\n    \"\"\"Genereer embeddings voor een lijst met teksten.\"\"\"\n    return self.model.encode(texts, show_progress_bar=True)\n\ndef embed_query(self, query):\n    \"\"\"Genereer een embedding voor een enkele vraag.\"\"\"\n    return self.model.encode([query], show_progress_bar=False)[0]<\/code><\/pre>\n\n\n\n
#Initialiseer het embeddingsmodel via de wrapper<\/h1>\n\n\n\n
embeddings_model = SentenceTransformerWrapper()<\/p>\n\n\n\n
3. Initialiseer Flan-T5 model pipeline<\/h1>\n\n\n\n
#nlp_pipeline = pipeline(“text2text-generation”, model=”google\/flan-t5-base”)<\/h1>\n\n\n\n
#Gebruik BLOOMZ als krachtiger model<\/h1>\n\n\n\n
nlp_pipeline = pipeline(“text-generation”, model=”bigscience\/bloomz-1b7″)<\/p>\n\n\n\n
#4. Upload documenten<\/h1>\n\n\n\n
uploaded = files.upload()
documents = []<\/p>\n\n\n\n
for file_name, file_content in uploaded.items():
content = file_content.decode(‘windows-1252’) # Decodeer inhoud
texts = content.split(‘\\n’)
file_documents = [Document(page_content=text.strip(), metadata={“source”: file_name}) for text in texts if text.strip()]
documents.extend(file_documents)<\/p>\n\n\n\n
print(f”Aantal documenten: {len(documents)}”)<\/p>\n\n\n\n
#5. Maak de FAISS-vectorstore<\/h1>\n\n\n\n
document_texts = [doc.page_content for doc in documents]
vectorstore = FAISS.from_texts(document_texts, embeddings_model)<\/p>\n\n\n\n
#6. Functie voor ophalen van relevante documenten<\/h1>\n\n\n\n
#def retrieve_documents(vraag, k=3):<\/h1>\n\n\n\n
#results = vectorstore.similarity_search(vraag, k=k)<\/h1>\n\n\n\n
#return [result.page_content for result in results]<\/h1>\n\n\n\n
def retrieve_documents(vraag, k=3):
“””Haal de top k relevante documenten op uit de vectorstore.”””
# Controleer of vectorstore is aangemaakt
if ‘vectorstore’ not in globals():
raise NameError(“Vectorstore is niet gedefinieerd. Zorg ervoor dat je FAISS-vectorstore hebt aangemaakt.”)<\/p>\n\n\n\n
# Zoek naar relevante documenten\nresults = vectorstore.similarity_search(vraag, k=k)\nreturn [doc.page_content for doc in results]<\/code><\/pre>\n\n\n\n
#7. Functie voor antwoord genereren met BLOOMZ<\/h1>\n\n\n\n
#NEW<\/h1>\n\n\n\n
#def generate_answer(vraag, context):<\/h1>\n\n\n\n
#prompt = (<\/h1>\n\n\n\n
#f”Gebruik alleen de relevante informatie uit onderstaande tekst om de vraag te beantwoorden:\\n”<\/h1>\n\n\n\n
#f”{context}\\n\\n”<\/h1>\n\n\n\n
#f”Vraag: {vraag}\\n”<\/h1>\n\n\n\n
#f”Antwoord (alleen waar lunchpauze in voorkomt):”<\/h1>\n\n\n\n
)<\/h1>\n\n\n\n
print(f”DEBUG CONTEXTTTTTT:\\n{context}”)<\/h1>\n\n\n\n
#ORG<\/h1>\n\n\n\n
def generate_answer(vraag, context):<\/p>\n\n\n\n
prompt = (\n    f\"Gebruik de onderstaande informatie om de vraag te beantwoorden:\\n\"\n    f\"{context}\\n\\n\"\n    f\"Vraag: {vraag}\\n\"\n    f\"Antwoord (geef alleen het relevante deel van de context):\"\n)\n\n\n#prompt = f\"Gebruik de onderstaande informatie om de vraag te beantwoorden:{context}\\n\\nVraag: {vraag}\\nAntwoord (geef alleen het relevante deel van de context):\"\n\n#prompt = f\"Context: {context}\\n\\nVraag: {vraag}\\nAntwoord:\"\n\nprint(f\"DEBUG Prompt:\\n{prompt}\")  # Debugging\nresult = nlp_pipeline(prompt, max_length=200, truncation=True, num_return_sequences=1)\nprint(f\"DEBUG Result:\\n{result}\")  # Debugging\nprint(f\"DEBUG Result[0] Generated tekst:\\n{result[0]['generated_text']}\")  # Debugging\nreturn result[0]['generated_text']<\/code><\/pre>\n\n\n\n
#OPTIE 1 Filter de context!! Hoort bij: 8. #Hoofdfunctie: Vraag en antwoord<\/h1>\n\n\n\n
#def filter_context(context, vraag):<\/h1>\n\n\n\n
# “””Filter de context op basis van trefwoorden in de vraag.”””
# vraag_trefwoorden = [woord.lower() for woord in vraag.split()] # Vraag splitsen in trefwoorden
# relevante_zinnen = []
# for zin in context.split(‘\\n’):
# # Voeg zinnen toe die een overlap hebben met trefwoorden in de vraag
# if any(trefwoord in zin.lower() for trefwoord in vraag_trefwoorden):
# relevante_zinnen.append(zin)
# return “\\n”.join(relevante_zinnen)<\/p>\n\n\n\n
#8. Hoofdfunctie: Vraag en antwoord<\/h1>\n\n\n\n
def kba_antwoord(vraag):
relevante_documenten = retrieve_documents(vraag)
context = “\\n”.join(relevante_documenten)<\/p>\n\n\n\n
# OPTIE 1 Filter de context !!
#gefilterde_context = filter_context(context, vraag)
#if not gefilterde_context:
# return “Geen relevante informatie gevonden om deze vraag te beantwoorden.”
#print(f”Gefilterde context:\\n{filter_context(context, vraag)}”)
#antwoord = generate_answer(vraag, gefilterde_context)<\/p>\n\n\n\n
# OPTIE 2 Origineel
antwoord = generate_answer(vraag, context)<\/p>\n\n\n\n
print(f\"DEBUG Gevonden documenten:\\n{relevante_documenten}\")\nprint(f\"DEBUG antwoord in kba_antwoord:\\n{antwoord}\")\n\nreturn antwoord<\/code><\/pre>\n\n\n\n
#Testvraag<\/h1>\n\n\n\n
#vraag = “Wat moet ik doen met bedrijfsapparatuur?”<\/h1>\n\n\n\n
vraag = “Hoe laat is het lunchpauze?”
antwoord = kba_antwoord(vraag)
print(f”EINDE DEBUG antwoord:\\n{antwoord}”)<\/p>\n\n\n\n
#print(f”Vraag : {vraag}”)<\/h1>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
Samenvatting Functionaliteit Locatie in code Waarom belangrijk? Embeddingsfunctionaliteit – SentenceTransformerWrapper– FAISS.from_texts– retrieve_documents Zorgt voor semantische matching tussen vragen en documenten. NLP-functionaliteit – pipeline(“text2text-generation”)– generate_answer Zorgt voor geformuleerde antwoorden in natuurlijke taal, gebaseerd op de context. #Deze code combineert document retrieval via een FAISS-vectorstore en antwoordgeneratie via Flan-T5. #Stap 1: Importeer vereiste bibliotheken !pip install -U […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-3871","post","type-post","status-publish","format-standard","hentry","category-kba"],"_links":{"self":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/posts\/3871","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/comments?post=3871"}],"version-history":[{"count":3,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/posts\/3871\/revisions"}],"predecessor-version":[{"id":3906,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/posts\/3871\/revisions\/3906"}],"wp:attachment":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/media?parent=3871"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/categories?post=3871"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/tags?post=3871"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}