{"id":4468,"date":"2025-01-05T16:53:35","date_gmt":"2025-01-05T16:53:35","guid":{"rendered":"https:\/\/yininit.nl\/?post_type=blossom-portfolio&p=4468"},"modified":"2025-01-05T16:53:35","modified_gmt":"2025-01-05T16:53:35","slug":"status-ckba-5-jan-2025","status":"publish","type":"blossom-portfolio","link":"https:\/\/yininit.nl\/index.php\/portfolio\/status-ckba-5-jan-2025\/","title":{"rendered":"Status CKBA – 5 jan 2025"},"content":{"rendered":"\n

Overzicht van jouw systeem:<\/strong><\/h3>\n\n\n\n
    \n
  1. Endpoints:<\/strong>\n
      \n
    • \/upload<\/code><\/strong>: Voor het uploaden van documenten en toevoegen van hun inhoud aan de vectorstore.<\/li>\n\n\n\n
    • \/answer<\/code><\/strong>: Voor het beantwoorden van vragen door relevante context op te halen uit de vectorstore en een antwoord te genereren met je model.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
    • Vectorstore:<\/strong>\n
        \n
      • SimpleVectorStore<\/code><\/strong>:\n
          \n
        • Gebruikt voor het opslaan en ophalen van documenten op basis van semantische overeenkomsten.<\/li>\n\n\n\n
        • Toevoegen<\/strong>: Teksten worden toegevoegd via \/upload<\/code>.<\/li>\n\n\n\n
        • Zoeken<\/strong>: Relevante teksten worden opgehaald via \/answer<\/code>.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n
        • NLP-model:<\/strong>\n
            \n
          • De generate_answer<\/code><\/strong>-functie in generation.py<\/code><\/strong>:\n
              \n
            • Combineert de opgehaalde context met de vraag.<\/li>\n\n\n\n
            • Gebruikt een model zoals BLOOMZ<\/strong> om een antwoord te genereren.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n
            • FastAPI-webservice:<\/strong>\n
                \n
              • Beheert de communicatie tussen de frontend (zoals je WordPress-plugin) en de backend.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
              • Dummy dataset:<\/strong>\n
                  \n
                • Je hebt een eenvoudige dataset toegevoegd aan de vectorstore om te testen.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
                • Integratie met een frontend (plugin):<\/strong>\n
                    \n
                  • Je hebt een WordPress-plugin<\/strong> gebouwd om \/upload<\/code> en \/answer<\/code> te gebruiken via shortcodes, wat de gebruikerservaring vereenvoudigt.<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n
                    \n\n\n\n

                    Wat werkt goed in je systeem:<\/strong><\/h3>\n\n\n\n
                      \n
                    1. Upload functionaliteit (\/upload<\/code>)<\/strong>:\n
                        \n
                      • Je kunt documenten uploaden, verwerken en aan de vectorstore toevoegen.<\/li>\n\n\n\n
                      • De teksten worden semantisch doorzoekbaar gemaakt.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
                      • Vraag-antwoord functionaliteit (\/answer<\/code>)<\/strong>:\n
                          \n
                        • Context wordt correct opgehaald uit de vectorstore.<\/li>\n\n\n\n
                        • Antwoorden worden gegenereerd op basis van context en vraag.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
                        • End-to-end werkend RAG-systeem:<\/strong>\n
                            \n
                          • Invoer: Documenten of vragen.<\/li>\n\n\n\n
                          • Verwerking: Vectorstore voor context en model voor generatie.<\/li>\n\n\n\n
                          • Uitvoer: Geformuleerde antwoorden gebaseerd op de data.<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n
                            \n\n\n\n

                            Verbeterpunten en vervolgstappen:<\/strong><\/h3>\n\n\n\n

                            1. Beveiliging en validatie<\/strong><\/h4>\n\n\n\n
                              \n
                            • Bestandsvalidatie bij uploaden<\/strong>:
                              • Controleer of het bestand een tekstbestand is voordat het wordt ge\u00fcpload.<\/li><\/ul>pythonCode kopi\u00ebrenif file.content_type != \"text\/plain\": raise HTTPException(status_code=400, detail=\"Alleen tekstbestanden zijn toegestaan.\")<\/code><\/li>\n<\/ul>\n\n\n\n

                                2. Persistentie van de vectorstore<\/strong><\/h4>\n\n\n\n
                                  \n
                                • Momenteel:<\/strong>\n
                                    \n
                                  • De vectorstore is tijdelijk en verliest alle gegevens bij herstarten.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
                                  • Oplossing:<\/strong>\n
                                      \n
                                    • Gebruik een FAISS-vectorstore<\/strong> of sla de inhoud op in een bestand of database:pythonCode kopi\u00ebrenvectorstore.save_local(\"path\/to\/vectorstore\") vectorstore = FAISS.load_local(\"path\/to\/vectorstore\", embeddings_model)<\/code><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n

                                      3. Prestaties<\/strong><\/h4>\n\n\n\n
                                        \n
                                      • Optimaliseer voor grote datasets<\/strong>:\n
                                          \n
                                        • Voeg batching toe bij het toevoegen van teksten aan de vectorstore.<\/li>\n\n\n\n
                                        • Beperk de lengte van de context (bijvoorbeeld de top 3 resultaten).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n

                                          4. Logging en debugging<\/strong><\/h4>\n\n\n\n
                                            \n
                                          • Voeg meer gedetailleerde logs toe om fouten snel te identificeren:pythonCode kopi\u00ebrenimport logging logging.basicConfig(level=logging.INFO) @app.post(\"\/upload\") async def upload_document(file: UploadFile = File(...)): try: logging.info(f\"Ontvangen bestand: {file.filename}\") ... except Exception as e: logging.error(f\"Fout bij upload: {str(e)}\") raise HTTPException(status_code=500, detail=f\"Fout bij uploaden: {str(e)}\")<\/code><\/li>\n<\/ul>\n\n\n\n

                                            5. Frontend-functionaliteit uitbreiden<\/strong><\/h4>\n\n\n\n
                                              \n
                                            • Huidige situatie<\/strong>:\n
                                                \n
                                              • Je kunt vragen stellen en documenten uploaden via je WordPress-plugin.<\/li>\n<\/ul>\n<\/li>\n\n\n\n
                                              • Uitbreiding<\/strong>:\n
                                                  \n
                                                • Voeg een visuele lijst toe van ge\u00fcploade documenten.<\/li>\n\n\n\n
                                                • Voeg een functionaliteit toe om specifieke documenten te verwijderen of bij te werken.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n
                                                  \n\n\n\n

                                                  Samenvatting<\/strong><\/h3>\n\n\n\n

                                                  Je hebt een werkend end-to-end RAG-systeem, bestaande uit:<\/p>\n\n\n\n

                                                    \n
                                                  1. Uploaden<\/strong>: Via \/upload<\/code> worden documenten toegevoegd aan de vectorstore.<\/li>\n\n\n\n
                                                  2. Vraag-antwoord<\/strong>: Via \/answer<\/code> worden vragen beantwoord met behulp van context en een NLP-model.<\/li>\n\n\n\n
                                                  3. Frontend<\/strong>: Via je WordPress-plugin kun je interactie hebben met de backend.<\/li>\n<\/ol>\n\n\n\n

                                                    Vervolgstappen:<\/p>\n\n\n\n

                                                      \n
                                                    1. Maak je vectorstore persistent.<\/li>\n\n\n\n
                                                    2. Breid beveiliging, prestaties, en foutafhandeling uit.<\/li>\n\n\n\n
                                                    3. Voeg meer functies toe aan je WordPress-frontend.<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"

                                                      Overzicht van jouw systeem: Wat werkt goed in je systeem: Verbeterpunten en vervolgstappen: 1. Beveiliging en validatie 2. Persistentie van de vectorstore 3. Prestaties 4. Logging en debugging 5. Frontend-functionaliteit uitbreiden Samenvatting Je hebt een werkend end-to-end RAG-systeem, bestaande uit: Vervolgstappen:<\/p>\n","protected":false},"author":1,"featured_media":0,"template":"","blossom_portfolio_categories":[30],"class_list":["post-4468","blossom-portfolio","type-blossom-portfolio","status-publish","hentry","blossom_portfolio_categories-ckba"],"_links":{"self":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/blossom-portfolio\/4468","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/blossom-portfolio"}],"about":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/types\/blossom-portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/users\/1"}],"wp:attachment":[{"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/media?parent=4468"}],"wp:term":[{"taxonomy":"blossom_portfolio_categories","embeddable":true,"href":"https:\/\/yininit.nl\/index.php\/wp-json\/wp\/v2\/blossom_portfolio_categories?post=4468"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}