Ulepsz System Prompt chatbota na podstawie raportu weryfikacyjnego.

Input:

•Raport błędów od Judge-Dredd
•Oryginalny System Prompt chatbota (opcjonalnie)

Steps

•

Przeanalizuj raport błędów

Zidentyfikuj typy błędów:

Typ błędu	Przyczyna w prompcie	Rozwiązanie
Halucynacja	Brak instrukcji "nie wiem"	Dodaj guardrails
Błąd merytoryczny	Za mało kontekstu RAG	Wzmocnij grounding
Zły ton	Nieodpowiednia persona	Popraw ton/styl
Ignorowanie reguł	Słabe constraints	Wzmocnij ograniczenia

•

Wyekstrahuj wzorce błędów

python

# Przykład analizy
errors = [
    {"type": "halucynacja", "details": "Zmyślone godziny otwarcia"},
    {"type": "błąd", "details": "Nieprawidłowa cena usługi"},
]

patterns = {
    "halucynacja": 2,
    "błąd_merytoryczny": 3,
    "zły_ton": 0
}

•

Zastosuj techniki naprawcze

Few-Shot Prompting

Dodaj przykłady poprawnego zachowania:

code

Przykłady odpowiedzi:

User: Ile kosztuje wydanie paszportu?
Assistant: Opłata za wydanie paszportu wynosi 140 zł dla osoby 
dorosłej. Źródło: cennik usług paszportowych.

User: Kiedy jest otwarty urząd?
Assistant: Przepraszam, nie mam informacji o godzinach otwarcia 
tego konkretnego urzędu. Proszę sprawdzić na stronie urzędu.

Negative Constraints

Dodaj wyraźne zakazy:

code

ZAKAZY:
- NIE wymyślaj informacji, których nie ma w kontekście
- NIE podawaj kwot/cen bez źródła
- NIE obiecuj terminów realizacji
- NIE dawaj porad prawnych ani finansowych

Context Grounding

Wzmocnij opieranie się na RAG:

code

Odpowiadaj WYŁĄCZNIE na podstawie dostarczonego kontekstu.
Jeśli kontekst nie zawiera odpowiedzi, powiedz szczerze:
"Nie posiadam tej informacji w mojej bazie wiedzy."

Chain of Thought

Dla złożonych pytań:

code

Przed odpowiedzią przemyśl krok po kroku:
1. Czy pytanie dotyczy informacji w mojej bazie?
2. Jakie fragmenty kontekstu są relevantne?
3. Czy mogę udzielić pełnej odpowiedzi?
4. Czy muszę czegoś dopytać?

•

Wygeneruj ulepszony prompt

Struktura ulepszonego promptu:

markdown

# System Prompt v2.0

## Rola
[Zaktualizowany opis roli]

## Tone of Voice
[Poprawiony ton komunikacji]

## Guardrails
[Nowe ograniczenia zapobiegające błędom]

## Przykłady
[Few-shot examples]

## Zakazy
[Negative constraints]

## Format Odpowiedzi
[Struktura odpowiedzi]

•

Porównaj wersje

diff

- Jesteś pomocnym asystentem.
+ Jesteś pomocnym asystentem miejskim, który odpowiada 
+ WYŁĄCZNIE na podstawie dostarczonego kontekstu.

+ ## Guardrails
+ - Jeśli nie znasz odpowiedzi, powiedz "Nie wiem"
+ - Zawsze podawaj źródło informacji
+ - Nie wymyślaj danych liczbowych

•
Zapisz wynik

Zapisz do:
- •truthseeker/prompts/improved/<chatbot-name>-v2.md
Dołącz:
- •Analizę przyczyn błędów
- •Uzasadnienie zmian
- •Instrukcję wdrożenia

Output Zwróć:

•Analiza przyczyn błędów
•Ulepszony System Prompt (gotowy do użycia)
•Uzasadnienie kluczowych zmian
•Sugerowane metryki do monitorowania