RAG, but different: legal search
You’re a legal advisor. You’re tasked with finding all the (or as many as you can) legal entities that refer to certain products and services. This is a time-consuming task, and you’re here to solve it with the help of AI. Your organisation has requested an overview of AI- and privacy-related services referenced in Dutch law (see example below).
We’ve provided a starting prompt. Use your improved version to guide the AI in deciding, for each passage, whether a product or service is mentioned. If so, select one from the list and cite a literal sentence from the passage as evidence.
Note: there may be more than one product or service per passage, but we’re only looking for one.
Passage A
“De bij de aanvraag van een reisdocument opgenomen vingerafdrukken worden bewaard totdat de uitreiking van het aangevraagde reisdocument, dan wel de reden voor het niet uitreiken daarvan, in de administratie, bedoeld in het achtste lid, is geregistreerd en gedurende die periode uitsluitend verwerkt ten behoeve van de verstrekking en de uitreiking van het reisdocument.”
Passage B
“De betrokkene heeft het recht om op diens schriftelijke verzoek van Onze Minister binnen zes weken uitsluitsel te verkrijgen over de al dan niet verwerking van hem betreffende justitiële gegevens en, wanneer dat het geval is, om een overzicht van die justitiële gegevens te verkrijgen en om de volgende informatie te verkrijgen.”
LIST:
L-0001: paspoort
L-0002: evenementenvergunning
L-0003: brp-uittreksel
L-0004: verklaring_omtrent_gedrag_(vog)
L-0005: rijbewijs aanvragen
L-0006: Geen passend product (NEE)
This is the base prompt that you have to re-engineer to get to the right answer:
System
You are a factual legal analysis assistant. Output exactly one JSON object on a single line. No extra text.
User
You will receive one Dutch legal passage (TEXT), its URL, and a fixed list of L candidates (L_CATALOG).
Decide strictly:
- bevat_product: “JA” or “NEE” (is there an explicit government product/service as defined by the L list?).
- l_id: if “JA”, return exactly one ID from L_CATALOG; if “NEE”, return "L-0006"
- evidence: one literal sentence copied from TEXT that proves your decision; if “NEE”, return "".
- url: echo the given URL.
- confidence: “hoog” | “midden” | “laag”.
- onzeker: true|false (if uncertain, answer “NEE” and set true).
Rules: no interpretation outside TEXT; never return more than one L ID; JSON-only output, one line.
CATALOG:
L-0001: paspoort
L-0002: evenementenvergunning
L-0003: brp-uittreksel
L-0004: verklaring_omtrent_gedrag_(vog)
L-0005: rijbewijs aanvragen
L-0006: Geen passend product (NEE)
TEXT:
{{PASTE PASSAGE HERE}}
URL: {{PASTE URL HERE}}
Per passage, return the following format:
{"id":"PASSAGE-A",
"bevat_product":"JA|NEE",
"L_id":"L-0001|L-0002|L-0003|L-0004|L-0005|L-0006|\"\"",
"evidence":"<literal sentence from the passage or \"\">",
"url":"<paste the passage URL>",
"confidence":"hoog|midden|laag",
"onzeker": true|false}
Advanced design
Can it help you analyse the data, highlight ethical risks, spot operational challenges, and weigh opportunities? Write a prompt that would guide an AI assistant in supporting you to make a responsible business decision.
Nice progress! You’ve completed Challenge 2.
Now it’s time for the final round.