Fra overvågning til AI-artikler
- Nils Mulvad
- Publiceret 20. november 2024
KM24 overvåger over i dag 37 forskellige typer kilder. Hver kilde har sit modul. For eksempel fødevaresmiley, hvor man kan sætte systemet op til at få besked, når virksomheder i en bestemt branche og kommune får påbud. Et sådant hit kan man sende gennem en sprogmodel med en prompt og få forslag til en journalistisk artikel skræddersyet til ens medie med forslag til rubrikker, underrubrikker, faktaboks, forslag til interviewpersoner, og hvad man nu ellers ønsker.
Man kan sætte prompten til at rette særlige sproglige fejl, undgå floskler og lignende.
De store udfordringer journalistisk er:
Lad os se på det i praksis - skridt for skridt. I dag får jeg hit på smileyrapporter, som bliver sendt som en mail.
Det sker, fordi jeg har sat min overvågning til at give hit på lige og sur mund i alle kommuner:
Desuden har jeg under notifikationer sat mine url’s til at være eksplicitte, så hittet kan kopieres direkte ind i en prompt:
Mit hit på en sur mund inden for Fødevaresmiley ser for eksempel sådan ud:
I hittet kan man se, at vi allerede benytter AI til at danne en opsummering af kontrolrapporten. En sådan rapport er ofte cirka halvanden side pdf, hvor de afgørende kritikpunkter står på flere forskellige og ustrukturerede måder, ofte med stavefejl, så det er svært at lave en fornuftig sammenfatning af årsagen til smiley-niveau, med mindre man bruger AI.
Hos os foregår det automatisk i processen med at hente data. Princippet er dog det helt samme, som hvis man manuelt sender prompts ind.
Min prompt lyder:
Du er en journalist, der skal skrive en opsummering af en kontrolrapport og altid holde dig til, hvad der står i teksten.
Brug ikke din egen forforståelse eller viden om emnet.
Nedenfor kommer kontrolrapporten, som Fødevarestyrelsen har skrevet.
Den omhandler en virksomhed, der har overtrådt reglerne.
Opsummer, hvorfor Fødevarestyrelsen udtaler kritik - og hvad virksomheden har gjort forkert.
Hvis der er udstedt et bødeforlæg, medtag venligst bødens størrelse.
Medtag ALDRIG bødeforlæg hvis det ikke fremgår af teksten.
Hvis Fødevarestyrelsen har kontrolleret et forhold uden anmærkninger, skal forholdet ikke indgå i opsummeringen.
En opsummering skal være på dansk. Den skal være kortere end 30 ord.
Den skal altid bruge de samme kritiske bemærkninger som rapporten selv anvender, så opsummeringen er tekstnær.
Nils MulvadDet er den prompt, der i dette tilfælde har returneret denne korte opsummering:
Virksomheden har haft fødevarer uden opsyn ved en temperatur på op til 21,7 grader, hvilket er kritisk for fødevaresikkerheden. Bødeforelæg fremsendt, 5.000 kr.
ChatGPT 4.0Lad os prøve at forvandle det til en artikel, hvor jeg i prompten medtager en del retningslinjer til ChatGPT. Betragt AI som en meget dygtig sproglig assistent, som gør nøjagtig, som du siger. Hvis du ikke siger noget, prøver den at gøre tingene, som den tror (er kodet til), du ønsker. Derfor denne meget lange prompt:
Du er journalist på et seriøst regionalt dansk medie, der ikke skærper konklusioner, og som anvender et letforståeligt og dagligdags sprog uden floskler og klicheer og uden sproglig afsmitning fra myndigheders tekster. Samtidig skal du altid holde dig til, hvad der står i teksten.
Du skal skrive en journalistisk artikel på 200 ord på basis af et hit på en negativ fødevaresmiley, hvor du henter kontrolrapporten på basis af linket.
Kom med fem forslag til rubrikker på 8-12 ord og en underrubrik af samme længde. Kom med forslag til interviewpersoner og en faktaboks med de afgørende oplysninger.
Kom med fem forslag til rubrikker og to forslag til indledninger.
Brug ikke din egen forforståelse eller viden om emnet.
Opsummer, hvorfor Fødevarestyrelsen udtaler kritik - og hvad virksomheden har gjort forkert.
Hvis der er udstedt et bødeforlæg, medtag venligst bødens størrelse.
Medtag ALDRIG bødeforlæg, hvis det ikke fremgår af teksten.
Hvis Fødevarestyrelsen har kontrolleret et forhold uden anmærkninger, skal forholdet ikke indgå i opsummeringen.
Skriv også selve artiklen, der skal være på dansk.
Hvis rapporten bruger ordene Bødeforelæg eller bødeforelæg, så skriv det altid som Bødeforlæg eller bødeforlæg.
Til slut kom med forslag til interviewpersoner og relevante spørgsmål.
Kom også med forslag til, hvad kunderne skal være opmærksomme på.
Her kommer hittet med link kontrolrapporten, som Fødevarestyrelsen har skrevet:
Resultatet i Poe-assistent bliver dette:
Fødevarer opbevaret uden opsyn ved farlig temperatur, viser kontrolrapport.
Sølystskolen, Mælkebøtten i Egå, har fået en sur mund i smilysystemet efter en kontrol den 7. oktober 2024. Fødevarestyrelsen har konstateret alvorlige mangler i håndteringen af fødevarer.
Årsager til vurdering: Virksomheden har haft fødevarer uden opsyn ved en temperatur på op til 21,7 grader, hvilket er kritisk for fødevaresikkerheden. Bødeforlæg er fremsendt på 5.000 kr.
Kontrolrapporten viser, at manglende opsyn kan føre til sundhedsrisici for forbrugerne. Det er derfor vigtigt, at der tages skridt til at forbedre procedurerne for fødevaresikkerhed.
Kunderne bør være opmærksomme på, at fødevarer på Sølystskolen ikke altid opbevares korrekt, og det anbefales at følge med i kontrolrapporter for at sikre kvaliteten.
Lad os se på resultatet. Det er på mange måder et hurtigt og godt output. Men prompten bør yderligere forfines. Jeg falder over disse problemer:
Rubrikker kunne være bedre. Vi skal have luget ud i et sammensat ord som fødevaresikkerhedsfejl. Kernen i historien er, at skolen har opbevaret fødevarer ved stuetemperatur og har fået en bøde på 5.000 kroner for det. Det kommer ikke tydeligt nok frem. Måske skal vi skrue lidt op for det tabloide.
Interviewpersoner er OK, men den foreslår ikke nogle af eleverne eller forældrene. Den opfinder Egå Kommune, som ikke findes.
Den skriver “smilysystemet”, som er stavet forkert og et dårligt ord. Den har et indholdstomt afsnit med klicheer:
“Kontrolrapporten viser, at manglende opsyn kan føre til sundhedsrisici for forbrugerne. Det er derfor vigtigt, at der tages skridt til at forbedre procedurerne for fødevaresikkerhed.“
E justeret prompt kunne derfor se sådan ud:
Du er journalist på et regionalt dansk medie, der ikke skærper konklusioner, og som anvender et friskt, klart, letforståeligt og dagligdags sprog uden floskler og klicheer og uden sproglig afsmitning fra myndigheders tekster. Vi bruger helst ikke sammensatte ord, men bryder dem op og skriver i et aktivt sprog, med kun sjælden brug af passiv-form. Brug ikke din egen forforståelse eller viden om emnet, men kun til de faktiske oplysninger i kontrolrapporten.
Du skal skrive en journalistisk artikel på 200 ord på basis af et hit på en negativ fødevaresmiley, hvor du henter kontrolrapporten på basis af linket..
Kom med fem forslag til rubrikker på 8-12 ord og fem underrubrikker af samme længde samt to forslag til indledninger. Kom også med forslag til selve artiklen på 200 ord. Kom med forslag til interviewpersoner og en faktaboks med de afgørende oplysninger. Vi lægger vægt på altid at høre de personer, som en given historie går ud over eller har konsekvenser for.
Opsummer, hvorfor Fødevarestyrelsen udtaler kritik - og hvad virksomheden har gjort forkert.
Hvis der er udstedt et bødeforlæg, medtag venligst bødens størrelse.
Medtag ALDRIG bødeforlæg, hvis det ikke fremgår af teksten.
Hvis Fødevarestyrelsen har kontrolleret et forhold uden anmærkninger, skal forholdet ikke indgå i opsummeringen.
Hvis rapporten bruger ordene Bødeforelæg eller bødeforelæg, så skriv det altid som Bødeforlæg eller bødeforlæg.
Til slut kom med forslag til interviewpersoner og relevante spørgsmål.
Kom også med forslag til, hvad kunderne skal være opmærksomme på.
Her kommer hittet med link til kontrolrapporten, som Fødevarestyrelsen har skrevet:
Normalt vil man heller ikke bruge krudt på at rette stavefejl i prompten, men blot rette det regelbaseret bagefter (ala final_result = llm_result.replace('bødeforlæg', 'bødeforelæg').replace('Bødeforlæg', 'Bødeforelæg')
Nils MulvadDenne gang kører den gennem AI-modellen Mistral-Large-2 med dette resultat:
Rubrikker
Sølystskolen, Mælkebøtten, i Egå har modtaget kritik fra Fødevarestyrelsen efter en kontrol den 7. oktober 2024. Rapporten viser, at skolen har haft fødevarer uden opsyn ved en temperatur på op til 21,7 grader. Dette udgør en risiko for fødevaresikkerheden.
Årsager til vurdering: Virksomheden har ikke overholdt reglerne for opbevaring af fødevarer, hvilket kan føre til sundhedsproblemer for dem, der spiser maden. Fødevarestyrelsen har sendt et bødeforlæg på 5.000 kr. til skolen som følge af disse overtrædelser.
Det er afgørende, at Sølystskolen straks forbedrer sine rutiner for at sikre, at fødevarer opbevares korrekt. Forbrugere bør være opmærksomme på, at ikke alle køkkener følger de nødvendige sikkerhedsforanstaltninger.
Forbrugere bør følge med i kontrolrapporter og være opmærksomme på, hvordan fødevarer opbevares. Det er vigtigt at sikre, at de steder, de køber mad fra, overholder sikkerhedsstandarder.
Konklusion
Det er blevet bedre. Prompten bør dog yderligere udbygges, for eksempel bør den lære AI-assistenten, at der ikke er noget, der hedder “smilysystemet”. Og den kan ikke finde ud af, at vi skal tale med elever og forældre.
Når man så har fået tunet prompten yderligere og fundet den rette AI-tjeneste, bør man tage en test på 20 smiley og de artikler, der kommer ud af det, måske forfine mere og ellers være klar over svaghederne i den videre bearbejdning.
Måske skal man også sætte nogle kriterier ind, der stopper for artikler, der ikke er relevante - eller måske rater dem lavere.
Når man så synes, at alt er godt, kan det sættes i produktion, men her stopper det ikke. Man skal følge resultatet. Får vi fejl, blinde pletter og sproglig slaphed. Eller ændrer Fødevarestyrelsen i rapporterne, så vi også skal ændre i prompten. Overser vi historier - eller får vi for meget ligegyldigt ind i det redaktionelle system. Der er nok at lave for dygtige journalistiske indholds- og sprogrøgtere.
Man bør også tjekke, at alle påstande i artiklen er faktuelt korrekte. På trods af "brug ikke din forforståelse" og lign. i prompten kan det stadig ske, at modellerne hallucinerer.
Lad mig komme med et par andre eksempler på prompts på basis af hits.
Overvågning af kommunale referater
Her har jeg sat overvågning på ordet lukning i både dagsordener og referater fra udvalg inden for skole eller børn eller ungdom eller familie, fordi jeg jagter første pip om eventuelle skolelukninger. Jeg har så fået et hit fra Thisted kommune, hvor jeg kører det gennem AI med denne prompt:
Du er journalist på et regionalt medie og skal skrive en journalistisk artikel på 200 ord på basis af et referat fra et udvalg i en kommune. Brug ikke din forforståelse eller andre kilder til artiklen. Kom med fem forslag til rubrikker på 8-12 ord og fem underrubrikker af samme længde. Du er på et seriøst medie, der ikke skærper konklusioner. Vi anvender et letforståeligt og dagligdags sprog uden floskler, klicheer og uden sproglig afsmitning fra myndigheders tekster. Vi undgår så vidt muligt sammensatte ord.
Kom med forslag til interviewpersoner og en faktaboks med de afgørende oplysninger.
Referatet er fra
Thisted Kommune - Børne- og Familieudvalget - Referat 2024-11-12
Dette har givet anledning til hit i vores overvågningssystem:
Thisted Kommune - Børne- og Familieudvalget - Referat 2024-11-12
URL: https://dagsordener.thisted.dk/vis?id=2986ac2b-9231-41b0-bd65-990b9f82dd41
Lokation: Asylgade 22, Mødelokale 1
Mødedato: 12. november 2024 13:00
Hentet: 13. november 2024 13:35
Søgeords-hit: ~lukning — under Udmøntning af budget 2025 - Tilpasning af antal daginstitutioner og Udmøntning af budget 2025 - Børne og Familieudvalget
Uddrag: Lukning af Vesløs afdelingen på Hannæs-Østerild skole, hvilket betyder, at der kan findes en besparelse på 2,1 mio. kr.
Hitårsager: Match på kommune, søgeord og udvalg.
Nils MulvadI sprogmodellen Gemini-1.5-Pro-128K bliver resultatet:
Børne- og Familieudvalget i Thisted Kommune har foreslået at lukke Vesløs afdeling på Hannæs-Østerild skole. Lukningen er en del af kommunens budget for 2025. Målet er at spare 2,1 millioner kroner.
Udvalget behandlede sagen på et møde den 12. november 2024. Beslutningen er en del af en større plan om at tilpasse antallet af daginstitutioner i kommunen.
Lukningen af skoleafdelingen i Vesløs vil betyde ændringer for elever og ansatte. Det er endnu ikke klart, hvordan kommunen vil håndtere disse ændringer.
Forslaget skal nu behandles i Økonomiudvalget og endeligt i Thisted Byråd. Først derefter er lukningen endelig besluttet. Det forventes, at sagen vil skabe debat i lokalsamfundet.
Fakta om mulig skolelukning i Vesløs:
Et afsnit som “Lukningen af skoleafdelingen i Vesløs vil betyde ændringer for elever og ansatte. Det er endnu ikke klart, hvordan kommunen vil håndtere disse ændringer” er fyld og vi skal lave prompts, der minimerer den slags.
Virksomhedsregnskaber
Vi overvåger også virksomhedsregnskaber for såkaldte risiko ord, som for eksempel anket, hacket, retssag og lignende, der beskriver uheldige forhold i virksomheden. Især er tvivl om going concern alvorligt.. Disse hits viser vi også i vores virksomhedsrapporter med links til regnskabet i pdf-format. De forskellige AI-modeller har besvær med at trække indholdet fra pdf-rapporten ud, men man kan alligevel bruge AI til at se, om der er mulighed i en historie om sagen. ChatGPT kan ikke læse årsrapporten via url'en, så man er nødt til selv at hente det og eksperimentere med at sende det til ChatGPT.
Vi overvåger risikoord i regnskaber og har fået dette hit hvor selskabets navn og cvr-nummer fremgår, link til årsrapporten og et uddrag af teksten fra årsrapporten, hvoraf det kritiske ord fremgår. I dette tilfælde er det “tvist”.
Hent årsrapporten fra linket, læs den hele og skriv en titel og en opsummering på højest 100 ord om sagen. Inkluder omtalte beløb og navnet på virksomheden.
ARES Aulum A/S 18458144
23-11-2018 - Årsrapport https://datacvr.virk.dk/...
Resultatet er derudover negativt påvirket af et enkelt større projekt, der grundet eksterne omstændigheder ikke er forløbet som planlagt. Ledelsen har afsat de nødvendige omkostninger til færdiggørelse af projektet efter ledelsens bedste skøn. Selskabet forventer på baggrund af salget af aktiviteten et begrænset resultat for det kommende år. Særlige risici - driftsrisici og finansielle risici Selskabet har et igangværende arbejde, hvor det, som følge af tvist om underleverandørers mangeludbedring, kan være vanskeligt at skønne over det igangværende arbejdes resultat. Der er foretaget det efter ledelsens bedste skøn, om end det endelige resultat er forbundet med usikkerhed... (... indhold udeladt, red., ...) Selskabet har et igangværende arbejde, hvor det, som følge af tvist om underleverandørers mangeludbedring, kan være vanskeligt at skønne over det igangværende arbejdes resultat. Der er foretaget det efter ledelsens bedste skøn, om end det endelige resultat er forbundet med usikkerhed... Koncernens selskaber hæfter endvidere solidarisk for danske kildeskatter i form af udbytteskat, royaltyskat og renteskat. Eventuelle senere korrektioner til selskabsskatter og kildeskatter kan medføre at selskabets hæftelse udgør et større beløb. I det omfang selskabet inddrages i retssager og/eller voldgiftssager er der, efter ledelsens skøn og i nødvendigt omfang, hensat hertil i regnskabet. Heraf overfor tilknyttede virksomheder Leje- og leasingforpligtelser 0 14.749.582..
Nils MulvadARES Aulum A/S i tvist: Usikkerhed om fremtidige resultater
ARES Aulum A/S (CVR-nummer 18458144) står over for en usikker fremtid på grund af et tvist vedrørende underleverandørers mangeludbedring. Ifølge årsrapporten fra 23. november 2018 kan dette påvirke virksomhedens evne til at estimere resultatet af et igangværende projekt. Virksomheden har afsat omkostninger til færdiggørelsen af det berørte projekt, men den endelige økonomiske påvirkning er stadig usikker. Desuden nævnes, at koncernen hæfter solidarisk for danske kildeskatter, hvilket kan øge selskabets fremtidige forpligtelser.
ChatGPT 4.0Når vi har justeret en prompt en del gange og er tilfredse med resultatet umiddelbart, så sætter vi den i test-produktion, hvor vi gennemgår alle resultater manuelt. Er vi ikke tilfredse, kører vi en ny runde med at justere prompts.
Når vi er tilfredse ryger den i produktion. Vi skriver dog et forbehold om, at teksten er genereret af AI og at man altid skal tjekke resultatet.