fbpx

När företag frågar hur de ska synas i AI-sök och i svar från språkmodeller är svaret ofta en lista med råd. Få av råden är testade. Det finns en enkel anledning: det är svårt att veta varifrån ett svar kommer. Om en språkmodell säger att en produkt väger 40 kg, har den läst det på er sida, hittat det någon annanstans, eller gissat?

Hur man testar vad en LLM faktiskt ser

Principer för ett test som går att tolka

Ett användbart test av vad en språkmodell kan läsa bygger på några enkla krav:

  1. Ändra en sak i taget. Om två sidor skiljer sig åt på flera sätt går det inte att säga vad som gjorde skillnaden.
  2. Använd uppgifter som inte kan gissas fram. Ett värde som saknar motsvarighet på webben kan bara komma från testsidan.
  3. Mät före och efter. En nollmätning visar vad systemet svarar innan sidan hunnit läsas in.
  4. Mät flera gånger. Svar från språkmodeller varierar mellan körningar och över tid, så en enstaka fråga säger lite.
  5. Skilj på verktygen. Googles AI-översikt, AI Mode och språkmodeller med webbsökning hämtar och tolkar information på olika sätt. Ett resultat för ett verktyg gäller inte automatiskt för de andra.
  6. Logga allt. Datum, fråga, verktyg och svar, så att resultatet går att granska i efterhand.

Vårt test

Vi har byggt en liten testsajt med påhittade produktblad för lyftbockar. Sajten har inget kommersiellt syfte och produkterna finns inte. Varje produktblad har en uppgift, en vikt, som levereras på ett eget sätt:

  • På AVRM-A står vikten som vanlig text i sidans HTML.
  • På AVRM-B hämtas vikten av ett skript efter att sidan laddats. Utan JavaScript syns den inte.
  • På AVRM-C ligger vikten som strukturerad data (JSON-LD) i sidans huvud.
  • På AVRM-D ligger den strukturerade datan i sidans kropp.

Frågan är enkel: kan Google och språkmodellerna svara på “Vad väger AVRM-A, B, C och D?”, och vilken leveransmetod krävs för att de ska kunna det?

Det är relevant för alla som säljer produkter online. I många webbshoppar laddas pris, lagersaldo och specifikationer in med JavaScript, och om ett sådant värde är osynligt för en sökmotor eller språkmodell syns det inte heller i dess svar.

Det vi mäter

  • Om Google indexerat sidorna, och när.
  • Vad den renderade versionen av varje sida innehåller.
  • Vad AI-översikt, AI Mode och språkmodeller med webbsökning svarar på samma frågor, vid flera tillfällen.

Begränsningar

Testet är litet och säger inget om hur en stor webbshop beter sig. Varianterna skiljer sig dessutom inte helt rent åt: på A står vikten i texten tillsammans med produktnamnet, medan C och D binder värdet till produkten på annat sätt. Resultaten ska därför läsas som indikationer, inte som bevis. Sajten är dessutom ny och har få inkommande länkar, vilket kan påverka hur snabbt Google läser den.

Är du också redo att ta ditt B2B-företag till nästa nivå?

Kontakta Daniel så berättar han mer om vad vi kan göra för dig.

Telefon: 070 – 144 16 93
E-post: daniel@adgrowth.se