Tekoälybotteja ei kannata estää yhtenä könttänä. Haku, käyttäjän pyynnöstä tehty nouto ja mallien koulutus ovat eri botteja, ja robots.txt on paikka, jossa ne erotetaan. Moni sivusto on estänyt koulutusbotin ja samalla hakubotin, eli luopunut näkyvyydestä yrittäessään suojata sisältöä. llms.txt on vapaaehtoinen lisä, josta on hyötyä vasta kun perusasiat ovat kunnossa.
Mitkä botit ovat olemassa ja mitä ne tekevät?
Kolme isoa toimijaa dokumentoi bottinsa erikseen, ja jokaisella on eri botti eri tarkoitukseen. Tämä on koko luvun tärkein taulukko.
| Botti | Kenen | Tarkoitus | Mitä estäminen vie |
|---|---|---|---|
| Googlebot | Google-haku, myös AI Overviews ja AI Mode | Koko Google-näkyvyyden. | |
| Google-Extended | Gemini-mallien koulutus ja grounding | Ei mitään Google-haussa. Rajaa vain Gemini-käyttöä. | |
| OAI-SearchBot | OpenAI | ChatGPT-haun lähteet ja linkit | Näkyvyyden ChatGPT-haussa. |
| GPTBot | OpenAI | Mallien koulutusaineisto | Ei hakunäkyvyyttä. Rajaa vain koulutuskäyttöä. |
| ChatGPT-User | OpenAI | Käyttäjän pyynnöstä tehty yksittäinen nouto | Ei vaikuta hakuun. Käyttäjän linkki ei aukea ChatGPT:ssä. |
| Claude-SearchBot | Anthropic | Clauden web-haun lähteet | Näkyvyyden Clauden hakuvastauksissa. |
| ClaudeBot | Anthropic | Koulutusaineiston keruu | Ei hakunäkyvyyttä. Rajaa vain koulutuskäyttöä. |
| Claude-User | Anthropic | Käyttäjän pyynnöstä tehty nouto | Ei vaikuta hakuun. |
Kaikki kolme sanovat saman asian: ohjaus tapahtuu robots.txt-tiedostossa, ja botit kunnioittavat sitä. Yksikään ei pyydä uutta tiedostoa.
Kolme päätöstä, jotka robots.txt tekee
Sivustonomistajan ei tarvitse ymmärtää kahdeksaa bottia. Riittää kolme päätöstä, ja taulukko kertoo, mikä rivi hoitaa minkäkin.
- Haluanko näkyä tekoälyhauissa? Lähes aina kyllä. Silloin Googlebot, OAI-SearchBot ja Claude-SearchBot pysyvät sallittuina.
- Saako käyttäjä avata sivuni tekoälyn kautta? Yleensä kyllä. ChatGPT-User ja Claude-User ovat sama asia kuin ihminen, joka klikkaa linkkiä.
- Saako sisältöäni käyttää mallien koulutukseen? Tämä on aito liiketoimintapäätös, ja se tehdään GPTBot-, ClaudeBot- ja Google-Extended-riveillä. Kumpi tahansa vastaus on oikein, kunhan se ei vahingossa vie päätöstä 1.
Jos vastaus kolmanteen on ei, robots.txt näyttää tältä. Haku pysyy auki, koulutus ei.
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.esimerkki.fi/sitemap.xmlYleisin virhe on estää kaikki, minkä nimessä lukee AI, ja ihmetellä puoli vuotta myöhemmin, miksi kilpailija näkyy ChatGPT:ssä ja oma sivusto ei.
Mikä llms.txt on ja milloin se kannattaa?
llms.txt on ehdotus sivuston juureen sijoitettavasta markdown-tiedostosta, joka listaa sivuston tärkeimmät sisällöt kielimalleille. Ajatus on, että navigaatio, JavaScript ja käyttöliittymä ovat koneelle kohinaa, ja tiivis kartta auttaa löytämään oikeat lähteet. Se ei ole standardi samalla tavalla kuin robots.txt tai sitemap, ja ehdotuksen oma sivusto kuvaa sen täydentäväksi, ei korvaavaksi.
Google sanoo suoraan, ettei AI Overviewsiin tai AI Modeen tarvita uusia koneluettavia tiedostoja. OpenAI ja Anthropic dokumentoivat robots.txt-ohjauksen, eivät llms.txt-tiedostoa. Siitä seuraa suositus: llms.txt on vapaaehtoinen lisä, ei tekoälynäkyvyyden perusta.
Se kannattaa, kun vähintään yksi näistä pätee: sivustolla on laaja dokumentaatio, ohjeet tai API-kuvaus; asiantuntijasisältö on hajallaan kymmenissä pitkissä sivuissa; tärkeistä sivuista on olemassa siistit markdown-versiot. Viiden palvelusivun yrityssivustolle se on yleensä uusi tiedosto, joka näyttää modernilta ja kasvattaa ylläpitovelkaa.
Miten oma sivustomme on ohjattu?
Oma robots.txt-tiedostomme on kaksi riviä: kaikki botit sallittu, ja viittaus sitemapiin. Koulutuskäyttöä emme rajaa, koska sisältömme on tarkoitettu löydettäväksi ja siteerattavaksi. SEO Intelin bottipääsyn tarkistus antoi tuloksen "open", 100 pistettä, ei yhtään estettyä bottia.
Meillä on myös llms.txt, laajempi llms-ctx.txt ja agenteille tarkoitettu skill.md, koska SEO Intel on ohjelmistotuote, jolla on dokumentaatiota. Sama auditti kertoi myös sen, mitä nämä tiedostot eivät tee: skill.md sai siteerattavuuspisteiksi 35, koko sivuston heikoimman tuloksen, koska se on tekstitiedosto ilman otsikkoa, kuvausta ja rakennetta. Koneelle tarkoitettu tiedosto ei korvaa sivua, joka vastaa kysymykseen.
Mitä tehdä ennen kuin koskee llms.txt-tiedostoon?
- Varmista, että tärkeät sivut ovat indeksoitavia ja snippet-kelpoisia.
- Tarkista, että robots.txt sallii ne botit, joilta haluat näkyvyyttä. Yllä oleva taulukko kertoo mitkä.
- Tee tärkeä sisältö löydettäväksi sisäisillä linkeillä.
- Lisää näkyvät julkaisu- ja päivityspäivät.
- Korjaa rakenteinen data: Organization, WebSite ja artikkelit.
- Vasta sitten arvioi, hyötyisikö sivusto kuratoidusta llms.txt-kartasta. Jos teet sen, listaa vain tärkeimmät lähteet lyhyillä kuvauksilla. Kaiken listaaminen tuottaa huonomman sitemapin.
Usein kysyttyä
Jos estän GPTBotin, katoanko ChatGPT:stä?
Et. GPTBot kerää koulutusaineistoa. ChatGPT-haun näkyvyyden ratkaisee OAI-SearchBot, joka on eri botti ja ohjataan erikseen.
Vaikuttaako Google-Extended Google-hakuun?
Ei. Google dokumentoi sen erikseen: Google-Extended rajaa sisällön käyttöä Gemini-malleissa, ei sijoituksia eikä AI Overviews -näkyvyyttä.
Korvaako llms.txt sitemapin tai robots.txt-tiedoston?
Ei. Sitemap kertoo, mitä sivuja on indeksoitavaksi. robots.txt ohjaa bottien pääsyä. llms.txt on parhaimmillaan kuratoitu kartta koneelle tarkoitetusta asiantuntijasisällöstä.