Tootfinder

OpenAI will robots.txt ersetzen – Media Manager für Creator, Urheber, Verlage
Mit einem neuen Media Manager will OpenAI regeln, wie Daten im Netz verwendet werden dürfen. Das soll robots.txt ersetzen.

Spent some time creating an account on darkvisitors.com, adding deps to my site, writing logic to dynamically create a robots.txt file with data from dark visitors' API only for the API to return a 500 Internal Server Error...
Serves me right for not testing the API in the terminal first..
For now I'm sticking with the static robots.txt I got from @…

Jemand gelesen, der via robots.txt nur noch Google und Bing Crawler auf seinem Webserver erlaubt. Dann gerade eine Seite gehabt, die ich nicht bei archive.org sichern konnte.
Schönes neues Netz (naja, nicht gar so neu das Thema, aber...)

Da will uns eine Agentur SEO verkaufen und bemängelt jetzt, dass der Inhalt unserer Website in unserem Gitea auf einer Subdomäne vorliegt. Google würde das negativ ankreiden, weil Doppelung von Inhalt unter verschiedenen URLs. Unser Gitea beherbergt aber auch noch einige andere Projekte, die wir mit einer noindex-robots.txt nicht unsichtbar machen wollen.
Wir sind ja der Meinung, die erzählen Blödsinn. Unsere PR-Abteilung wünscht sich aber "optimierte" Suchergebnisse. Vorschl…

Jemand gelesen, der via robots.txt nur noch Google und Bing Crawler auf seinem Webserver erlaubt. Dann gerade eine Seite gehabt, die ich nicht bei archive.org sichern konnte.
Schönes neues Netz (naja, nicht gar so neu das Thema, aber...)

I finally setup a robots.txt to prevent my site from being scraped by AI bots:
http://idbrii.com/robots.txt
(Hopefully I got everything right.)
Not totally against AI, but I post my stuff free and without ads to spread knowledge. Scraping the web to create closed models behind paywall…

"the rise of AI products like #ChatGPT, and the #LLMs underlying them, have made high-quality training data one of the internet’s most valuable commodities. That has caused internet providers of all sorts to reconsider the value of the data on their servers, and rethink who gets access to what. Being too …

With the rise of AI, web crawlers are suddenly controversial
For decades, a humble text file governed the behavior of web scrapers. But as the AI industry grows, the social contract of robots.txt is falling apart.

@…
Ok, die Idee ist, dass nicht nur personen, die schreibrechte für die datei "robots.txt" haben, bestimmen können, was gecrawlt werden soll, sondern alle, die eine seite erstellen, für diese erstellte seite. Außerdem soll es nicht nötig sein, die namen der crawler zu kennen. So weit so gut. Mehr ist aber nicht bekannt.

Hm, die (insbesondere, aber nicht nur AI-)Bots scheinen ja ein ziemliches verbreitetes Problem zu sein. Nicht nur wegen ethischen Fragen (Contentklau), sondern auch ganz banal von Traffic und Serverlast her.
Im Worst Case kommen private (Gatekeeper-)Unternehmen mit "Wumms" (z.B. Cloudflare) immer mehr zum Zug, weil robots.txt und IP-Banning schon bei IPv4 kaum sinnvoll handelbar sind. So als ganz laienhafter Gedanke gerade.

@… Not saying this alone is good enough, but a starting point:
If you’re writing a scraper, make sure you actually respect the damn robots.txt, it’s there for a reason.
If someone took the time and effort to explicitly indicate what you’re allowed to scrape, listen.

Hm, die (insbesondere, aber nicht nur AI-)Bots scheinen ja ein ziemliches verbreitetes Problem zu sein. Nicht nur wegen ethischen Fragen (Contentklau), sondern auch ganz banal von Traffic und Serverlast her.
Im Worst Case kommen private (Gatekeeper-)Unternehmen mit "Wumms" (z.B. Cloudflare) immer mehr zum Zug, weil robots.txt und IP-Banning schon bei IPv4 kaum sinnvoll handelbar sind. So als ganz laienhafter Gedanke gerade.

While I would very much like to opensource some of the code I've written in the last few years, I'm pretty sure github (and others) will simply use it to train their LLMs with the stated objective of putting me and others out of a job.
What to do?
(No, I don't trust tags/robots.txt/whatever - and neither should you)

Here is my hot take on the #WordPress AI debacle:
- Automattic/WordPress.com could have done a much better job on communicating their strategy
- 404 Media and others could have written much better headlines that didn't make it sound like every WordPress installation would be impacted
- If you run a public web site and you haven't configured a robots.txt file to prevent AI sc…

Systems Approach
Explaining the Internet: its technology, architecture and evolution

robots.txt – 30 Jahre Hausregeln für Websites
http://heise.de/-9636693
> Der Robots Exclusion Standard regelt, wer automatisiert Website-Inhalte abgrasen darf – und ist in Zeiten von ChatGPT so aktuell wie lange nicht mehr.

Each week, Metacurity offers our readers a digest of the best infosec-related long reads.
This week's selection covers,
--Marginalized communities hit harder by cyberattacks,
--Deepfakes complicate elections,
--AI threatens robots.txt files,
--Data centers scar Ireland
https://www.metacurity.com/p/best-infosecrelated-long-reads-week-21024

@… ClaudeBot and its AI pals have been very vigorously scraping my pages recently; so much that I had to send the ClaudeBot mob a cease-and-desist email since it was pulling my 'go away' robots.txt every few seconds to see if I wanted to be friends again yet...

While I would very much like to opensource some of the code I've written in the last few years, I'm pretty sure github (and others) will simply use it to train their LLMs with the stated objective of putting me and others out of a job.
What to do?
(No, I don't trust tags/robots.txt/whatever - and neither should you)