https://www.ki-amigo.com/artikel/ki-crawler-blockieren-robots-txt-signal KI-Amigo de 2026-11-01T08:00:00.000Z Wer KI-Crawler blockieren will, braucht mehr als das neue robots.txt-Signal OpenAI, Google, Microsoft, Anthropic, Web Scraping, Urheberrecht