Große Webseiten blockieren Apples KI: Der Kampf um Inhalte

Einleitung

In der digitalen Welt von heute ist der Zugang zu qualitativ hochwertigen Daten entscheidend für die Entwicklung und Verbesserung von Künstlicher Intelligenz (KI). Apple, eines der führenden Technologieunternehmen der Welt, steht vor einer erheblichen Herausforderung: Viele große Webseiten und Medienunternehmen blockieren den Zugang seiner KI zu ihren Inhalten. Dieser Artikel untersucht die Gründe und Auswirkungen dieses Phänomens und beleuchtet die unterschiedlichen Strategien von Apple und seinen Wettbewerbern.

Der Hintergrund

Seit der Einführung von Applebot im Jahr 2015 hat Apple die gesammelten Daten genutzt, um seine Dienste wie Siri und die Spotlight-Suche zu verbessern. Vor Kurzem erweiterte das Unternehmen die Funktionalität von Applebot, um Daten für die Schulung seiner KI-Modelle zu sammeln. Dies führte zur Einführung von Applebot-Extended, einem neuen Web-Crawler, der speziell darauf ausgelegt ist, Webseitenbetreibern die Möglichkeit zu geben, die Nutzung ihrer Daten für das Training von Apples KI-Modellen zu unterbinden.

Die Reaktionen der Verlage

Innerhalb weniger Monate nach der stillen Einführung von Applebot-Extended haben zahlreiche prominente Nachrichtenportale und soziale Plattformen wie Facebook, Instagram, Craigslist, Tumblr, die New York Times, Financial Times, The Atlantic, Vox Media und das USA Today Network auf die Möglichkeit verzichtet, ihre Daten für Apples KI-Training freizugeben. Diese ablehnende Haltung spiegelt eine bedeutende Verschiebung sowohl in der Wahrnehmung als auch in der Nutzung von Web-Crawlern wider, die seit Jahrzehnten das Internet durchforsten.

Die Rolle von Robots.txt

Webseitenbetreiber können Applebot-Extended durch die Aktualisierung einer Textdatei auf ihren Webseiten, bekannt als Robots Exclusion Protocol oder robots.txt, blockieren. Diese Datei regelt seit Jahrzehnten, wie Bots das Web durchsuchen dürfen. Obwohl es keine rechtliche Verpflichtung für Bots gibt, sich an die Anweisungen in der robots.txt-Datei zu halten, ist die Einhaltung eine langjährige Norm.

Statistiken und Analysen

Laut einer Analyse des AI-Detektions-Startups Originality AI blockieren etwa 7 Prozent der getesteten hochfrequentierten Webseiten Applebot-Extended. Eine weitere Analyse des AI-Agenten-Überwachungsdienstes Dark Visitors ergab, dass etwa 6 Prozent der untersuchten Webseiten den Bot blockierten. Der Datenjournalist Ben Welsh fand heraus, dass etwas mehr als ein Viertel der von ihm befragten Nachrichten-Webseiten (294 von 1.167 hauptsächlich englischsprachigen, US-basierten Publikationen) Applebot-Extended blockieren. Zum Vergleich: 53 Prozent der untersuchten Nachrichten-Webseiten blockieren den Bot von OpenAI.

Strategische Partnerschaften als Lösung

Experten gehen davon aus, dass Medienunternehmen und große Internetanbieter eine Chance sehen, durch strategische Partnerschaften neue Einnahmen zu generieren. OpenAI beispielsweise hat bereits eine Reihe von Kooperationen mit Medienunternehmen eingegangen. Apple könnte ebenfalls versucht sein, solche Partnerschaften einzugehen, um die Qualität seiner Trainingsdaten und damit die Qualität seiner KI zu erhöhen.

Die Position von Google

Im Gegensatz zu Apple nutzt Google seine Marktmacht in der Suche, um Verlage dazu zu drängen, ihre Inhalte für KI-Antworten bereitzustellen. Google mischt seine KI-Überblicke mit traditionellem Web-Crawling, was es ihm ermöglicht, Lizenzvereinbarungen zu vermeiden, die Apple und OpenAI eingehen müssen. Obwohl Apple ebenfalls einen Crawler für seine Suchprodukte hat, können Verlage den KI-Crawler blockieren, ohne ihre Sichtbarkeit in den Suchergebnissen von Apple zu beeinträchtigen.

Die Herausforderung für Apple

Das Hauptproblem für Apple besteht darin, dass es im Gegensatz zu Google und OpenAI keine etablierten Partnerschaften mit Verlagen hat, die ihm den Zugang zu hochwertigen Daten ermöglichen. Apple muss daher Lizenzvereinbarungen aushandeln, während Google seine Marktstellung nutzt, um Verlage unter Druck zu setzen.

Fazit

Der Kampf um Inhalte und Daten ist in vollem Gange, und Apples Herausforderung, Zugang zu qualitativ hochwertigen Daten für seine KI-Modelle zu erhalten, ist ein bedeutendes Hindernis. Während einige Verlage bereits Partnerschaften mit Unternehmen wie OpenAI eingegangen sind, bleibt abzuwarten, wie sich Apples Verhandlungen entwickeln werden. Die Entscheidung der Verlage, ihre Inhalte zu schützen und gleichzeitig neue Einnahmequellen zu erschließen, wird die zukünftige Landschaft der KI-Entwicklung maßgeblich beeinflussen. Bibliografie - https://www.heise.de/en/news/AI-training-Major-US-sites-exclude-Apple-9851897.html - https://www.wired.com/story/applebot-extended-apple-ai-scraping/ - https://news.ycombinator.com/item?id=41390094 - https://medium.com/@thekeyword/publishers-block-apple-intelligence-from-accessing-their-websites-380f8ccf8bc8 - https://techcrunch.com/2024/06/11/apples-ai-apple-intelligence-is-boring-and-practical-thats-why-it-works/ - https://pressgazette.co.uk/platforms/news-publisher-ai-deals-lawsuits-openai-google/ - https://www.sunrisegeek.com/post/major-websites-are-rejecting-apples-ai-data-scraping-efforts - https://fortune.com/2024/06/13/apple-not-paying-openai-chatgpt-millions-users-iphones-devices/ - https://reutersinstitute.politics.ox.ac.uk/how-many-news-websites-block-ai-crawlers