"Service Unavailable" bei ZFX.

[Spiele Programmierer]

Hallo Leute,

habe gerade öfter die Meldung "Service Unavailable". Habe gerade auf eine Nachricht im Jammer-Thread geantwortet und wollte dann meinen Post auch editiert. Ich dachte schon, die Änderungen wäre verloren, weil dann beim Abschicken wieder die Meldung kam. Scheinbar ist es aber noch angekommen und nur die aktualisierte Webseite ging nicht mehr raus.

Ist das nur bei mir?

[Jonathan]

Hatte ich die letzten Tage auch ein paar mal...

[Schrompf]

Liegt vermutlich daran

[Spiele Programmierer]

Wow krass. Da ist ja richtig was los diese Tage im Forum...

Können wir da was machen? Stärkerer Server? IPs begrenzen oder sind alle verschieden? Cloudflare anti-DDOS?

[Krishty]

Würde ich auch gern wissen, denn mein Forum hat die gleiche Auslastung. Alles unterschiedliche IPs (das sind tatsächlich 15k gleichzeitige Sitzungen, nicht bloß Requests). Alles LLMs, die Captchas mitunter besser lösen können als Menschen.

[Jonathan]

Früher konnte man ja noch nett eigene Lösungen bauen, à la "Wie viel ist fünf plus fünf"? Standardcaptchas kann ein dummer Bot vielleicht gut lösen, aber derlei angepasste Lösungen erforderten, dass ein Mensch zumindest mal 2 Minuten drauf guckt, was die Seite für vollautomatisches Scrapen uninteressant machte. Heutige Agenten hält sowas natürlich überhaupt nicht mehr ab.Weiß nicht, was heute so aktuell ist, vor einiger Zeit wurden glaub ich Mausbewegungen auf natürliche Muster hin untersucht, aber auch derlei Dinge kann man in Zukunft bestimmt leicht simulieren. Der durchschnittliche Webseitenbetreiber kann sich dann alleine kaum mehr vor Bots schützen..

Hot Take: Wir sollten endlich mal vernünftige kryptografische Infrastruktur aufbauen. Hab mal gelesen, dass es mit dem elektronischen Personalausweis eigentlich seit vielen Jahren längst möglich ist, eine Altersverifikation umzusetzen, die genau 1 bit an Information liefert (über / unter 18). Stattdessen fangen Webseiten jetzt wegen neuer Gesetze an, den kompletten Ausweis oder das gesamte Gesicht einzuscannen - ein komplett unhaltbarer Zustand.

Sowas muss doch auch irgendwie sinnvoll für "ich bin ein Mensch" möglich sein, und zwar auch ganz ohne irgendwelche persönlichen Merkmale zu veröffentlichen. Perso ist ja ein Stück Hardware, dadurch kann leicht verhindert werden, dass sich jemand tausende Identitäten anlegt. Von mir aus bekommt man eine Art Zertifikat für eine bestimmte Webseite (ggf. mit begrenzter Haltbarkeit?), was dann jemand immer noch benutzen könnte, um eine einzelne Seite zu scrapen, aber halt nicht für tausende. Problem ist halt, dass man als kleiner Anbieter einer Webseite niemanden dazu nötigen kann seine Ausweisfunktion zu aktivieren. Aber wenn das mal vernünftig gepusht würde, wenn Leute das eh schon kennen würden und eh ständig benutzen würden, weil es eine einfache, vertrauenswürdige und sehr datensparsame Methode ist (was es alles sein könnte, würde man es vernünftig machen), dann wäre es kein Problem mehr...

[Krishty]

Hab mal gelesen, dass es mit dem elektronischen Personalausweis eigentlich seit vielen Jahren längst möglich ist, eine Altersverifikation umzusetzen, die genau 1 bit an Information liefert (über / unter 18). Stattdessen fangen Webseiten jetzt wegen neuer Gesetze an, den kompletten Ausweis oder das gesamte Gesicht einzuscannen - ein komplett unhaltbarer Zustand.

Habe letzte Woche mal versucht, meinen Elektronischen Personalausweis freizuschalten, aber den App-Download gibt’s wohl nur über offizielle Stores und ohne Google-Konto komme ich da nicht rein. Digitale Souverenität der EU und so

[Spiele Programmierer]

Bissel offtopic, aber stimme Kristhy zu. In der Praxis endet die Digitalisierung heutzutage dann an unrealistischen Sicherheitsanforderungen und den App Stores. Was auch immer man sich überlegt, es müsste Plattformübergreifend funktionieren und nicht nur iOS und Android mit AppStore und Rooting-Verbot. Keine Sicherheit nur durch Obskurität.

Fürchte diese Anforderung ist aber zu nischig. In der Praxis läuft es zur Zeit nie so. Neben europäischer Souveränität, wäre das nicht auch Minderheitenschutz? In der Demokratie würde sonst die Lösung gewählt bevorzugt, die für >50% der Leute funktioniert.

Was ich mich noch frage: Was treiben die Bots eigentlich? Ich denke nicht, dass es zum KI-Training ist. Dafür wäre es doch viel einfacher die Webseite entspannt einmal herunterzuladen. Man musste nicht 24/7 alle Resourcen aufsaugen. Sind es autonome KI-Bots von Nutzern die hier auf der Suche nach einer Lösung sind? Scheint mir auch etwas exzessiv.

@Forum-Problem
Was haltet ihr von Cloudflare? Es funktioniert auf meiner Webseite wunderbar und ist in meiner Größenordnung kostenlos.

[Jonathan]

@Forum-Problem
Was haltet ihr von Cloudflare? Es funktioniert auf meiner Webseite wunderbar und ist in meiner Größenordnung kostenlos.

Well.....

viewtopic.php?p=77109#p77109

[Jonathan]

Habe letzte Woche mal versucht, meinen Elektronischen Personalausweis freizuschalten, aber den App-Download gibt’s wohl nur über offizielle Stores und ohne Google-Konto komme ich da nicht rein. Digitale Souverenität der EU und so

Gibts jetzt nicht literally ein neues Gesetz, dass Plattformanbieter mit Monopolstellung alternative Stores und Sideloading erlauben müssen?

Ich meine, das ist halt auch ein harter Fail wenn in der Regierung wieder nur Idioten sitzen. Natürlich sollte man kein Handy brauchen. Ich hatte neulich Probleme mit der Sparkassen-App, wegen Custom ROM und so, die App verweigert jetzt halt aus Sicherheitsgründen die Arbeit. Gut, das ist auch peinlich und schlecht, aber es ist ein Privatunternehmen (oder Genossenschaft oder was auch immer), und Custom-Android ist vielleicht echt nischig. Aber was es gibt und was ich jetzt habe ist ein Chip-Tan Gerät. Kostet 20 EUR (könnte billiger gehen, aber ist jetzt auch kein riesen Skandal) und funktioniert basically genau so schnell wie die Freigabe per Handy. Einziger Nachteil ist, dass ich jetzt ein zweites Gerät rumschleppen muss, aber dafür kann ich jetzt wenigstens noch Bankgeschäfte tätigen, sollte ich mal mein Handy verlieren (zum Beispiel um ein neues Handy zu kaufen, hahaha!).

Dann macht halt einfach vernünftige Kartenleser die per USB auf jedem Computer unabhängig vom Betriebssystem funktionieren. Da kann dann der ganze wichtige Krypto-Kram sicher implementiert werden und gut ist. Nennts halt Volksleser oder so. Kann man für unter 10EUR produzieren (wette ich) und von mir aus kann man den auch kostenlos Zugeschickt bekommen, nachdem man ihn per Fax beantragt hat. Das müssten dann alle staatlichen Stellen und ein paar große Unternehmen anbieten müssen und innerhalb von nem Jahr hätten 80% der Bürger so ein Ding daheim stehen.

Ich hab aktuell keinen, weil ich mich an keine einzige Webseite erinnern kann, wo ich die Ausweisfunktion online benutzen könnte. Auch nicht beim Bürgeramt oder so. Vlt. irgendwo ganz versteckt. Aber solange es auf diese Art umgesetzt ist, ist ja klar, wieso das absolut niemand hat. Könnte man sehr sehr einfach ändern, würde man es nur ein bisschen wollen...

[void]

LLMs pingen ja auch die Seiten direkt an, wenn man etwas fragt, um mehr Infos zu erhalten. Ich schätze, dass der aktuelle Crawling-Wahn inbesondere durch LLM-Crawler dazu führen wird, dass mehr Leute ihre Inhalte hinter einer Paywall verstecken werden, um sich ihre Inhalte zu sichern und auch öffentliche Foren unter Umständen auf privat gesetzt werden. Was die AI-Crawler natürlich nicht davon abhält, trotzdem die Seite zu attackieren, nur man nimmt ihnen ein wenig den Grund, wenn nicht direkt viele Querlinks bspw. Threads verfügbar sind.
Der Ansatz, in robots.txt Crawler das indizieren zu verbieten ist auch weniger hilfreich, weil es ein darum "Bitten" ist, weniger etwas, woran man sich als Crawler halten sollte. Eine andere Idee wäre es, IPs ansprechend der User-Agents der Crawler direkt zu blocken, da die Bots ja offensichtlich zugeordnet werden können. Sonst würden sie nicht in der Online-Liste auftauchen.

[Krishty]

Aber was es gibt und was ich jetzt habe ist ein Chip-Tan Gerät. Kostet 20 EUR (könnte billiger gehen, aber ist jetzt auch kein riesen Skandal) und funktioniert basically genau so schnell wie die Freigabe per Handy.

Habe ich auch seit Covid ungefähr; ich liebe das Ding.

Die Idee ist ja, dass die Ausweis-App ganz genau so funktioniert – über die NFT-Funktion deines Handys statt über Einstecken. Aber aus irgendeinem Grund braucht das halt eine 30-MiB-App, die es nur auf irgendwelchen Nischen-Seiten als APK-Download gibt, und das verweigert mir dann aus ungenannten Gründen die Installation.

Wie mit diesen drecks “Authenticator”-Apps, die nur ein riesen Haufen nutzloser Müll sind, und die man komplett durch eine 300-KiB-HTML-Datei ersetzen kann. Einfach weil die Leute mittlerweile alles hinnehmen.

Eine andere Idee wäre es, IPs ansprechend der User-Agents der Crawler direkt zu blocken, da die Bots ja offensichtlich zugeordnet werden können. Sonst würden sie nicht in der Online-Liste auftauchen.

Verstehe ich nicht? Ich kann dir gern ein paar Hunderttausend User Agents aus meinen Logs extrahieren, und dann kannst du mal versuchen, die von legitimen Besuchern zu unterscheiden. Es ist meist Chrome, aber manchmal auch Firefox oder Safari. Es ist meist Windows 11, aber selten auch Mac. Da taucht nirgends “ich bin ein Bot” auf. Letztes Jahr hat ChatGPT sich noch als GPTBot ausgewiesen wenn es meine robots.txt ignoriert hat, aber das hat aufgehört. Aus purer Bösartigkeit und Verachtung gegenüber nicht-Tech-Bros, schätze ich.

Was bei mir recht gut funktioniert: Einen unsichtbaren Link einfügen (Weiß auf Weiß oder display:none), der zu seiner Dummy-Seite führt. Wer die Seite aufruft, ist mit hoher Wahrscheinlichkeit ein Crawler. Das sortiert so ungefähr 20 % meines Traffics aus, wenn ich mich recht erinnere. Zu den anderen 79,999 % habe ich noch nichts gefunden.

[TomasRiker]

Was bei mir recht gut funktioniert: Einen unsichtbaren Link einfügen (Weiß auf Weiß oder display:none), der zu seiner Dummy-Seite führt. Wer die Seite aufruft, ist mit hoher Wahrscheinlichkeit ein Crawler. Das sortiert so ungefähr 20 % meines Traffics aus, wenn ich mich recht erinnere. Zu den anderen 79,999 % habe ich noch nichts gefunden.

Gibt's nicht Browser, die automatisch im Hintergrund ausgehende Links laden, um dann bei einem Klick darauf schon sofort die Zielseite parat zu haben? Dazu sollte man dann gewisse HTTP-Header auf der "Honeypot"-Seite analysieren, z. B. "Purpose: prefetch". Und nicht vergessen, den Link auch aus der Tab-Navigation rauszunehmen mittels tabindex="-1" und für Accessibility auch aria-hidden="true". Weiße Schrift auf weißem Hintergrund ist wahrscheinlich besser als display: none, da zweiteres von schlauen Crawlern ggf. ignoriert würde, um nicht in die Falle zu tappen.

[Jonathan]

Die Idee ist ja, dass die Ausweis-App ganz genau so funktioniert – über die NFT-Funktion deines Handys statt über Einstecken. Aber aus irgendeinem Grund braucht das halt eine 30-MiB-App, die es nur auf irgendwelchen Nischen-Seiten als APK-Download gibt, und das verweigert mir dann aus ungenannten Gründen die Installation.

Wie ist denn da die Sicherheit prinzipiell umgesetzt? Also, wenn es eine OpenSource App sein soll, die auf deinem Custom ROM läuft, kann man der App ja prinzipiell nicht vertrauen. Eine sinnvolle Anforderung wäre halt, dass jede Authentifikation tatsächlich eine Interaktion des Benutzers erfordert. Z.B. ein "Willst du folgender URL mitteilen, dass du ein Mensch / über 18 / Max Mustermann bist?" - d.h. der Nutzer muss sehen können, wer der einzige sein wird, der diese Information verarbeiten kann (damit man das nicht random umleiten kann) und er muss bewusst auf "OK" klicken können. Wenn das nicht gegeben wäre, wenn jeder seine eigene Authentifikator-App schreiben kann, was hindert einen jetzt daran, eine "Bequemlichkeits-App" zu schreiben, die einfach immer Ja sagt? Der Nutzer klemmt seinen Perso hinten in die Schutzhülle und muss nie mehr irgendetwas zustimmen. Ich denke, solide 20% der Menschen wären dumm genug, das zu machen. Oder - wer hindert "Candy Crush 2030.apk" (die sich solide 50% der Nutzer installieren würden) daran, im Hintergrund, ohne Nutzerineraktion, Dinge "rechtssicher" im Internet zu kaufen, weil es dich beliebig authentifizieren kann (weil man ja wieder so clever war aus Bequemlichkeit seinen Perso in die Handyhülle zu kleben)?

Insgesamt halte ich den Ansatz mit der Handy-App prinzipiell für falsch. Lieber ein kompaktes Zusatzgerät, da kann man ja auch gerne den Perso drin stecken lassen, dann. Und da muss man dann halt jedesmal seinen PIN eingeben, die URL bestätigen und von Hand für jede einzelne Anfrage auf OK klicken. Man kann ja durchaus, wie auch jetzt schon bei Web-Logins, Zertifikate ausstellen, die halt an ein Gerät gebunden und für ein paar Monate haltbar sind.

Extra-Gerät ist vlt. ein wenig nervig, aber neben Handy, Autoschlüssel und Portemonnaie, kann man halt auch ab und zu seinen Kartenleser mittragen. Der Mehrwert an Sicherheit und Datensparsamkeit würde das rechtfertigen.