eTools.ch - Informationen zur verteilten Suche

Wie funktioniert eTools.ch?

Die Meta-Suchmaschine eTools.ch hat keinen eigenen Index oder Datenbestand, sondern bezieht die gewünschten Informationen parallel aus unterschiedlichen Datenquellen (verteilte Suche, gleichzeitige Suche über mehrere Suchmaschinen).

Wie die untenstehende Grafik verdeutlicht, kann es sich bei einer Datenquelle u.a. um eine traditionelle Web-Suchmaschine, einen Webservice oder eine Datenbank handeln.

eTools.ch erhält – im optimalen Fall innerhalb der vorgegebenen maximalen Suchzeit – von jeder Datenquelle ein Resultat zurück, welches weiterverarbeitet, zusammengeführt und schliesslich an den Benutzer zurückgegeben wird.

Vereinfacht dargestellt, werden folgende Schritte abgearbeitet:

1. Der Benutzer gibt Suchausdruck mit Suchoptionen ein und startet die Suche.
2. Die Suchparameter werden für jede Datenquelle individuell übersetzt.
3. Alle gewünschten Datenquellen werden parallel abgefragt.
4. Die Resultate jeder Datenquelle werden in ein standardisiertes Format umgewandelt und optional mehrstufig gefiltert.
5. Die einzelnen Resultate werden zu einem gemeinsamen Resultat zusammengeführt (Datenfusion):
   - redundante Informationen werden entfernt;
   - relevante Informationen werden gewichtet, geranked und sortiert (ähnlich wie Borda Wahl).
6. Das zusammengeführte Resultat wird an den Benutzer zurückgegeben.

Aktueller Status von eTools.ch

eTools.ch ist so schnell wie die langsamste Datenquelle die zurzeit von eTools.ch abgefragt wird. Aus diesem Grund ermöglichen es die Sucheinstellungen, die maximale Zeit, während welcher auf eine Suchanfrage gewartet wird, zu limitieren (standardmässig 2 Sekunden).

Falls eine Datenquelle nicht mehr verlässlich erreichbar ist, wird eTools.ch diese automatisch temporär deaktivieren. Sobald die Datenquelle wieder verfügbar ist, wird diese automatisch reaktiviert.

Die folgenden Abbildungen reflektieren den aktuellen Status der 17 Datenquellen, die von eTools.ch abgefragt werden:

Zurzeit dauert eine komplette Suche durchschnittlich 1.12 Sekunden.

Status aktualisieren

Bot-Erkennung und Schutz

eTools.ch verzeichnet täglich Millionen von Bot-Anfragen. Um den Dienst reibungslos am Laufen zu halten, haben wir Filter entwickelt, um diese Bots zu erkennen und zu blockieren, anstatt uns auf einen externen Schutzdienst zu verlassen. Bis heute haben wir 4’971’736 verdächtige IPs gesperrt, die ein CAPTCHA lösen müssen, um wieder Zugang zu erhalten.

Zusätzlich zu den gesperrten IPs sperren wir aktuell 747 autonome Systeme (AS), überwiegend Cloud- oder Hosting-Dienste mit einer hohen Anzahl an Bot-Anfragen.

Jede Anfrage erhält einen Score, der die Wahrscheinlichkeit widerspiegelt, ein Bot zu sein. Je niedriger der Score, desto mehr Einschränkungen gelten: Weniger Anfragen werden zugelassen und Quellen können von der Suche ausgeschlossen werden. Ihr aktueller Score beträgt etwa 0.5 von 1.

Die Verwendung eines Proxys, VPNs, Tor, eines Werbeblocker-Plugins oder eines Datenschutz-Tools wie Apple's iCloud Private Relay oder die Verschleierungsfunktionen des Brave-Browsers senken Ihren Score. Wir haben kein Problem mit diesen Tools an sich; das Problem ist, dass Bots dieselben oder ähnliche Techniken verwenden, was es schwieriger macht, sie von legitimen Nutzern zu unterscheiden.

Wir danken Ihnen für Ihr Verständnis in unserem gemeinsamen Kampf gegen Bots, um eTools.ch für alle nutzbar zu halten. Gerne unterstützen wir Sie auch beim Bot-Schutz Ihrer Infrastruktur. Kontaktieren Sie uns in diesem Fall!

Technologie von eTools.ch

eTools.ch basiert auf unserer erprobten Suchlösung EnterpriseMetasearch^®.

Einsatzmöglichkeiten von EnterpriseMetasearch^®

EnterpriseMetasearch^® ist modular, erweiterbar, flexibel konfigurierbar und kann somit für Applikationen, welche eine verteilte Suchlösung oder eine Integration benötigen, eingesetzt werden, z.B.:

• Enterprise Federated Search: Eine Internet/Intranet Applikation, welche gleichzeitig mehrere Datenquellen durchsucht, wie Suchmaschinen, Datenbanken, Enterprise Content Management (ECM) oder SAP Systeme.
• Vertikales Suchportal (themenspezifisches Such-Cockpit).
• Enterprise Application Integration (EAI).
• Spider oder Crawler zum Erfassen von strukturierten Daten.
• Enterprise (Legacy) Datenmigration oder Schnittstellen-Projekt.

Spezielle Eigenschaften der EnterpriseMetasearch^® Technologie

• Die Web Benutzerschnittstelle (GUI) und das darunterliegende Kollektor und Aggregator Framework sind komplett voneinander getrennt.
  Die strikte Trennung von Modell- (Business-Logik) und Präsentationsschicht erlaubt die autonome Verwendung der Framework Engine (z.B. in einer SOA-Umgebung).
• Skalierbares, leichtgewichtigiges und performantes Design, welches den Betrieb auch auf moderater Hardware ermöglicht.
• Unterstützt unterschiedliche Protokolle (z.B. HTTP, JDBC, REST oder SOAP) und Applikationen (z.B. Apache Lucene oder SAP JCo).
• Ermöglicht die Konvertierung der Resultate in andere Formate (z.B. Text, XML oder PDF).
• Dank der flexiblen Plug-in Architektur, können Protokolle und Formate einfach angepasst und erweitert werden.
• Optimiert für den Online Betrieb, kann jedoch auch als Batch-Prozess oder als Unix/Windows-Service betrieben werden.
• Plattformunabhängig (z.B. Unix, Linux, Windows oder Mac OS X).
• Liefert Korrekturvorschläge in der Form von «Meinten Sie: ...».
• Klassifiziert Suchresultate nach definierten Kriterien (Faceted Search).
• Gruppiert Suchresultate automatisch in thematische Kategorien (Text Clustering):
  

  EnterpriseMetasearch® integriert die mehrsprachige Lingo3G Dokumenten Clustering Engine. Lingo3G basiert auf dem Open Source Carrot2 Suchresultate Clustering Framework.

Standards und Technologien von EnterpriseMetasearch^®

• 100% Java (Java EE).
• Enterprise Merkmale, z.B.:
  - Konfigurierbare Pools (z.B. für Worker-Threads und Connections) und Caches.
  - Autonome Datenquellen-Überwachung (Watchdog) mit Status-Benachrichtigung.
  - Flexibles Applikations-Clustering.
  - Management und Monitoring (JMX) mit Laufzeit-Statistiken.
  - Bot-Erkennung und Schutz.
  - Erweiterbarer Query Parser.
  - Unicode konforme Lokalisierung (i18n).
  - Robustes, mehrstufiges Timeout Handling.
• Unterstützt weit verbreitete Servlet Engines und Java EE Applikations-Server, z.B.:
  - Apache Tomcat
  - Liferay Portal
  - IBM WebSphere
  - Oracle WebLogic Server

Interessiert?

Weitere Informationen über unsere Federated Search Lösung finden Sie auf der EnterpriseMetasearch^® Produktseite.
Bitte zögern Sie nicht, uns bei Fragen zu kontaktieren.