Kostenlose Schach-Partie-Datenbank für Scid

Wie kannst Du mich unterstützen?

Ich liebe Kaffee! Du bist herzlich eingeladen, mir einen Kaffee zu spendieren! ;)

Die ursprüngliche Erstellung der Datenbank, die Bereinigung, die Suche nach Quellen usw. war recht zeitaufwändig. Dies ist nun jedoch abgeschlossen, so dass die weitere Pflege kein großes Problem mehr darstellt.

Aber natürlich bezahle ich auch für diese Website – wenn also jemand die Datenbank mag und helfen möchte, diese Website am Laufen zu halten, dann unterstützt mich bitte auf Buy Me A Coffee.

Nun aber zu den wesentlichen Dingen ;)

Über die Datenbank

Diese Datenbank wurde mit und für Scid vs. PC/MAC sowie Scid 5.0 erstellt und wurde mittlerweile in zwei Teile aufgeteilt.

1. OTB-Datenbank mit etwa 9,5 Millionen Partien
2. Online-Datenbank mit etwa 7,1 Millionen Partien

Da alle Scid-Versionen leider eine Menge doppelter Partien zu übersehen scheinen, habe ich ein Script geschrieben, das die Partien einer größeren PGN-Datei in mehreren Phasen dedupliziert. Hier könnt Ihr Euch die Funktionsweise des Scripts näher anschauen. Da der Vorgang für 10 Millionen Partien gut 10 Stunden in Anspruch nimmt, werde ich diese Deduplizierung nur über die OTB-Datenbank laufen lassen und das auch nich zu jedem Release. Ich denke, zu jedem Jahresbeginn ist an der Stelle ausreichend.

Der Download ist sowohl im PGN- als auch im jeweiligen Datenbankformat von Scid vs. PC/MAC sowie Scid 5.0 möglich.

Die Daten stammen aus verschiedenen Quellen, darunter mehrere bestehende Datenbanken und PGN-Dateien. Um die Herkunft der einzelnen Partien nachvollziehen zu können, wurden alle Einträge mit einem SOURCE-Tag versehen. Diese Tags ermöglichen es, die Datenbank mit Scid vs. PC/MAC oder Scid 5.0 nach bestimmten Quellen zu filtern und zu durchsuchen.

Nr.	Tag	Description	Database
1	AjedrezCorr	Fernschach-Datenbank von https://ajedrezdata.com/databases/	OTB
2	AjedrezOTB	OTB Datenbank von https://ajedrezdata.com/databases/	both
3	Britbase	Für alle Partien aus dem British Chess Game Archive	both
4	Caissabase	Datenbank, die es anscheinend nicht mehr gibt.	both
5	Canada	Kanadischer Schachverband	both
6	ChessNostalgia (*)	Auf dieser Seite ist nichts weiter zu finden.	OTB
7	ChessOK (*)	chessok.com bietet PGNs weiterhin kostenlos an. (Bis Ende 2020)	both
8	Chessopolis (*)	PGNs können weiterhin angeboten werden, aber dann hinter einer Paywall.	OTB
9	ChessScotland	Schottischer Schachverband	OTB
10	Convekta (*)	Ein russischer Software-Entwickler, der eine Software wie Chessbase verkauft. Wird hauptsächlich in Russland verwendet.	OTB
11	Danbase	Partiedatenbank des dänischen Schachverbandes https://danbase.skak.dk/ Danke @Hans Jørgen Lassen	OTB
12	Federscacchi	Italienischer Schachverband	OTB
13	FICGS	Free Internet Chess & Go Server (Fernschach Partien)	OTB
14	Finland	Finnischer Schachverband	both
15	GamesOfGMs	Eine Datenbank, die nur OTB-Partien von Großmeistern enthält	OTB
16	GreekBase	Griechischer Schachverband	both
17	IECG	International Email Chess Group	OTB
18	Kingbase	Eine Datenbank, die nur OTB-Partien von mehrheitlich Großmeistern enthält	OTB
19	LichessBroadcast	Für die Partien, die über das Lichess-Übertragungssystem gezogen werden	both
20	LichessEliteDatabase	Alle (Standard-)Partien von Lichess, um nur Partien von Spielern mit einem Rating von 2400+ gegen Spieler mit einem Rating von 2200+ zu behalten, ausgenommen Bullet-Partien. Quelle: https://database.nikonoel.fr/ Alle klassischen, Schnell- und Blitzpartien, in denen beide Spieler über 2550 Liches ELO haben, werden hinzugefügt.	Online
21	LumbrasGigaBase	Alle Spiele aus bestehenden Datenbanken, deren Herkunft nicht geklärt werden kann, wurden mit dieser Kennzeichnung versehen.	both
22	Masters	Eine Datenbank, die Partien vonTitelträger enthält	both
23	Millionbase	Eine weitere alte Datenbank	both
24	PGNMentor	Umfangreiches Archiv mit individuellen Dateien für Spieler, Eröffnungen, Eröffnungsvarianten und verschiedene Turniere.	both
25	Slovakia	Slovakischer Schachverband	OTB
26	TWIC	Für alle Partien aus dem TWIC-Download.	both

Du kannst in Scid nach diesen SOURCE-Tag suchen. Menü Suche -> Partiedaten -> Extramarkierungen:

Der Prozess der Datenaufbereitung

Nach der Zusammenführung der Datenbanken wurde eine Reihe von Maßnahmen ergriffen, um die Datenbank zu komprimieren und Duplikate zu beseitigen:

• Alle Partien mit weniger als 10 Halbzügen wurden gelöscht.
• Alle Spielernamen, Turnierorte, Runden usw. wurden mit Hilfe der Wartungsfunktion von korrigiert, soweit Scid dazu in der Lage war.
• Alle Partien, in denen beide Spieler eine ELO-Bewertung von weniger als 1800 ELO haben, wurden gelöscht.
• Zu allen Partien wurden ECO-Codes hinzugefügt.
• Alle verbleibenden Partien wurden mit den folgenden Parametern auf Duplikate überprüft:
  • Übereinstimmung der ersten 4 Buchstaben der Spielernamen
  • Die gleichen Spielerfarben.
  • Die gleichen Züge.
  • Das gleiche Ergebnis.
• Die Dateien wurden mit dem Programm pgn-extract verarbeitet. Unnötige Tags wurden entfernt und einige umbenannt, damit die Informationen in Standard-Tags verfügbar sind (hauptsächlich Datum).

Nach diesem Prozess in Scid werden die PGN-Dateien durch ein von mir geschriebenes Script nach nicht durch Scid gefundene Duplikaten durchsucht und diese dann entfernt.

Trennung der Datenbanken

Um die Inhalte der Datenbanken in online und offline Partien zu trennen wurden folgende Suchbegriffe (sowohl beim Turnier, als auch beim Ort) verwendet:

• chess.com
• lichess.org
• chess24.com
• online
• internet
• titled arena
• titled tue

Solltet Ihr weitere Vorschläge für Suchbegriffe haben, teilt sie mir bitte per E-Mail oder in einem Kommentar mit.

Inhalt der Datenbank

Ein Beispiel für die in der Datenbank enthaltenen Spieler findest Du hier.

• OTB-Datenbank mit etwa 9,7 Millionen Partien
• Online-Datenbank mit etwa 7,1 Millionen Partien
• Mehr als 700.000 Spieler (OTB und online)

Urheberrecht

Ein Urheberrecht auf Schachpartien ohne Kommentierung kann nach deutschem Recht nicht vereinbart werden, wohl aber die Kommentierung selbst. Deshalb wurde die gesamte Datenbank von allen Kommentaren und Varianten bereinigt. Der Deutsche Schachbund hat diese Frage im Jahr 2006 in einem kurzen Artikel geklärt. Das im Artikel erwähnte Gutachten ist online verfügbar und kann heruntergeladen werden:

DSB-Gutachten zur Frage „Gibt es ein Urheberrecht auf Schachpartien“ (PDF in deutscher Sprache)

Künftige Aktualisierungen

Die wird Datenbank in der Regel am ersten Dienstag eines jeden Monats aktualisiert. Dabei werden die Datenbankdatei im si4- und si5 -Format, sowie ein Update-File im PGN-Format, welches die neuen Partien seit dem letzten Update enthält, zur Verfügung gestellt. Habt Ihr bereits eine Datenbank-Version heruntergeladen, ist es in der Regel ausreichend, die neuen Partien im PGN-Format in die Datenbank zu importieren. Damit erspart Ihr Euch den erneuten Download der kompletten Schach-Datenbank.

Views: 2167