Blog

Vereinfachungen in dem Diagramm sind sicherlich noch möglich, aber dann ist dies nicht mehr so nah an der konkreten Struktur in der Datenbank. Die Zahl in den Klammern hinter den Entitäten gibt an, um wieviele Datensätze es sich in dieser Tablle handelt. Ferner bedeutet "(xx <> NULL)", dass dieses Attribut fast immer auf NULL gesetzt ist bis auf xx Datensätze.

MySQL-Struktur kommentiert

Zur weiteren Erklärung habe ich versucht einen MySQL-Struktur-Export zu kommentieren (jeweils hinter "##"). Manche der Kommentare stammen aus verschiedenen Dokumentationen von imdbpy, die meisten sind jedoch eigene Beobachtungen, welche nicht korrekt sein müssen, da dies erst ein erster Überblick ist, den ich mir gemacht habe:

## Alternative Schaulspieler(?)/Charakter-Bezeichnungen
CREATE TABLE IF NOT EXISTS `aka_name` (
  `id` int(11) NOT NULL auto_increment,
  `person_id` int(11) NOT NULL,                            ## FOREIGN KEY(name.id)
  `name` text NOT NULL,                                            ## alternativer Name von Schauspieler(?)/Charakter
  `imdb_index` varchar(12) default NULL,        ## meistens NULL
  `name_pcode_cf` varchar(5) default NULL,    ## Soundex von name
  `name_pcode_nf` varchar(5) default NULL,    ## Soundex von name
  `surname_pcode` varchar(5) default NULL,    ## Soundex des Nachnamens aus name
  PRIMARY KEY  (`id`),
  KEY `idx_person` (`person_id`),
  KEY `idx_pcodecf` (`name_pcode_cf`),
  KEY `idx_pcodenf` (`name_pcode_nf`),
  KEY `idx_pcode` (`surname_pcode`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=516315 ;


## Alternative Film/Serien-Bezeichnungen
CREATE TABLE IF NOT EXISTS `aka_title` (
  `id` int(11) NOT NULL auto_increment,
  `movie_id` int(11) default NULL,                    ## FOREIGN KEY(title.id)
  `title` text NOT NULL,                                        ## Name der Serie/des Films
  `imdb_index` varchar(12) default NULL,        ## fast immer NULL (sonst römische Zahlen)
  `kind_id` int(11) NOT NULL,                                ## FOREIGN KEY(kind_type.id)
  `production_year` int(11) default NULL,        ## Produktionsjahr
  `phonetic_code` varchar(5) default NULL,    ## Soundex von title
  `episode_of_id` int(11) default NULL,            ## FOREIGN KEY(title.id)
  `season_nr` int(11) default NULL,                    ## Season-Nr.
  `episode_nr` int(11) default NULL,                ## Episoden-Nr.
  `note` text,                                                            ## Notiz
  PRIMARY KEY  (`id`),
  KEY `idx_movieid` (`movie_id`),
  KEY `idx_pcode` (`phonetic_code`),
  KEY `idx_epof` (`episode_of_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=271577 ;


CREATE TABLE IF NOT EXISTS `cast_info` (
  `id` int(11) NOT NULL auto_increment,
  `person_id` int(11) NOT NULL,                            ## FOREIGN KEY(name.id)
  `movie_id` int(11) NOT NULL,                            ## FOREIGN KEY(title.id)
  `person_role_id` int(11) default NULL,        ## FOREIGN KEY(char_name.id)
  `note` text,                                                            ## Text
  `nr_order` int(11) default NULL,                    ## ????????????????????????
  `role_id` int(11) NOT NULL,                                ## FOREIGN KEY(role_type.id)
  PRIMARY KEY  (`id`),
  KEY `idx_pid` (`person_id`),
  KEY `idx_mid` (`movie_id`),
  KEY `idx_cid` (`person_role_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=16523187 ;


## Namen der Schaulspieler, Regisseure... ?!
CREATE TABLE IF NOT EXISTS `char_name` (
  `id` int(11) NOT NULL auto_increment,
  `name` text NOT NULL,                                            ## Namen von Regisseuren, Produzenten, Schauspielern, ..., jedoch keine Film/Serien, ...-Namen!
  `imdb_index` varchar(12) default NULL,        ## fast immer NULL (sonst römische Zahlen)
  `imdb_id` int(11) default NULL,                        ## immer NULL
  `name_pcode_nf` varchar(5) default NULL,    ## Soundex von name im normalen Format
  `surname_pcode` varchar(5) default NULL,    ## Soundex des Nachnamens aus name, falls es von name_pcode_nf abweicht
  PRIMARY KEY  (`id`),
  KEY `idx_name` (`name`(6)),
  KEY `idx_pcodenf` (`name_pcode_nf`),
  KEY `idx_pcode` (`surname_pcode`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=2083542 ;


## Filmstudios/Firmen
CREATE TABLE IF NOT EXISTS `company_name` (
  `id` int(11) NOT NULL auto_increment,
  `name` text NOT NULL,                                            ## Name des Filmstudios/einer Firma z.B. "Warner Bros."
  `country_code` varchar(255) default NULL,    ## z.B. "[de]" oder "[us]"
  `imdb_id` int(11) default NULL,                        ## immer NULL
  `name_pcode_nf` varchar(5) default NULL,    ## Soundex von name im normalen Format
  `name_pcode_sf` varchar(5) default NULL,    ## Soundex von name plus Ländercode
  PRIMARY KEY  (`id`),
  KEY `idx_name` (`name`(6)),
  KEY `idx_pcodenf` (`name_pcode_nf`),
  KEY `idx_pcodesf` (`name_pcode_sf`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=194732 ;

## Art der Firma 
CREATE TABLE IF NOT EXISTS `company_type` (
  `id` int(11) NOT NULL auto_increment,
  `kind` varchar(32) NOT NULL,                            ## one of 1-4 / SET z.B. 'production companies'
  PRIMARY KEY  (`id`),
  UNIQUE KEY `kind` (`kind`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=5 ;


CREATE TABLE IF NOT EXISTS `complete_cast` (
  `id` int(11) NOT NULL auto_increment,
  `movie_id` int(11) default NULL,                    ## FOREIGN KEY(title.id)
  `subject_id` int(11) NOT NULL,                        ## FOREIGN KEY(comp_cast_type.id)
  `status_id` int(11) NOT NULL,                            ## FOREIGN KEY(comp_cast_type.id)
  PRIMARY KEY  (`id`),
  KEY `idx_mid` (`movie_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=78838 ;


CREATE TABLE IF NOT EXISTS `comp_cast_type` (
  `id` int(11) NOT NULL auto_increment,
  `kind` varchar(32) NOT NULL,                            ## one of 1-4 / SET
  PRIMARY KEY  (`id`),
  UNIQUE KEY `kind` (`kind`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=5 ;


CREATE TABLE IF NOT EXISTS `info_type` (
  `id` int(11) NOT NULL auto_increment,                            
  `info` varchar(32) NOT NULL,                            ## one of 1-113 / SET
  PRIMARY KEY  (`id`),
  UNIQUE KEY `info` (`info`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=114 ;

## Art des Eintrages
CREATE TABLE IF NOT EXISTS `kind_type` (
  `id` int(11) NOT NULL auto_increment,
  `kind` varchar(15) NOT NULL,                            ## one of 1-7 / SET z.B. 'movie', 'tv series', 'video games'
  PRIMARY KEY  (`id`),
  UNIQUE KEY `kind` (`kind`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=8 ;


CREATE TABLE IF NOT EXISTS `link_type` (
  `id` int(11) NOT NULL auto_increment,
  `link` varchar(32) NOT NULL,                            ## one of 1-18 / SET    
  PRIMARY KEY  (`id`),
  UNIQUE KEY `link` (`link`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=19 ;


## Relation Film <-> Firma
CREATE TABLE IF NOT EXISTS `movie_companies` (
  `id` int(11) NOT NULL auto_increment,
  `movie_id` int(11) NOT NULL,                            ## FOREIGN KEY(title.id)
  `company_id` int(11) NOT NULL,                        ## FOREIGN KEY(name.id)
  `company_type_id` int(11) NOT NULL,                ## FOREIGN KEY(company_type.id)
  `note` text,                                                            ## Anmerkung
  PRIMARY KEY  (`id`),
  KEY `idx_mid` (`movie_id`),
  KEY `idx_cid` (`company_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=1482933 ;


## Filmdetails, wie z.B. Laufzeit oder Seitenverhältnis
CREATE TABLE IF NOT EXISTS `movie_info` (
  `id` int(11) NOT NULL auto_increment,
  `movie_id` int(11) NOT NULL,                            ## FOREIGN KEY(title.id)
  `info_type_id` int(11) NOT NULL,                    ## FOREIGN KEY(info_type.id)
  `info` text NOT NULL,                                            ## Text
  `note` text,                                                            ## Anmerkung
  PRIMARY KEY  (`id`),
  KEY `idx_mid` (`movie_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=10449698 ;


## Relation Filme <-> Filme: Ähnliche Filme
CREATE TABLE IF NOT EXISTS `movie_link` (
  `id` int(11) NOT NULL auto_increment,
  `movie_id` int(11) NOT NULL,                            ## FOREIGN KEY(title.id)
  `linked_movie_id` int(11) NOT NULL,                ## FOREIGN KEY(title.id)
  `link_type_id` int(11) NOT NULL,                    ## FOREIGN KEY(link_type.id)
  PRIMARY KEY  (`id`),
  KEY `idx_mid` (`movie_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=789129 ;


## Namen von Personen und Charakteren (?)
CREATE TABLE IF NOT EXISTS `name` (
  `id` int(11) NOT NULL auto_increment,
  `name` text NOT NULL,                                            ## Namen von Regisseuren, Produzenten, Schauspielern, ...
  `imdb_index` varchar(12) default NULL,        ## häufig NULL (sonst: römische Zahlen)
  `imdb_id` int(11) default NULL,                        ## immer NULL
  `name_pcode_cf` varchar(5) default NULL,    ## Soundex von name im kanonischen (canonical) Format
  `name_pcode_nf` varchar(5) default NULL,    ## Soundex von name im normalen Format, falls es sich von name_pcode_cf unterscheidet
  `surname_pcode` varchar(5) default NULL,    ## Soundex des Nachnamens aus name, falls es sich von name_pcode_cf und name_pcode_nf unterscheidet
  PRIMARY KEY  (`id`),
  KEY `idx_name` (`name`(6)),                                
  KEY `idx_pcodecf` (`name_pcode_cf`),
  KEY `idx_pcodenf` (`name_pcode_nf`),
  KEY `idx_pcode` (`surname_pcode`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=2305107 ;


## Art der Personen, z.B. Charakter, Schauspieler, Regisseur, ...
CREATE TABLE IF NOT EXISTS `person_info` (
  `id` int(11) NOT NULL auto_increment,
  `person_id` int(11) NOT NULL,                            ## FOREIGN KEY(name.id)
  `info_type_id` int(11) NOT NULL,                    ## FOREIGN KEY(info_type.id)
  `info` text NOT NULL,                                            ## Text
  `note` text,                                                            ## Anmerkung
  PRIMARY KEY  (`id`),
  KEY `idx_pid` (`person_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=1918571 ;


CREATE TABLE IF NOT EXISTS `role_type` (
  `id` int(11) NOT NULL auto_increment,
  `role` varchar(32) NOT NULL,                            ## one of 1-12 / SET
  PRIMARY KEY  (`id`),
  UNIQUE KEY `role` (`role`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=13 ;


## Filme/Serien/Spiele
CREATE TABLE IF NOT EXISTS `title` (
  `id` int(11) NOT NULL auto_increment,
  `title` text NOT NULL,                                        ## Filmtitel, Serientitel, ...
  `imdb_index` varchar(12) default NULL,        ## fast immer NULL (sonst: römische Zahlen)
  `kind_id` int(11) NOT NULL,                                ## FOREIGN KEY(kind_type.id)
  `production_year` int(11) default NULL,        ## Produktionsjahr
  `imdb_id` int(11) default NULL,                        ## immer NULL
  `phonetic_code` varchar(5) default NULL,    ## Soundex von title
  `episode_of_id` int(11) default NULL,            ## FOREIGN KEY(title.id)
  `season_nr` int(11) default NULL,                    ## Season-Nr.
  `episode_nr` int(11) default NULL,                ## Episoden-Nr.
  `series_years` varchar(49) default NULL,    ## Ausstrahlung der Serie (z.B. "2008-????")
  PRIMARY KEY  (`id`),
  KEY `idx_title` (`title`(10)),
  KEY `idx_pcode` (`phonetic_code`),
  KEY `idx_epof` (`episode_of_id`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=1231480 ;

Verwandtes

Internet Movie Database (IMDB) in MySQL importieren

Wenn man dann easy-install installiert hat, muss man nur noch in der Eingabeaufforderung einmal "easy_install -U SQLObject" und "easy_install -U mysql_python" ausführen um den benötigten Datenbank-Wrapper SQLObject und das MySQL-Modul zu installieren. Ferner sei hier anzumerken, dass imdbpy natürlich auch mit allen anderen vom Python-Datenbankwrapper unterstützten Datenbanksystemen funktioniert.

Schließlich installiert man dann noch imdbpy, wozu ich mich des Windows-Installers von imdbpy bedient habe. Ob die Installation mittels des nahe liegenden Befehls "easy_install -U imdbpy" funktioniert hat kann ich nicht genau sagen, da ich bereits als erstes per Windows-Installer imdbpy installiert hatte und danach erst die ganzen Abhängigkeiten aufgedeckt habe. Jedenfalls gab es beim nachträglichen Versuch ein paar Warnungen, dass Python mit dem falschen Compiler kompiliert sei und deswegen einzelne Bestandteile von imdbpy dann ihrerseits nicht kompiliert werden können.

Download der IMDB Daten

Natürlich braucht man auch noch die Daten der IMDB. Dazu lädt man von einem der IMDB FTP-Mirrors ALLE Dateien aus dem Hauptverzeichnis herunter, was momentan 52 Dateien sind, die insgesamt 582 MB groß sind. Die Dateien müssen alle in das gleiche Verzeichnis welches ich hier mal 'D:\IMDB-Daten' nenne. Beim Download der 52 Dateien kann ein Download-Manager wie z.B. das Firefox-Plugin DownThemAll! sehr behilflich sein. Die Unterverzeichnisse mit den Diffs, etc. benötigt man nicht.

imdbpy anwenden

Schließlich kann man imdbpy mittels "imdbpy2sql.py -d 'D:\IMDB-Daten' -u 'mysql://user:password@host/database'" anwerfen, wobei die Datenbank "database" existieren muss (weiterführende Details in der imdbpy-Dokumentation in der Datei "README.sqldb"). Nach 100 Minuten war das Script auf meinen (Athlon64 X2 4200+, 3GB RAM) durchgelaufen, wobei ich glaube das das verschlüsselte Laufwerk auf dem der MySQL-Server lief das ganze sehr verlangsamt hat. Denn das Einfügen der Daten hat 65 Minuten gedauert und alleine das darauf folgende Erstellen der Indizes weitere 35 Minuten. In der "README.sqldb" ist auf einem AthlonXP 1800+, 1GB RAM von 160 und 45 (insgesamt 205) Minuten die Rede, was meine Vermutung zu bestätigen scheint, dass mein System ohne die Verschlüsselung hätte schneller sein sollen.

Das Script erzeugt 18 MyISAM Tabellen, mit insgesamt fast 38 Millionen einzelnen Einträgen. Die Datenbank ist final etwa 2,8 GB groß, hat aber gerade bei der Index-Erstellung temporär bis zu 4 GB benötigt. Da die Internet Movie Database immer weiter wächst wird der Speicherverbrauch in Zukunft vermutlich immer weiter anwachsen.

Fazit

Wie die Datenbank nun benutzt werden kann findet man in der imdbpy-Dokumentation verschiedenen Dateien erklärt. Man kann z.B. mit imdbpy direkt auf die runtergeladenen Dateien der IMDB zugreifen, mit den imdbpy-Programmen auf die Datenbank zugreifen oder natürlich die imdbpy-Komponente direkt in Python benutzen. Mir ging es jedoch in erster Linie darum die IMDB in eine lokale Datenbank zu bekommen was mit dem oben genannten Arbeitsschritten gelungen ist, wenn ich auch noch nicht genau die Struktur rausgefunden habe um eigene sinnvolle Anfragen in SQL zu stellen.

Verwandtes

Entity-Relationship-Model (ERM) zur imdbpy-Ausgabe

Weiter erscheint es mir als Wunder, dass nach einem derartigen abenteuerlichen Download die DVD sogar fehlerfrei ist, was ich leider direkt praktisch evaluieren musste, weil auf dem MDSN AA-Downloadserver auch noch keine MD5-Hashes der Downloadteile angeben waren. An der Installation hat sich nichts geändert, so dass diese fix von statten geht. Selbst das Schmunzeln welches sich einstellt, wenn die Hotline einen nach der Aktivierung zur "Erfolgreichen Aktivierung von Windows XP" beglückwünscht ist geblieben.

Zum Glück hatte ich vorher auch schon Vista, so dass nicht mehr viele Überraschungen bei inkompatibler Software und Geräte gab. Im Grunde hat es lediglich den Cisco-VPN-Client erwischt, der einfach nicht unter der 64-bit Version läuft. Alles andere läuft wie gehabt, wenn mich auch ein wenig enttäuscht, dass 2/3 der Software 32-bit Programme sind. Das ist zwar egal, da diese auch ohne weiteres in der 64-bit Edition laufen, jedoch hatte ich schon gehofft, dass ich jetzt viele 64-bit Programm nutzen kann.

Jedoch gibt es z.B. DivX nur als 32-bit Version, die zwar unter der 64-bit Version läuft, jedoch nicht von den 64-bit Versionen von Programmen wie Windows Media Player oder VirtualDub genutzt werden können, wodurch auch diese Programme alle in der 32-Bit Version benutzt werden müssen. Oder Java, da freut es mich ebenso wenig eine 32-bit und eine 64-bit Runtime Enviroment (RE) installieren zu müssen, weil einige Programme da so wählerisch sind - Plattformunabhängigkeit hatte ich mir doch nen bischen anders vorgestellt.

Borland Developer Studio 2006 Installation

Eigentlich hatte ich mir diesmal vorgenommen mit Vista zu arbeiten wie Microsoft es sich wohl gedacht hatte. Also NoExecution-Bit (NX-Bit) gesetzt und schön Massen von Meldungen des "User Access Control" (UAC) bei den Installationen abgenickt. Doch schließlich stand wiedermal das Borland Developer Studio 2006 (BDS 2006) auf der Tagesordnung und dessen Installation gelang einfach nicht, selbst wenn man die Installation explizit als Administrator ausführt. Also kurzerhand das UAC deaktiviert und sieh da, die Installation funktionierte nun tadellos.

An das NX-Bit hatte ich mich inzwischen auch gewöhnt. Einzelne Programme wie "Quake III Arena" in die Ausnahmeliste aufgenommen, jedoch führten die heutigen Arbeiten an MailOffice dazu, dass ich mal wieder richtig mit dem BDS 2006 arbeiten musste und den Debugger verwenden musste. Schön dachte ich mir, als er ohne zu murren am ersten Haltepunkt hielt, doch bereits dass auf die meisten Variablen nicht zugegriffen werden konnte machte mich argwöhnig. Schließlich wurde das zu debuggende Programm von Windows geschlossen, weil es Programmcode auf dem Stack ausführen wollte. Also das Programm ebenfalls in die Ausnahmeliste aufgenommen, und es lief scheinbar besser. Ich sah zwar noch immer viele Variablen nicht, jedoch wurde mein Programm nicht mehr von Windows beendet. Dafür prasselte es nun einige Ausführungsschritte weiter, Speicherschutzverletzungen im BDS, worauf ich das NX-Bit nun auch vollkommen deaktivierte, was die Lösung brachte.

Fazit

Windows Vista (inkl. der 64-bit Versionen) ist inzwischen gut einsetzbar. UAC und NX-Bit sind noch immer nix für mich. Und mein gutes altes Borland Developer Studio 2006 lässt mich noch immer nicht im Stich.