Wie können Menschen die Kontrolle behalten, wenn KI ihnen intellektuell überlegen wird? Geoffrey Hinton warnte am 20. Oktober beim Starmus-Festival auf Teneriffa, darauf gebe es bislang keine gesicherte Antwort. Die Nachrichtenagentur EFE berichtete direkt von seinem Auftritt.
Hinton schlug vor, KI mit einem dauerhaften Motiv zum Schutz menschlichen Wohlergehens auszustatten. Als Bild nutzte er die Fürsorge einer Mutter für ihr verletzliches Kind: Ein leistungsfähigeres System sollte Menschen weiter schützen wollen, selbst wenn es seinen eigenen Code verändern könnte. Der EFE-Bericht beschreibt keine funktionierende technische Umsetzung dieses Gedankens.
Nach Hintons Einschätzung könnte KI im kommenden Jahrzehnt viele menschliche Denkleistungen übertreffen. Er warnte außerdem, schwer verständliche interne Vorgänge und Systeme, die Tests erkennen, könnten die Sicherheitsprüfung erschweren. Diese Aussagen beschreiben seine Erwartungen und Befürchtungen, keine neu belegte Handlung eines bestimmten Modells.
Das offizielle Programm führte Hintons Vortrag unter dem Titel Making Alien Beings. Zuvor stand eine Diskussion mit Bernhard Schölkopf und Philip Torr an. EFE berichtete keine eigenen Stellungnahmen dieser beiden Forscher zu Hintons Schutzmotiv; ihre Teilnahme belegt deshalb keine Zustimmung zu dem Vorschlag.