Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
La startup d’IA de Sam Altman a récemment perdu plusieurs membres clés de son équipe Superalignment, qui était censée garantir que l’IA ne devienne pas un voyou.
OpenAI a lancé son Équipe Superalignement il y a près d’un an, dans le but ultime de contrôler d’hypothétiques systèmes d’IA super-intelligents et de les empêcher de se retourner contre les humains. Les gens étaient inquiets : pourquoi une équipe comme celle-ci devait-elle exister en premier lieu ? Maintenant, quelque chose de plus préoccupant s’est produit : les chefs d’équipe, Ilya Sutskever et Jan Leike, quittez OpenAI.
La démission de la direction de Superalignment est la dernière d’une série de départs notables de l’entreprise, dont certains provenaient de l’intérieur de Sutskever et L’équipe de Leike axée sur la sécurité. En novembre 2023, Sutskever et le conseil d’administration d’OpenAI ont mené un effort raté pour évincer le PDG Sam Altman. Six Des mois plus tard, plusieurs membres du personnel d’OpenAI ont quitté l’entreprise, soit ils s’exprimaient ouvertement sur la sécurité de l’IA, soit ils travaillaient dans des équipes de sécurité clés.Sutskever a fini par s’excuser pour le coup d’État (mon mauvais mec !) et a signé une lettre aux côtés de 738 employés d’OpenAI (sur 770 au total) demandant de réintégrer Altman et le président Greg Brockman. Cependant, selon un copie de la lettre obtenue par le New York Times avec 702 signatures
(la copie publique la plus complète que Gizmodo a pu trouver), plusieurs membres du personnel qui ont maintenant démissionné n’ont pas signé la déclaration de soutien à leadership d’OpenAI ou ont été à la traîne.Les noms des membres de l’équipe Superalignment Jan Leike, Leopold Aschenbrenner et William Saunders, qui ont démissionné depuis, n’apparaissent pas à côté de plus de 700 personnes. d’autres membres d’OpenAI montrant leur soutien à Altman et Brockman dans le Fois
‘ copie. Andrej Karpathy, chercheur en IA de renommée mondiale, et Daniel Kokotajlo et Cullen O’Keefe, anciens membres d’OpenAI, n’apparaissent pas non plus dans cette première publication. version de la lettre et ont depuis quitté OpenAI. Ces personnes peuvent avoir signé la dernière version de la lettre pour signaler leur soutien, mais si tel est le cas, ils semblent avoir été les derniers à le faire.Gizmodo a contacté OpenAI pour obtenir des commentaires sur qui dirigera l’équipe de Superalignment à partir de main mais nous ne l’avons pas immédiatement fait réponse.Plus généralement, la sécurité chez OpenAI a toujours été un sujet de discorde. C’est ce qui a poussé Dario et Daniela Amodei en 2021.
pour créer leur propre entreprise d’IA
, Anthropic, aux côtés de neuf autres anciens employés d’OpenAI. Les préoccupations en sécurité étaient également ce qui aurait conduit les membres du conseil d’administration à but non lucratif d’OpenAI à évincer Altman et Brockman. Ces membres du conseil d’administration ont été remplacés par des infâmes entrepreneurs de la Silicon Valley.OpenAI compte encore de nombreuses personnes qui travaillent sur la sécurité dans l’entreprise. Après tout, la mission déclarée de la startup est de créer en toute sécurité AGI. cela profite à l’humanité ! Cela dit, voici la liste de Gizmodo des défenseurs notables de la sécurité de l’IA qui ont quitté OpenAI depuis l’éviction d’Altman. sur un ordinateur ou continuez à faire défiler le mobile. Ilya Sutskever & Jan Leike
Getty Images
2 / 8
Getty Images
Andreï Karpathy
Getty Images
3 / 8
Karpathy, un membre fondateur d’OpenAI, a quitté l’entreprise pour la deuxième fois en février 2024. Il a remarqué à l’époque que « rien “ce qui s’est produit”, bien que son départ intervienne environ un an après qu’il ait quitté Tesla pour rejoindre OpenAI. Karpathy est largement considéré comme l’un des meilleurs esprits les plus influents et les plus respectés dans le domaine de l’intelligence artificielle. Il a travaillé sous la direction de la « marraine de l’IA » Fei-Fei Li à Stanford, une autre IA au franc-parler. défenseur de la sécurité.
Getty Images
4 / 8
Helen Toner et Tasha McCauley ont été les premières victimes du retour au pouvoir de Sam Altman. Quand Altman est revenu, ces deux-là étaient absents.
Léopold Aschenbrenner & Pavel Izmailov
Aschenbrennar était un allié connu de Sutskever et un membre de l’équipe Superalignment. Il a été licencié en avril 2024 pour avoir prétendument divulgué des informations à journalistes, selon
5 / 8
Les informations
. Il a également des liens avec le mouvement d’altruisme efficace.Izmailov était un autre employé licencié pour avoir divulgué des informations à des journalistes en avril 2024. Il a travaillé dans l’équipe de raisonnement mais a également passé du temps sur l’équipe du côté sécurité des choses.WilliamSaunders
Getty Images
6 / 8
Saunders, un employé d’OpenAI au sein de Sutskever et de l’équipe Superalignment de Leike, a démissionné en février 2024, selon
7 / 8
Kokotajlo a démissionné d’OpenAI en avril 2024, après avoir travaillé dans l’équipe de gouvernance de l’entreprise, également rapporté par Business Insider. Sur Kokotajlo
, il écrit qu’il « a quitté OpenAI en raison d’une perte de confiance dans le fait qu’il se comporterait de manière responsable au moment de l’AGI.Cullen O’KeefeO’Keefe semble avoir démissionné d’OpenAI en avril 2024 après plus de quatre ans au sein de l’équipe de gouvernance de l’entreprise, selon son site LinkedIn. O’Keefe blogue fréquemment sur la sécurité de l’IA et déclare dans un article
8 / 8
il continue de poursuivre
“AGI sûr et bénéfique, mais maintenant dans un rôle indépendant.”he continues to pursue “safe and beneficial AGI, but now in an independent role.”