Em US $ 30 Million Mansion empoleirou -se em um penhasco com vista para a Ponte Golden Gate, um grupo de pesquisadores, filósofos e tecnólogos da IA se reuniram para discutir o fim da humanidade.
O simpósio de domingo à tarde, chamado de “sucessor digno”, girou em torno de um ideia provocativa Do empresário Daniel Faggella: o “objetivo moral” da IA avançada deve ser criar uma forma de inteligência tão poderosa e sábia que “você preferiria com prazer que ela (não a humanidade) determine o caminho futuro da própria vida”.
Faggella deixou o tema claro em seu convite. “Este evento está muito focado na transição pós -humana”, ele me escreveu via X DMS. “Não na AGI que serve eternamente como uma ferramenta para a humanidade.”
Uma festa cheia de fantasias futuristas, onde os participantes discutem o fim da humanidade como um problema de logística e não metafórico, poderia ser descrito como nicho. Se você mora em São Francisco e trabalha na IA, este é um domingo típico.
Cerca de 100 convidados amamentaram coquetéis não alcoólicos e mordiscados em pratos de queijo perto de janelas do chão ao teto de frente para o Oceano Pacífico antes de se reunir para ouvir três palestras sobre o futuro da inteligência. Um participante exibiu uma camisa que dizia “Kurzweil estava certo”, aparentemente uma referência a Ray Kurzweilo futurista que previu máquinas superará a inteligência humana nos próximos anos. Outro usava uma camisa que dizia: “Isso nos ajuda a chegar à segurança da AGI?” acompanhado por um emoji de rosto pensante.
Faggella disse a Wired que ele jogou esse evento porque “os grandes laboratórios, as pessoas que sabem que a AGI provavelmente acabará com a humanidade, não fale sobre isso porque os incentivos não o permitem” e referenciou os primeiros comentários de líderes de tecnologia como Elon Musk, Sam Altman, e Demis Hassabisque “eram todos bastante francos com a possibilidade de Agi matar a todos nós”. Agora que os incentivos devem competir, ele diz: “Eles estão todos correndo em pleno furo para construí -lo”. (Para ser justo, almíscar ainda fala sobre os riscos Associado à IA avançada, embora isso não o tenha impedido de correr à frente).
É Linkedin, Faggeella vangloriaram -se Uma lista de convidados repleta de estrelas, com fundadores da IA, pesquisadores de todos os principais laboratórios da AI ocidental e “a maioria dos importantes pensadores filosóficos da AGI”.
O primeiro orador, Ginevera Davisum escritor com sede em Nova York, alertou que os valores humanos podem ser impossíveis de traduzir para a IA. As máquinas podem nunca entender como é estar consciente, disse ela, e tentar preferências humanas de código duro em futuros sistemas pode ser míope. Em vez disso, ela propôs uma idéia elevada chamada “alinhamento cósmico”-construindo a IA que pode procurar valores mais profundos e universais que ainda não descobrimos. Seus slides costumavam mostrar uma imagem aparentemente gerada por IA de uma techno-utopia, com um grupo de humanos reunidos em uma colina de grama com vista para uma cidade futurista à distância.
Os críticos da consciência da máquina dirão que grandes modelos de idiomas são simplesmente papagaios estocásticos – uma metáfora cunhada por um grupo de pesquisadores, alguns dos quais trabalhavam no Google, que escreveu em um papel famoso que os LLMs realmente não entendem a linguagem e são apenas máquinas probabilísticas. Mas esse debate não fazia parte do simpósio, onde os palestrantes tomaram como uma idéia de que a superinteligência está chegando e rapidamente.
