Misuse of publicly available Artificial Intelligence in Social Engineering attacks, Alvaro Winkels

Alvaro Winkels

Abstract

The increasing availability and sophistication of Artificial Intelligence tools have raised concerns about their potential misuse in social engineering attacks. This thesis investigates the potential of publicly available AI to be misused in the context of social engineering attacks, focusing on the content generation phase. The research explores the capabilities of various AI models, in generating phishing emails and other malicious content. The study also examines the effectiveness of existing misuse prevention mechanisms implemented by AI platforms and explores ways to circumvent these safeguards.
The thesis further investigates the application of AI in voice cloning, highlighting their potential to deceive and manipulate individuals. The thesis also proposes a proof of concept that automates spearphishing by scraping data from social networking sites and using AI to generate personalized phishing messages. The findings of this Research underscore the significant threat posed by AI-enhanced social engineering attacks and emphasize the urgent need for robust defensive strategies and increased awareness to mitigate these risks in the evolving digital landscape.

Keywords: Artificial Intelligence, Social Engineering, Phishing, Vishing, Deepfakes, Voice Cloning

Kurzfassung

Die zunehmende Verfügbarkeit und Ausgereiftheit von Künstlicher Intelligenz hat Bedenken hinsichtlich ihres möglichen Missbrauchs für Social-Engineering-Angriffe aufkommen lassen. In dieser Arbeit wird das Missbrauchspotenzial öffentlich verfügbarer KI im Rahmen von Social-Engineering-Angriffen untersucht, wobei der Schwerpunkt auf der Phase der Inhaltsgenerierung liegt. Die Arbeit untersucht die Fähigkeiten verschiedener KI-Modelle bei der Generierung von Phishing-E-Mails und anderen missbräuchlichen Inhalten. Die Studie untersucht auch die Wirksamkeit bestehender Mechanismen zur Verhinderung von Missbrauch, die von KI-Plattformen implementiert werden, und erforscht Möglichkeiten zur Umgehung dieser Schutzmaßnahmen. Die Arbeit behandelt zudem die Anwendung von KI beim Klonen von Stimmen und zeigt deren Potenzial zur Täuschung und Manipulation von Personen auf. In der Arbeit wird auch ein Prototyp vorgestellt, der Spearphishing automatisiert, indem er Daten aus sozialen Netzwerken ausliest und KI einsetzt, um personalisierte Phishing-Nachrichten zu erstellen. Die Ergebnisse dieser Forschungsarbeit unterstreichen die erhebliche Bedrohung, die von KI-gestützten Social-Engineering-Angriffen ausgeht, und betonen die dringende Notwendigkeit robuster Verteidigungsstrategien und eines erhöhten Bewusstseins, um diese Risiken in der sich entwickelnden digitalen Landschaft zu mindern.

Schlagwörter: Künstliche Intelligenz, Social Engineering, Phishing, Vishing, Deepfakes, Voice Cloning