Bedrohung – Seite 2 – Softwarerecht

BSI zu Chancen und Risiken generativer KI

Im Folgenden soll eine aktuelle Publikation des Bundesamts für Sicherheit in der Informationstechnik (BSI) vorgestellt werden, die sich mit den Chancen und Risiken großer Sprachmodelle befasst. Diese KI-Modelle, bekannt als Large Language Models (LLMs), sind in der Lage, auf der Basis von trainierten Daten neue Texte, Bilder und andere Inhalte zu generieren. Ihre vielseitige Einsetzbarkeit bietet zahlreiche Möglichkeiten für Industrie und Behörden, birgt jedoch auch neue IT-Sicherheitsrisiken.

Die Bedeutung der Sicherheit von Open-Source-Software und die Rolle der Regierungen

Open-Source-Software (OSS) ist mittlerweile ein unverzichtbarer Bestandteil der globalen digitalen Infrastruktur. Ihre Bedeutung erstreckt sich über zahlreiche Branchen und ist entscheidend für die Innovationsfähigkeit und Wettbewerbsstärke von Unternehmen und Staaten.

Allerdings bringt ihre weite Verbreitung auch signifikante Sicherheitsrisiken mit sich, die nicht ignoriert werden dürfen. Im Folgenden gehe ich unter Vorstellung der Analyse „Fostering OSS Security“ die Sicherheitslage von Open-Source-Software beleuchten und diskutieren, welche Maßnahmen aus Sicht dieser Analyse ergriffen werden können, um OSS-Sicherheit zu verbessern.

Künstliche Intelligenz als großer Filter im Universum?

In unserer digitalisierten Welt, in der die Entwicklung künstlicher Intelligenz (KI) kaum mehr fassbar voranschreitet, wirft eine aktuelle Studie von Michael A. Garrett (EN), veröffentlicht in der Acta Astronautica, eine faszinierende Frage auf: Ist KI der „Große Filter“, der die Seltenheit von fortgeschrittenen technologischen Zivilisationen im Universum erklärt – und geht damit eine existenzielle Bedrohung einher.

Garrett beleuchtet die bemerkenswerte These, dass die schnelle Entwicklung hin zur Künstlichen Superintelligenz (ASI) zu einem „Großen Filter“ führen könnte. Dieser Filter entsteht, bevor Zivilisationen eine stabile, multiplanetare Existenz entwickeln können. Die Studie schlägt vor, dass die typische Lebensdauer einer technischen Zivilisation unter 200 Jahre liegt. Dieser Zeitrahmen erklärt die Nullergebnisse der jüngsten SETI-Umfragen und anderer Versuche, verschiedene Technosignaturen im elektromagnetischen Spektrum zu entdecken.

Studie zur Bewertung der Risiken und Chancen von KI-gestützten Beeinflussungsmaßnahmen in sozialen Medien

In der Forschungsarbeit „Assessing the risks and opportunities posed by AI-enhanced influence operations on social media“ von Rolf Fredheim und James Pamment wird ein tiefgreifendes Verständnis für die Risiken und Chancen von KI-gestützten Beeinflussungsoperationen in sozialen Medien dargelegt.

Der Missbrauch von Generativer KI und großen Sprachmodellen (LLM)

Generative KI verlangt unserer Gesellschaft viel ab: Schon jetzt ist immer weniger das, wonach es aussieht. Man darf (und sollte) weder seinen Ohren noch seinen Augen trauen – und es wird immer einfacher, selbst ohne erhebliche eigene Ressourcen oder technische Fertigkeiten, Angriffsszenarien mithilfe von KI aufzubauen.

Die Analyse „GenAI against humanity: nefarious applications of generative artificial intelligence and large language models“ bietet eine tiefgreifende Analyse der missbräuchlichen Anwendungen von Generativer Künstlicher Intelligenz (GenAI) und Großen Sprachmodellen (LLMs). Diese Studie, verfasst von Emilio Ferrara, betrachtet die dunkle Seite dieser Technologien, indem sie verschiedene schädliche Szenarien und deren potenzielle Auswirkungen auf Gesellschaft und Individuen aufzeigt.

Einsatz von Generativer KI bei Penetrationstests

In dem Forschungsartikel „Generative AI for Pentesting: The Good, The Bad, The Ugly“ wird der Einsatz von Generativer Künstlicher Intelligenz (GenAI) und Großen Sprachmodellen (LLMs) im Kontext von Penetrationstests untersucht. Die Studie bietet eine umfassende Analyse der Vorteile, Herausforderungen und Risiken, die mit dem Einsatz von GenAI in der Cybersecurity verbunden sind.

LLM und OSINT

In der Studie „Evaluation of LLM Chatbots for OSINT-based Cyber Threat Awareness“ von Samaneh Shafee, Alysson Bessani und Pedro M. Ferreira wird detailliert auf die Funktionen von Large Language Models (LLMs) eingegangen, die für Open Source Intelligence (OSINT) im Kontext der Cyberbedrohungserkennung verwendet werden.

Die Autoren untersuchen die Leistungsfähigkeit verschiedener Chatbot-Modelle, darunter ChatGPT, GPT4all, Dolly, Stanford Alpaca, Alpaca-LoRA, Falcon und Vicuna, in Bezug auf binäre Klassifikation und Named Entity Recognition (NER) Aufgaben, die unter Verwendung von OSINT durchgeführt werden.

Großmodelle Natürlicher Sprachen (LLMs) im Cybersicherheitskontext

In der Welt der Cybersicherheit, die sich ständig weiterentwickelt und mit neuen Herausforderungen konfrontiert sieht, stellt der Einsatz von Großmodellen natürlicher Sprachen (LLMs) eine innovative Entwicklung dar. Eine Studie von Gabriel de Jesus Coelho da Silva und Carlos Becker Westphall an der Universida de Federal de Santa Catarina untersucht, wie LLMs im Bereich der Cybersicherheit eingesetzt werden können, welche Methoden dabei angewendet werden und wo diese Modelle ihre Stärken und Grenzen haben.

BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft

Neue Forschungserkenntnisse zur Autonomen Website-Hackfähigkeit von LLMs

Eine bahnbrechende Forschungsarbeit mit dem Titel „LLM Agents can Autonomously Hack Websites“ offenbart, wie fortgeschrittene große Sprachmodelle (LLMs), insbesondere GPT-4, autonom Websites hacken können. Dieses Potenzial wird durch die Fähigkeit der Modelle unterstrichen, ohne menschliches Feedback komplexe Aufgaben wie Blinddatenbankschema-Extraktion und SQL-Injections durchzuführen.

Cyberkriminalität in Nordkorea und die Bedrohung der Kryptowährungsindustrie

Nordkorea ist einer der Hauptverantwortlichen für die zunehmende Bedrohung der Cybersicherheit. Spätestens seit dem Angriff auf Sony Pictures im Jahr 2014 wird das Land als wichtiger Cyber-Akteur auf der internationalen Bühne wahrgenommen. Seitdem hat Pjöngjang seine Hackerfähigkeiten genutzt, um internationale Sanktionen zu umgehen und Gelder zu stehlen.

Mit den erbeuteten Geldern konnte Pjöngjang die Entwicklung seines Atom- und Raketenprogramms finanzieren. Nordkorea nutzt Cyberoperationen auch zur (digitalen) Spionage. Die Ziele sind breit gefächert: Sie richten sich unter anderem gegen Universitäten, Menschenrechtsorganisationen und Medienunternehmen, erzeugen Unzufriedenheit oder Misstrauen durch Wahlbetrug und greifen kritische nationale Infrastrukturen an. Die zunehmende Bedeutung Nordkoreas im Bereich Cybercrime und Cybersecurity ist auch der Grund, warum wir hier einen eigenen Blog-Post zu dem Thema pflegen.

Als Beispiel sei hier eine Studie der Insikt Group von Recorded Future aufgegriffen, die ein alarmierendes Bild der nordkoreanischen Cyberkriminalität zeichnet. Diese Aktivitäten, die seit 2017 zugenommen haben, zielen auf die Kryptowährungsindustrie ab und haben es Nordkorea ermöglicht, geschätzte 3 Milliarden Dollar an Kryptowährungen zu stehlen.