Bedrohung durch Malla-Dienste wie WormGPT: Automatisierung von Cyberkriminalität durch Generative KI

Die Geschwindigkeit, mit der sich KI-Lösungen – speziell bei den großangelegten Sprachmodellen – entwickeln, hat natürlich auch die Einsatzmöglichkeiten für Cyberkriminalität drastisch erweitert. Ein Beispiel hierfür ist „WormGPT“, ein KI-Tool, das speziell auf die Anforderungen der kriminellen Nutzung zugeschnitten ist und in einschlägigen Foren auf großes Interesse stößt. WormGPT hat sich insbesondere in der Unterstützung von „Business Email Compromise“ (BEC)-Angriffen und Phishing-Attacken bewährt, indem es täuschend echte und überzeugende E-Mails erzeugt, die häufig sogar erfahrene Nutzer täuschen können.

WormGPT ist dabei nur ein Beispiel für die neuesten Erkenntnisse zur Nutzung von Large Language Models (LLMs) im Bereich der Cyberkriminalität. Insbesondere die Rolle der sogenannten „Malla“-Dienste (Malicious LLM Applications) wirft Fragen auf: Eine aktuelle Untersuchung zeigt, dass Cyberkriminelle vermehrt auf „unzensierte“ und frei zugängliche Sprachmodelle zurückgreifen, um diese für bösartige Dienste zu missbrauchen. Die beliebtesten Systeme im Untergrund sind dabei unter anderem OpenAI-Modelle wie GPT-3.5-turbo sowie Open-Source-Modelle wie Luna AI Llama2 Uncensored und Pygmalion-13B

Bedrohung durch Malla-Dienste wie WormGPT: Automatisierung von Cyberkriminalität durch Generative KI weiterlesen

Urheberrechtliche Herausforderungen beim Training generativer KI-Modelle

Die Nutzung generativer KI-Modelle wie ChatGPT, DALL-E oder Stable Diffusion ist in den letzten Jahren enorm gestiegen. Diese Modelle sind in der Lage, auf Basis von Nutzeranweisungen kreative Inhalte zu generieren, wie z.B. Texte, Bilder oder Musikstücke. Diese Fähigkeit zur autonomen Kreativität basiert darauf, dass die KI-Modelle aus großen Datenmengen „gelernt“ haben, wie sie entsprechende Inhalte erstellen können. Ein erheblicher Teil dieser Datenbestände ist urheberrechtlich geschützt, was zu erheblichen rechtlichen Herausforderungen führt.

Urheberrechtliche Herausforderungen beim Training generativer KI-Modelle weiterlesen

Einsatz von Künstlicher Intelligenz (KI) in Unternehmen: Arbeitsrecht

Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen bringt viele Chancen mit sich, wirft aber auch erhebliche rechtliche Fragen auf, insbesondere im Bereich des Arbeitsrechts. Unternehmen, die KI implementieren, müssen sicherstellen, dass die Nutzung dieser Technologien mit den gesetzlichen Vorschriften im Einklang steht, um die Rechte der Arbeitnehmer zu schützen. Im Folgenden werden die wichtigsten rechtlichen Aspekte zusammengefasst, die bei der Einführung von KI im Unternehmen zu beachten sind.

Einsatz von Künstlicher Intelligenz (KI) in Unternehmen: Arbeitsrecht weiterlesen

„The Prompt Report“: Leitfaden für effektives Prompting

In der Welt der generativen Modelle hat sich das Konzept des „Prompting“ als essenziell herausgestellt. Die Fähigkeit, die richtigen Eingaben (Prompts) zu formulieren, entscheidet oft über die Qualität und Nützlichkeit der generierten Antworten von Modellen wie GPT-4.

Der „Prompt Report“ bietet eine systematische Analyse und stellt Techniken und Vokabular bereit, um das Prompting zu meistern. Dieser Blog-Beitrag fasst die wichtigsten Erkenntnisse dieser Studie zusammen und gibt eine praktische Anleitung für den alltäglichen Einsatz.

„The Prompt Report“: Leitfaden für effektives Prompting weiterlesen

Vorsicht bei Studien zu großen Sprachmodellen (LLMs)

Eine frühere Studie mit dem Titel „Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process“, stellte die Leistungsfähigkeit von Transformer-Modellen bei der Lösung elementarer mathematischer Textaufgaben in den Mittelpunkt. Diese Arbeit behauptet, tiefgreifende Einsichten in die Fähigkeiten von großen Sprachmodellen (LLMs) zu liefern.

Jedoch zeigt eine kritische Analyse von Ernest Davis von der New York University, dass diese Studie ein hervorragendes Beispiel dafür ist, wie vorsichtig man bei der Bewertung und Interpretation von Forschungsergebnissen im Bereich der LLMs sein muss.

Vorsicht bei Studien zu großen Sprachmodellen (LLMs) weiterlesen

Generative KI – Risiken und Missbrauch

Generative, multimodale Künstliche Intelligenz (GenAI) hat das Potenzial, viele Branchen zu revolutionieren. Doch genauso groß wie die Möglichkeiten sind auch die Risiken, die durch den Missbrauch dieser Technologie entstehen. Eine kürzlich veröffentlichte Studie beleuchtet die verschiedenen Taktiken des Missbrauchs von GenAI und gibt wertvolle Einblicke und Empfehlungen. Hier sind die wichtigsten Erkenntnisse und Empfehlungen aus dieser Studie.

Generative KI – Risiken und Missbrauch weiterlesen

LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien

Das sogenannte „LLM-Hacking“ bezieht sich auf Techniken und Strategien, um diese Modelle zu manipulieren oder ihre Funktionen auf unvorhergesehene Weise zu nutzen.

Große Sprachmodelle sind in gewisser Hinsicht besonders gefahrgeneigt, weil diese versuchen autonom zu agieren und dabei notwendigerweise auf Eingaben von Außen angewiesen sind: Mal durch die Aufgaben, die ihnen erteilt werden, mal durch Daten, mit denen sie gefüttert werden. Die zunehmende Verbreitung von LLM sollte dabei Anlass sein, sich mit grundsätzlichem Wissen zur Cybersicherheit bei LLM auseinanderzusetzen. Im Folgenden möchte ich darum als Einstieg verständlich darauf eingehen, was LLM-Hacking ist und typische Angriffsszenarien beschreiben.

LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien weiterlesen

Überblick über die Regulierung von Künstlicher Intelligenz (KI) in China

China hat sich in den letzten Jahren als ein führendes Land in der Regulierung von Künstlicher Intelligenz (KI) etabliert. Die chinesische Regierung hat eine Vielzahl von Gesetzen und Regelungen eingeführt, um den Einsatz und die Entwicklung von KI zu steuern.

Diese Regulierung zielt darauf ab, die Technologie so zu gestalten, dass sie den politischen und sozialen Zielen des Landes dient, gleichzeitig aber auch ethische und wirtschaftliche Aspekte berücksichtigt. Im Folgenden gebe ich einen Überblick über die wichtigsten chinesischen Gesetze zur KI-Regulierung und ihre jeweiligen Links zu den vollständigen Texten.

Überblick über die Regulierung von Künstlicher Intelligenz (KI) in China weiterlesen

xLSTM: Revolution der Künstlichen Intelligenz durch erweiterte LSTM-Modelle?

Ein ganz frisches Forschungspapier – u.a. von Sepp Hochreiter – stellt eine vermutlich bahnbrechende Weiterentwicklung der bekannten LSTM-Technologie vor, die als xLSTM (Extended Long Short-Term Memory) bezeichnet wird. Diese Innovation könnte eine neue Ära für große Sprachmodelle und andere KI-Anwendungen einläuten, auch in wirtschaftlicher Hinsicht. Gleichwohl wird schon jetzt zur ruhigen Beobachtung der weiteren Entwicklung angemahnt.

Aufgrund des medialen Echos nehme ich das Thema hier im Blog ebenfalls kurz auf: Im Folgenden soll es kurz um die Kernkonzepte dieser Arbeit gehen, ihre Implikationen und was sie für die Zukunft der Künstlichen Intelligenz bedeuten könnte.

xLSTM: Revolution der Künstlichen Intelligenz durch erweiterte LSTM-Modelle? weiterlesen