Industritorget uses cookies to keep statistics, and manage the use of the site. By continuing to use our site, you consent to the use of cookies. - Read more OK
Detailed search

LATEST NEWS

- News from the industry
Send tip

Förgiftad träningsdata

Ett hot mot stora språkmodeller
Dataförgiftning har blivit ett allt större hot mot stora språkmodeller (LLM). Det innebär att felaktig eller vilseledande data matas in i den träningsdata som språkmodellen använder när den svarar på en fråga. I förlängningen betyder det att prestandan och förtroendet för stora språkmodeller försämras. Dataförgiftning utgör också en säkerhetsrisk när en angripare till exempel påverkar en AI-driven kundtjänst att styra användarna till en webbplats för nätfiske.

– Ansvaret för att upptäcka och motarbeta dataförgiftning ligger hos utvecklarna av språkmodellerna. Men det är viktigt att alla som använder en modell som utsatts hämtar den nya, uppdaterade versionen så snart den blir tillgänglig, på samma sätt som man gör med all annan programvara som bygger på öppen källkod, säger Peter Graymon, ansvarig för Barracuda Networks i Norden.

Stora språkmodeller används för att exempelvis driva chattbottar och generera text. De tränas på stora mängder insamlad data som sedan används för att skapa mer data, allt enligt de regler och mönster de lärt sig. Kvalitetsdata leder till bra resultat medan undermålig eller felaktig data genererar dåliga resultat. Förgiftad träningsdata som används när man skapar en LLM gör också att en angripare kan kontrollera hur modellen beter sig när den används.

Ofta finns det ingen tydlig ekonomisk fördel med dataförgiftning men det kan bidra till att sprida felaktigheter, förstärka fördomar och skada varumärken. En språkmodell som beter sig på oväntade och farliga sätt urholkar förtroendet för både tekniken och den organisation som skapade eller implementerade den.

– Det tog inte lång tid för cyberkriminella och andra som vill påverka sin omgivning att börja med dataförgiftning. De kan nu undergräva tillförlitligheten, noggrannheten och säkerheten i tjänster som används av väldigt många människor, säger Peter Graymon.

Datamanipulation ett annat hot mot generativa AI-modeller
Datamanipulation är ett annat sätt att missbruka stora språkmodeller. Det innebär att en angripare skickar meddelanden till den generativa AI-botten för att försöka manipulera den att kringgå sin instruktion eller bryta logiken i prompten. Datamanipulation kan användas för att komma åt information som inte är publik men som ett företag kopplat till sin LLM. I förlängningen kan det användas för utpressning eller försäljning. Det kan också användas för att få en LLM att uttrycka sig skadligt för företaget eller fördelaktigt för användaren.

Ett exempel på datamanipulation är när ett kanadensiskt flygbolag tvingades följa en återbetalningspolicy som skapats av en AI-driven chatbott. Detta är känt som en ”hallucination” där AI-modellen ger ett felaktigt eller missvisande svar eftersom den inte har det faktiska svaret men ändå vill ge ett.

Sammanfattningsvis kan det vara så att det största hotet mot stora språkmodeller inte kommer från avsiktliga handlingar utförda av människor utan snarare från dålig data som genereras av andra AI-modeller.

Läs mer om dataförgiftning och datamanipulation på Barracudas hemsida»

Om du vill prata mer om IT-säkerhet, dataförgiftning och datamanipulation är du välkommen att kontakta Peter Graymon, Barracuda Networks, telefon: 0709-17 80 14, e-post: pgraymon@barracuda.com
4/9/2024 - Industritorget

LATEST NEWS

- News from the industry
Send tip

Unik satsning med en rullande mässmonter

20 240 91 6Mobil utställning med produktdemonstrationer

Lyfta tungt?

20 240 91 6Begagnade truckar och reachstackers

Hur man snabbt fixar svetsporer?

20 240 91 6Rotfel, brist på smältning och andra svetsdefekter

Neobo har godkänts

20 240 91 6För notering på Nasdaq Stockholm

Ny rapport understryker hotet

20 240 91 6Mot samhällskritisk infrastruktur

WEG samarbetar med en finsk distributör

20 240 91 6På ledande underleverantörsmässa Alihankinta 2024

Nytt cykelgarage vid Mölndal resecentrum

20 240 91 6Plats för totalt 106 cyklar

Netatmo lanserar nytt varumärke

20 240 91 6Ska göra smarta hemmet tillgängligt för alla

Malware-attacker mot drönartillverkare

20 240 91 6Föråldrade versioner av Microsoft Word används

Water Jet Sweden lanserar produktnyhet

20 240 91 3Som spar tid och förbättrar precisionen

Transformatorstationer

20 240 91 3Kommunikation och tillgänglighet

Salesforce går all in på AI-agenter

20 240 91 3Lanserar Agentforce

Verizon Business deltar på IBC2024

20 240 91 35G förändrar innehållsskapande och distribution

Plattformar för att skapa innehåll och samarbeta

20 240 91 3Används för nätfiske

Henrik och Susannes kostsamma lärdom

20 240 91 3Så undviker du kostsamma vattenskador i hemmet!

Multifunktionell sopmaskin

20 240 91 3För kommunala verksamheter och industrin

Hotbilden i augusti

20 240 91 3Falska uppdateringar och cyberkriminella grupper

CSRD utmanande att möta

20 240 91 3Anser 4 av 5 ansvariga chefer

Faktureringsproblem bromsar företag

20 240 91 3Som vill växa internationellt

M-Files utses till ledare

20 240 91 3I ny rapport från IDC

RGB-lampor för indikering

20 240 91 3På maskiner eller fordon

Optimera din industri med realtidsmätning

20 240 91 2Prova MUR-boxen på Euro Expo i Piteå!

Belano nya RAS Turbo 2 Plus Compact

20 240 91 2Avancerad teknologi för bästa resultat

Håll truckarna i toppskick

20 240 91 2Med BIAB Truckservice

Kyndryl öppnar nytt kontor

20 240 91 2På Epicenter i centrala Stockholm

Nya pneumatiska ventiler från Emerson

20 240 91 2Ger en bättre automatiseringsflexibilitet, optimerat flöde

norelem lanserar ny serie friktionsleder

20 240 91 2Friktionsleder optimerar precision och flexibilitet

Myter som hindrar virtuell maskinmigrering

20 240 91 2VM-migrering är nödvändig för datacentermodernisering

NSK når genombrott

20 240 91 2I fråga om belastningsvärden

Dell Technologies och Red Hat samarbetar

20 240 91 2För att driva öppna AI-arbetsbelastningar

Progress presenterar Progress Semaphore

20 240 91 2En plattform för metadatahantering och semantisk AI

Plastkapslingar XXL för stora idéer!

20 240 91 1Vi presenterar våra nya MBI-L-kapslingar!

Möt oss i Piteå

20 240 91 1På Euro Expo 18-19 september!

Mirka lanserar batteri­driven bandslipmaskin

20 240 91 1Mirka® FBS-B 10 & 13

Effektivare märkningsprocess

20 240 91 1I tuffare miljöer med portabel präglingsmaskin

Automatiserad logistik

20 240 91 1Med skannrar och machine vision

Castrol lanserar en kampanj

20 240 91 1I samband med Castrols 125-årsjubileum

Submit press release
LK 534 ThermoFill® EA
20 240 91 1
Egna kulturen bland största hindren
20 240 91 1
ServiceNow lanserar Xanadu
20 240 91 1
PAIR Finance expanderar till Sverige
20 240 91 1
AI-driven lösning från Jabra
20 240 91 1
Utnyttjandet av sårbar­heter har ökat 180 %
20 240 91 1
Axalta lanserar Axalta Nimbus
20 240 91 1
LG Streaming Week
20 240 91 1
Var tredje chef i ledningsgruppen
20 240 91 1
Maximera budgeten med begagnade städmaskiner
20 240 91 1
Välkommen till Svetslärarmötet
20 240 91 0
GibbsCAM 2025 är här!
20 240 91 0
Få en inblick i vår värld!
20 240 91 0
Bilprovningen säkrar kundnöjdheten
20 240 91 0
IT-Total storsatsar på Informationssäkerhet
20 240 91 0
Skadligt program sprids genom nätfiskemejl
20 240 91 0
Rekordstora belopp i försäkrade affärer
20 240 91 0
Ny Progress Semaphore-version
20 240 91 0
De mest laddade trenderna för villaägare
20 240 91 0
XL-BYGG Ljusdal
20 240 91 0
Banankunskap kan ge bättre IT-säkerhet
20 240 91 0
Proofpoint lanserar nya AI-driven lösning
20 240 91 0
Ransomware-angrepp växer på nytt
20 240 91 0
Fler än hälften av svenska företag
20 240 91 0
Förnyelse av affärssystem
20 240 91 0
Solita har återigen uppnått
20 240 91 0
LG på IFA 2024
20 240 91 0
Vibrerar din pump?
20 240 90 9
Safe Control blir en del av GBA Group
20 240 90 9
Inviger utbyggnad av fabriken i Arvika
20 240 90 9
Licenssvets – det är det och så fungerar det!
20 240 90 9
Eaton lanserar 5P Gen 2 UPS
20 240 90 9
Niondeklassare deltar i yrkesmässa
20 240 90 9
Svenska skogsägare täljer guld
20 240 90 9
NSK öppnar nytt kontor i Rumänien
20 240 90 9
9/9/2024
Red Hat Enterprise Linux AI nu tillgänglig Felaktig konfiguration innebär riskHär får du köra berusad full(t) lagligt
9/6/2024
ISCAR QUICK-D-MILL Tillsammans på ProcessTeknik!Fördelarna med design Weld Defects - How to Fix Lack of Fusion QuicklyFörsta årliga utdelningen av "The Ownershift Prize"
9/5/2024
Nytt sortiment radarnivågivare YstaMaskiners nyhet för ökad klippkapacitetISCAR´s LOGIQ3CHAM-familj utökas 1KOMMA5° öppnar nordiskt showroomAntar gemensamt rollen som Newsecs VD
9/4/2024
Soft Touch AB i ett unikt samarbeteJordfelsbrytare Typ B 125APrecisionsmätning i mobila applikationerSå blev chiplets ny stand­ard i halvledarindustrin Söderberg & Haak välkomnar Terex Ecotecs
9/3/2024
EMC-Förskruvning i rostfritt stålUndvik fukt med SMC:s nya kondensdetektorArrangerar årets automationshändelseNy wifi-brygga till Yales Marknadstrenden för rostfritt stål

For visitors

For members

Extended advertising

Digital media production

industritorget.com

Industritorget Sweden AB
+46 35 260 32 00
support@industritorget.se

industritorget.com | Sweden's most visited industrial site