제너레이티브 AI 기술이 새롭게 등장함에 따라 제너레이티브 AI 사이버 보안 위험도 증가하고 있습니다. 제너레이티브 AI는 머신 러닝(ML)과 인공 지능(AI) 기능을 결합한 최첨단 기술 분야를 대표합니다.
우리는 AI 기술이 기하급수적으로 발전하는 기술 르네상스 시대를 눈앞에 두고 있습니다. 그러나 생성형 AI 사이버 보안과 관련된 위험도 간과해서는 안 됩니다. 제너레이티브 AI의 사용과 남용으로 인한 사이버 보안 문제를 어떻게 예방할 수 있는지 이 관점에서 살펴보겠습니다.
제너레이티브 AI란 무엇인가요?
생성형 인공 지능의 줄임말인 생성형 AI는 기존 데이터와 유사하거나 유사한 새로운 데이터를 생성하는 데 중점을 둔 인공지능 기법을 말합니다. 특정 작업을 위해 명시적으로 프로그래밍되는 대신, 생성 AI 모델은 학습된 데이터에서 패턴과 구조를 학습한 다음 학습한 지식을 기반으로 새로운 콘텐츠를 생성합니다.
생성형 AI의 주요 목표는 실제 데이터와 구별할 수 없는 데이터를 생성하여 마치 사람이 만든 것처럼 보이게 하거나 원본 데이터와 동일한 배포판에서 가져온 것처럼 보이게 하는 것입니다. 이 기능은 자연어 생성, 이미지 합성, 음악 작곡, 텍스트 음성 변환, 심지어 동영상 생성 등 다양한 영역에 걸쳐 수많은 응용 분야를 가지고 있습니다.
제너레이티브 AI가 차세대 사이버 보안 위협이 되는 이유는 무엇인가요?
GPT-3, GPT-4 및 기타 생성형 AI 도구는 생성형 AI 사이버 보안 위험과 사이버 위협으로부터 자유롭지 않습니다. 기업은 제너레이티브 AI와 관련된 중대한 사이버 위험을 피하기 위한 정책을 구현해야 합니다.
마이크로소프트의 수석 보안 고문인 테렌스 잭슨이 포브스에 기고한 글에서 강조한 바와 같이, ChatGPT와 같은 플랫폼의 개인정보 보호정책은 IP 주소, 브라우저 정보, 검색 활동과 같은 중요한 사용자 데이터를 수집하는 것을 명시하고 있습니다, 제3자와 공유할 수 있습니다.
잭슨은 또한 제너레이티브 AI로 인한 사이버 보안 위협에 대해서도 경고합니다, 공격 표면을 확장하고 해커가 악용할 수 있는 새로운 기회를 제공합니다.
또한, 4월에 발표된 와이어드 기사 에서는 이러한 도구의 취약점을 공개하며 생성형 AI의 사이버 위험을 강조했습니다.
한 보안 연구원이 불과 몇 시간 만에 OpenAI의 안전 시스템을 우회하여 GPT-4를 조작한 사건은 잠재적인 AI 사이버 위협과 강력한 사이버 보안 조치의 필요성을 강조합니다.
제너레이티브 AI의 7가지 사이버 보안 위험 공개
생성 AI는 문제 해결을 위한 강력한 도구이지만 몇 가지 위험도 있습니다. 가장 명백한 위험은 지적 재산 도용이나 사기와 같은 악의적인 목적으로 사용될 수 있다는 점입니다.
피싱 이메일 생성
생성형 AI의 가장 큰 사이버 보안 위험은 피싱의 발생입니다.
피싱의 위협은 현실이며 사라지지 않고 있습니다.
제품이나 서비스를 마케팅하기 위해 이메일 및 기타 형태의 디지털 커뮤니케이션을 사용하는 기업이 증가함에 따라 범죄자들은 사람들을 속여 개인 정보를 제공하도록 유도하는 수법이 더욱 교묘해지고 있습니다.
가장 일반적인 사기는 은행과 같이 신뢰할 수 있는 출처에서 보낸 가짜 이메일에 합법적으로 보이지만 실제로는 계정에 액세스하기 위해 자격 증명을 입력하는 가짜 웹사이트로 연결되는 첨부 파일이나 링크가 포함된 경우가 많기 때문에 '피싱'이라고 합니다.
모델 조작 및 중독
AI 사이버 보안의 주요 위험 중 하나는 모델 조작 및 중독입니다. 이러한 유형의 공격은 기존 모델을 조작하거나 변경하여 잘못된 결과를 생성하는 것을 포함합니다.
예를 들어, 공격자는 이미지를 실제 이미지가 아닌 데이터베이스의 다른 이미지처럼 보이도록 변경할 수 있습니다. 그러면 공격자는 이렇게 조작된 이미지를 네트워크 또는 조직에 대한 공격 전략의 일부로 사용할 수 있습니다.
적대적 공격
해커들이 머신 러닝 알고리즘의 취약점을 악용하기 위해 머신 러닝 알고리즘에 대한 적대적 공격이 점점 더 일반화되고 있습니다.
알고리즘이 실수를 하거나 데이터를 잘못 분류하도록 만드는 공격인 적대적 예시의 사용은 AI 연구 초기부터 존재해 왔습니다.
하지만 공격이 더욱 정교하고 강력해지면서 제너레이티브 모델이나 챗봇을 포함한 모든 유형의 머신 러닝 시스템을 위협하고 있습니다.
데이터 개인 정보 침해
생성 모델에 대한 일반적인 우려는 개인 또는 조직에 대한 민감한 데이터를 실수로 공개할 수 있다는 것입니다.
예를 들어, 조직에서 고객 또는 직원에 대한 기밀 정보가 실수로 노출되는 생성 모델을 사용하여 이미지를 생성할 수 있습니다.
이런 일이 발생하면 개인정보 침해 및 손해배상 소송으로 이어질 수 있습니다.
딥페이크 및 합성 미디어
제너레이티브 모델은 딥페이크(가짜 동영상) 또는 합성 미디어(가짜 뉴스)에 사용될 수 있는 가짜 동영상 및 오디오 녹음을 생성하여 악의적인 목적으로도 사용될 수 있습니다.
이러한 공격의 배후에 있는 기술은 비교적 간단합니다. 누군가 악성 콘텐츠를 만들기 위해서는 올바른 데이터 세트와 몇 가지 기본 소프트웨어 도구에 대한 액세스 권한이 필요합니다.
지적 재산 도난
지적 재산 도용은 오늘날 기술 업계에서 가장 큰 우려 사항 중 하나이며, 인공지능이 더욱 발전함에 따라 더욱 증가할 것입니다.
생성형 AI는 진짜인 것처럼 보이는 가짜 데이터를 생성할 수 있습니다.
이 데이터 유형은 의료, 금융, 국방, 정부 등 다양한 산업에서 사용될 수 있습니다. 심지어 가짜 소셜 미디어 계정을 만들거나 온라인에서 개인을 사칭할 수도 있습니다.
생성된 콘텐츠의 악의적 사용
또한 생성형 AI는 웹페이지나 소셜 미디어 플랫폼의 텍스트나 이미지에 포함된 단어나 구문의 의미나 문맥을 변경하여 콘텐츠를 조작할 수도 있습니다.
예를 들어, 사람의 개입 없이 이미지에 자동으로 캡션을 생성하는 애플리케이션을 사용한다고 가정해 보겠습니다. 이 애플리케이션을 사용하면 사진 자체는 변경하지 않고 캡션만 편집하여 캡션을 '흰 개'에서 '검은 고양이'로 변경할 수 있습니다.
생성형 AI 사이버 보안 위험에 대한 방어를 강화하는 방법
이러한 우려의 증가에 대응하여 조직은 이러한 위험에 대한 방어를 강화해야 합니다.
다음은 이를 위한 몇 가지 팁입니다:
DMARC로 전환
DMARC 은 사용자 도메인을 사칭하는 이메일 스푸핑 및 피싱 공격을 방지하는 이메일 인증 프로토콜입니다.
구현하여 DMARC 분석기를 구현함으로써 조직은 승인된 발신자만 이메일 커뮤니케이션에 도메인을 사용할 수 있도록 보장하여 AI 생성 피싱 이메일과 관련된 위험을 최소화할 수 있습니다.
DMARC는 도메인 소유자가 이메일 전송에 대한 보고서를 수신하고 이메일 보안을 강화하기 위해 필요한 조치를 취할 수 있도록 하여 추가적인 보호 계층을 제공함으로써 생성되는 AI 사이버 보안 위험에 대한 방패 역할을 합니다.
다음 중 하나를 구현해야 합니다. SPF 또는 DKIM 또는 둘 다(권장)를 구현해야 합니다(DMARC 구현의 전제 조건).
보안 감사 수행
해커가 시스템에 액세스하는 것을 방지하는 또 다른 방법은 사이버 보안 감사를 실시하는 것입니다.
이러한 감사는 시스템의 잠재적 약점을 식별하고 주요 문제(예 멀웨어 감염).
적대적 훈련
적대적 훈련은 적대적 공격을 시뮬레이션하고 모델을 강화하는 방법입니다. 적대적 훈련은 시스템에 잘못된 답을 제공하여 시스템을 속이려는 적대자(또는 공격자)를 사용합니다. 목표는 모델이 어떻게 반응하고 어떤 한계가 있는지 파악하여 더 강력한 모델을 설계하는 것입니다.
강력한 특징 추출
또 다른 솔루션은 강력한 특징 추출(RFE)입니다. RFE는 딥러닝을 사용해 원시 이미지에서 관련 특징을 추출합니다. 이 기술은 확장 가능하며 대규모 데이터 세트에 사용할 수 있습니다. 또한 샘플링을 통한 검증(VTS) 및 이상값 감지(OD)와 같은 다른 기술과 결합하여 특징 추출의 정확도를 향상시킬 수 있습니다.
보안 모델 아키텍처
SMA(Secure Model Architecture)는 보안 모델 아키텍처를 사용하여 소프트웨어 코드, 데이터 파일 또는 AI 시스템의 기타 구성 요소의 취약성을 악용하는 공격을 방지합니다. SMA의 기본 개념은 공격자가 시스템 자체의 약점을 악용하는 대신 코드에서 취약점을 찾아야 한다는 것입니다. 포괄적인 소프트웨어 코드 감사 서비스를 사용하는 것은 AI 시스템 내의 취약성을 식별 및 완화하고 정교한 사이버 위협으로부터 생성형 AI 기술의 무결성과 보안을 보장하는 데 매우 중요합니다.
정기 모델 감사
모델 감사는 수년 동안 사이버 보안의 필수적인 부분으로 자리 잡았습니다. 여기에는 시스템에서 사용되는 모델을 검사하여 건전하고 최신 상태인지 확인하는 작업이 포함됩니다. 모델 감사는 모델의 취약성을 감지하고 해커에 의해 손상되거나 변경되었을 수 있는 모델을 식별하는 데에도 사용할 수 있습니다.
입력 유효성 검사 및 필터링
입력 유효성 검사는 모델 개발자가 모델을 프로덕션 환경에 배포하기 전에 수행할 수 있는 가장 중요한 단계 중 하나입니다. 입력 유효성 검사는 모델에 입력되는 데이터가 시스템 내의 취약점을 악용하려는 해커에 의해 부정확하거나 악의적으로 변경되지 않도록 보장합니다. 입력 필터링을 통해 개발자는 모델을 통해 허용해야 하는 데이터 유형을 지정하는 동시에 다른 종류의 데이터는 통과하지 못하도록 차단할 수 있습니다.
마지막 말
이 기술은 수많은 이점과 발전을 제공하지만, 잠재적인 취약성과 위협에 노출될 수 있는 가능성도 있습니다.
그럴듯한 가짜 이미지, 동영상, 텍스트를 생성하는 생성형 AI의 능력은 신원 도용, 잘못된 정보 캠페인, 사기에 대한 우려를 불러일으킵니다.
또한, 생성 AI를 악의적으로 사용하면 피싱 공격이나 소셜 엔지니어링과 같은 기존의 사이버 위협이 증폭될 수 있습니다.
이 기술이 계속 발전함에 따라 조직과 개인은 강력한 인증, 지속적인 모니터링, 정기적인 취약성 평가 등 사이버 보안 조치에 우선순위를 두어 생성형 AI와 관련된 위험을 완화해야 합니다.
이를 통해 우리는 이 기술의 잠재력을 활용하는 동시에 고유의 사이버 보안 문제로부터 보호할 수 있습니다.
- 최고의 이메일 보호 팁과 전략 10가지 - 2024년 5월 15일
- 블록체인이 이메일 보안을 개선할 수 있을까요? - 2024년 5월 9일
- 데이터센터 프록시: 프록시 세계의 주력 제품 공개 - 2024년 5월 7일