Posted by Software that swaps out words can now fool the AI behind Alexa and Siri
MIT에서 개발한 TextFooler라는 소프트웨어는 문장의 측정 단어를 동의어로 대체함으로써 NLP System이 문장을 오해하도록 속일 수 있음을 보였다.
뉴스 주제 식별, 가짜 뉴스 탐지, 감정 분석과 같은 작업을 수행하도록 트레이닝 된 NLP System에 대한 공격을 테스트하였으며, 모든 경우에 AI 가 상당히 약화되었다.
연구원들은 TextFooler와 같은 도구가 NLP System의 약점을 드러낼 수 있도록 도와 더욱 견고한 System을 구축할 수 있도록 도움을 줄 것이라고 말했다.
Source: MIT Technology Review
이 방법은 NLP system의 정확도를 극적으로 떨어트릴 수 있다. CNN에서 Image에 Noise를 넣는 것과 비슷한 방법이며, 작동 방법은 가장 중요한 문장에서 단어를 찾아 인간이 자주 사용하는 동의어로 교체하는 방법이다.
이를 보면 데이터세트가 정말 중요하다는 것을 다시 느낄 수 있다. 다양한 단어로 구성된 데이터세트가 필요하며, 데이터세트를 다양한 방법으로 변환하는, Data Augmentation 적용하고 이를 통해 검증하는 시퀀스를 채택할 필요가 있을 것이다.
