AML.T0004 · Search Application Repositories

閱讀 MITRE ATLAS 中 AML.T0004「Search Application Repositories」相關的 3 個 AI 資安案例,查看事件證據、適用範圍與 AIDEFEND 防禦分析。

風險分類說明

Adversaries may search open application repositories during targeting. Examples of these include Google Play, the iOS App store, the macOS App Store, and the Microsoft Store. Adversaries may craft search queries seeking applications that contain AI-enabled components. Frequently, the next step is to [Acquire Public AI Artifacts](/techniques/AML.T0002).

框架官方來源 ↗ · 開啟互動探索 ↗

Validated Research ·

以供應鏈攻擊竄改 AI 模型

趨勢科技的研究人員利用服務索引平台與網路搜尋工具,找出超過 8,000 個設定不當、暴露在網際網路上的私有容器登錄庫。其中約有 70% 的登錄庫,存取控制也過於寬鬆,甚至允許寫入。在分析過程中,研究人員在這些開放的登錄庫裡,找到超過 1,000 個內嵌在私有容器映像檔中的 AI 模型,而且不需要身分驗證就能拉下來。 這種暴露會讓攻擊者可以下載、檢視並修改容器內容,包括機敏的 AI 模型檔案。這等於把有價值的智慧財產攤在攻擊者面前,讓它可能被竊走。攻擊者也可以把被動過手腳的映像檔推回登錄庫,形成供應鏈攻擊,破壞正式系統所使用 AI 模型的完整性。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

LLMSmith:整合 LLM 的應用程式中的遠端程式碼執行漏洞

LLMSmith 論文指出,研究人員在 11 個 LLM 框架中找出 20 個漏洞:19 個遠端程式碼執行(RCE)漏洞,以及 1 個任意檔案讀寫漏洞。研究評估 51 個應用程式,其中 17 個可被利用:16 個涉及 RCE,另 1 個涉及 SQL 注入。 受評估的框架包括 LangChain、LlamaIndex、Pandas-ai、Langflow、Pandas-llm、Auto-GPT、Griptape、Lagent、MetaGPT、vanna 與 langroid。 公開應用程式研究記錄了 14 個應用程式的反向 shell。至於植入後門與攻擊其他使用者等追加危害示範,研究另以可檢視內部程式碼的本機複製環境進行,避免傷害真實服務;不能把這些示範全部寫成正式環境中的利用結果。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗

Validated Research ·

針對行動 App 中深度學習模型的後門攻擊

深度學習模型越來越常成為行動應用程式中的關鍵元件。微軟研究院的研究人員示範了,許多部署在行動 App 裡的深度學習模型,都可能被「神經負載注入」(neural payload injection)這種手法植入後門。他們針對從 Google Play 蒐集來的真實行動深度學習 App 做了實證研究,找出 54 個會受到這種攻擊影響的 App,其中包括用於鈔票辨識、家長監護、人臉驗證與金融服務等安全至關重要的熱門應用程式。

沿用 SecureFlow 來源步驟的 ATLAS 標註;不是 MITRE 對跨框架對應的背書。

SecureFlow · 閱讀完整案例 ↗