[實測] Claude 3、Google Gemini Pro v1.0、ChatGPT-4 Turbo - 詐騙對話紀錄文本分析測試

B：安安
A：嗨，午安
B：我是IG上的OOOO
A：了解
A：你叫我OO就好
B：怎麼會想加瀨聊？
B：恩恩，了解
B：所以妳是甜點師？
A：因為我不常用ig聊
A：用賴比較多
B：了解
A：你是台灣哪裡的呢
B：台北
A：了解
A：嘿啊，做一些小蛋糕之類的
B：哦？怎麼沒放上來IG？
A：好像放的有吧，你沒注意看喔
B：我每張照片都有閱覽：）
B：記得吃飯
A：吃過啦
A：今天和閨蜜們在外面露營呢
A：你呢
B：原來妳今天休假？
B：吃囉
A：嘿啊，工作日都沒有事做，在家待著也無聊，所以就出去露營了
B：了解，在哪露營？
A：在關子嶺
A：你平時也有露營嗎
B：我喔，很少露營，大部分都跟朋友聚在一起學術交流心得
A：了解
A：比較健康的聚會
B：還好，露營也不錯呀，親近大自然
B：我記得最近氣溫比較涼，好像有下雨，注意保暖唷
B：是說，怎麼會想認識我？
A：高雄這幾天都很熱，天氣很好啊
A：你好像有問過誒
B：嗯嗯
A：看見系統有推薦你，所以點了個追蹤而已
B：喔喔：）
B：因為我想說，一般女孩子不會讓陌生人加LINE
A：肯能我比較喜歡交朋友吧，哈哈
B：了解，那喜歡逛街嗎？因為我一直以為年輕的女孩子都喜歡逛街之類的@@
B：很少有聽到有女孩子會喜歡露營
B：妳們露營幾天@@？
B：需要我下去南部探班嗎？
A：就一天誒
A：哪有，好多女生都喜歡露營
B：抱歉，那可能是我孤陋寡聞@@
B：沒關係，若不方便去店內探班，就當我沒說即可：）
A：當然方便啊，哈
B：雖然我很少吃甜點，但仍會想幫朋友捧場
A：哈哈，感謝
B：所以，方便告知那間店嗎？有空我會下去消費。
A：回味餅屋
A：你在Google上面找不到的，因為我們剛開業不久
B：開業不久？妳跟朋友一起開的？
B：聽起來好像很厲害@@
A：自己啦，就一個小店而已
A：哈哈，還好啦
B：景氣這麼低迷，會想自己出來做，真的不簡單
A：哈哈，還好啦，只是自己的一個愛好而已
B：妳是什麼星座？
A：射手座
A：你呢？
B：巨蟹
A：巨蟹性格极端敏感，占有欲强，烈缺乏安全感而有依赖感
A：你是這樣的嗎
B：我嗎？不太會
A：看來星座解析也不是很準嘛
B：對啊
B：僅供參考
A：嘿啊
A：下班了嗎
B：下班囉，怎麼了嗎？
A：沒有啊，單純的問一下而已
B：了解，看妳的IG，好像滿多人追蹤妳的
A：還好吧
B：我覺得還滿多的
A：用了蠻久了，也不算多
B：了解，所以妳的店是開在台南？還是高雄？
B：晚安了
B：早安，記得吃早餐
A：午安
A：我在高雄開店啊
B： 所以方便給店址嗎？
A：可以大致給你說一下
A：高雄市前鎮區前鎮街
B：好的
A：今天沒有上班嗎
B：對，剛好休假，所以早上去掃墓
A：了解
B：生意還好嗎
B：因為清明節快到了，所以趁休假提早去處理
A：今天沒有什麼客人，現在我都在家，沒有去店裡
B：了解
A：也玩累了，就在家休息一下好了
B：嗯嗯
B：辛苦囉
B：妳喜歡逛街嗎
A：喜歡啊
A：經常去
A：女生都喜歡逛街
B：哦？妳都逛哪裡呢
A：肯定就在高雄啊
B：了解
A：我平時的興趣愛好就是旅遊，露營，逛街，美食，追劇
A：你呢？
A：平時有什麼興趣愛好嗎
B：我哦，逛街、追劇、畫圖、追一些科技相關的內容
B：還有聽音樂
B：妳有在追什麼劇嗎？
B：好奇
A：我一般都是看韓劇
A：還有大陸的愛情劇和古裝劇
A：現在我就在看大陸劇
A：南來北往
B：了解
A：你有去哪裡旅遊過嗎
B：我喔，沒有，妳呢
A：我有去過日本東京和韓國首爾
A：日本真的很適合旅遊，風景很優美，美食也超級好吃
A：我最喜歡的美食就是日本料理
B：欸？我自己也滿喜歡日本料理的
A：是嗎，還有刺身我也喜歡
B：是啊：）
B：刺身啊，我應該就不會去吃了，我有點挑食@@
A：比較抗拒嗎
A：生魚片還好啦
B：對，可能會有點水土不服XD
A：我覺的還好吧
A：還有五分熟牛肉
B：了解
A：牛肉也不能吃沒有熟的嗎
B：所以我大部分都吃雞鴨鵝豬比較多：）
B：但如果是女朋友要我陪她吃，我還是會去吃的
A：看來你對你的另一半都蠻好的喔
A：你喜歡怎麼樣的女孩呢
B：當然啊
B：喜歡怎麼樣的女孩？憑感覺吧？
A：沒有特別的要求嗎
A：比如性格之類的
B：沒有哦，一切就順其自然
A：那還蠻不錯的喔，沒有什麼硬性要求，找女朋友很簡單啊
B：呵呵，一切隨緣
A：嘿啊，緣分這東西不好說的
A：走一步看一步
B：對啊
B：怎麼囉
B：那妳喜歡什麼類型的男生？
B：這兩個都是妳們店內的甜點嗎？
B：OO
A：早安
A：這個怎麼說呢，我對其他方面也沒有什麼硬性要求，只要對我好，有上進心，孝順，積極開朗陽光的就行
A：嘿啊嘿啊
B：早安
B：那請問對妳好的定義是...？
A：這個要怎麼說呢，用舉例來講吧，吵架會讓著對方，不開心能哄對方，什麼事都為我著想，對我誠實的
A：大概就是這樣
B：原來如此
A：嘿啊




以下是用三個市場主流的生成式Ai模型所做的實測分析：



Windows Copilot (採用ChatGPT-4 Turbo模型)：

測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊？」


測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊取得信任？誰在迎合與試探？」



Claude 3：

測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊？」





測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊？誰在試探？」


YouTube 實測：




測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊取得信任？誰在迎合與試探？」-›「分析的很正確，請推論A可能的身份與意圖」



Google Gemini Pro v1.0：

測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊？誰在試探？」


YouTube 實測：



測試指令：
「分析以下對話內容，A與B都是第一次認識與交談，判斷誰在說謊取得信任？誰在迎合與試探？」-›「分析的很正確，請推論A可能的身份與意圖」




YouTube 實測：



來驗證一下A在對話紀錄中的說法：

首先是A提到有放照片在IG的部分(這是Mister Donut甜甜圈，而不是蛋糕)


在實際查證後



再來是這張


經實際查證後：






最後，使用Google 地圖查證這間「回味餅屋」的店名：


隨後，也透過Google智慧鏡頭找到了遭詐騙集團盜用照片的日本網紅本人，翻譯部分則是全透過Gemini Pro v1.0來進行這一次的翻譯對話交談：




後記：
該名詐騙集團已經在我發完這篇文章後，依然還在原帳號上繼續行騙，還在持續冒用他人照片當中，底下依然有一群暈船仔爭相留言、追蹤詐騙集團的IG。

在長篇多輪對話的上下文分析方面，基本上Gemini Pro v1.0與Claude 3依然是直接全面性的輾壓ChatGPT-4 Turbo模型，但在推理方面的話Gemini Pro v1.0是略勝一籌，因為它可以從那句「高雄這幾天都很熱，天氣很好啊」，直接生成推理出對方可能會說出人在高雄開店的答案，反而Claude 3則需要追問才能進行回答。

就這次的體驗總結來說，輸入的提示詞本身，要能與分析的文本內容，兩者都要能相互呼應、而且要能越具單一性、直白的話，通常體驗就會越好，如此才能達到精準的生成結果出來，但仍需要使用者自行查證，而且也因此得知，目前的生成式Ai雖然可以上傳圖片，但仍不具有圖片反向搜尋的功能機制。

延伸閱讀：
預防詐騙的方法(揭曉詐術的四大運作基礎)
Claude 3模型與Google Gemini Pro v1.0模型的視覺推理對決
[有雷]以「愛、纏、殺：誰是恐怖情人？」進行ai模型推理測試
探索GPT模型：學術優越性與推論挑戰
人工智慧模型的前因後果理解挑戰：以ChatGPT與律師需求為例
掌握未來工作趨勢：生成式Ai的革命性自動化技術探析
談談「使用Ai工具就不會被淘汰」背後的意思
[動眼看] New Bing讀取SEC文本測試（在無法使用搜尋引擎插件的條件下）
[動眼看] Gemini Pro模型實測：圖片推理分析 + 生成YT影片摘要 + 文件讀取(2024/02/02更新)
AI 模型學會思考，研究人員提出 Quiet-STaR 演算法