看板 Soft_Job
大家晚安, 最近在開發一個自動化測試的小玩具 OpenTestX,想說來板上取暖 原本是想說現在 AI 這麼紅,拿來產測試腳本應該很爽? 結果試了幾次發現 AI 根本是通靈,產出來的東西語法雖然會動,但商業邏輯亂噴一通, 改那個腳本的時間我拿來手動測還比較快 後來想說換個思路,既然我們本來就有一堆寫好的 Test cases 了,為什麼不直接餵給 L LM 叫它幫我轉成Skill.md? 這工具大概在幹嘛: 1. 把你原本那些 Excel 裡的測試案例直接匯入。 2. 用 LLM 去理解內容,把它變成一個一個會動的 Skill。 3. 這樣就不用怕 AI 瞎猜邏輯,因為邏輯是你原本就定好的。 這東西現在還超陽春,功能很不完整,很多地方我都還沒修好,大概只有 0.1 版的程度 (請輕噴)。UI 很醜,有些邊緣情況跑起來會噴錯,但我目前還在持續補坑。 寫了一篇 Medium 紀錄一下為什麼我要這樣搞: https://medium.com/@bob148666/opentestx-your-team-already-has-test-cases-just- import-them-84926482c156 也附上GitHub ,讓有興趣的人可以 clone下來玩玩看: https://github.com/BobChochola/openTestX 想問問板上測試的大大們,現在大家都怎麼處理 AI 邏輯亂跳的問題? 或是這種既有案例轉 Skill的做法有沒有什麼我沒想到的雷點 手機發文如果排版不優請見諒 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.248.106.180 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1774892765.A.B29.html
labbat: 沒有頭緒,畢竟如果案例有規則那就不是案例了 03/31 02:10
labbat: 太多需要逐案判斷的東西了 03/31 02:11
peterturtle: 品質把關的 system test 自己手動弄啦 03/31 11:36
peterturtle: 特別是 AI 對一些突然冒出來的「例外」很弱,因為他 03/31 11:43
peterturtle: 並不真的知道你的結果看上去要怎麼樣,太多細節是你 03/31 11:43
Kroner: 喔喔喔,UC2 真的是超讚的啦 03/31 11:43
peterturtle: 文字沒辦法提供的了,就算你某個按鈕按下去會有個兔 03/31 11:43
peterturtle: 崽子跑出來跳曼波舞只要該跳的有跳AI也會跟你回報一 03/31 11:43
peterturtle: 切正常。 03/31 11:43
USD5566: 這裡不是用來蹭medium點閱的請將文章重點貼出 03/31 12:10
Chricey: 我有在用UC2,感覺效果還不錯欸! 03/31 12:10