作者leicheong (睡魔)
看板Soft_Job
標題Re: [心得] token maximum
時間Sun Mar 1 18:05:54 2026
※ 引述《erspicu (.)》之銘言:
: 所以到底max應該設定多少比較適合?
借這個來抱怨一下.
正如我在之前稍微提過的, 我的公司已經全面轉用 AI, 而且為了
不讓外部的一些壞 coding 習慣污染 AI, 是用自己 code base train
的 AI model. (本公司不留能力不足的人, 而且一直都需要 code review
才可以 check-in 因此 code 的本身質素是沒問題的)
隨著超過2000位 dev同時使用 AI 來做 coding, 公司本身配置的資源
很快就開始不夠用了. 寫好了 prompt 提交時發現在排隊 350位以外
是常事. 公司很快 (也花了一個月左右) 便批准了買更多的 VM, 但同時
也要求我們用 prompt improvement coach wizard 「改進」我們的 prompt.
結果他都要求我直接告訴 AI 需要修改那個檔案. 這產生了兩個問題:
首先, 如果我看錯是那個檔案出問題的話, 不管怎麼改還是沒有效果.
然後, 如果我寫 prompt 還是先 trace code 去找那個檔案出問題的話, 比起
花時間寫 prompt, 自己改比較快 (還不用排隊)
最近我們也發現了 AI 寫的 code 在需要和第三方對接的部份常出現
忽略明明已經寫進了 rules.md 的限制, 因此需要回爐人手重做的事件.
說實在的, 用了 AI 後也沒發現省了多少時間.
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 109.152.20.160 (英國)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772359557.A.F40.html
推 HaHadog: 恭喜你 發現爲什麼在這裡真的有開發經驗的工程師噴那些AI 03/01 19:34
→ HaHadog: 吹噴那麼兇了 這就是現在AI開發現實 至於那些說未來會進 03/01 19:34
→ HaHadog: 步的 可能連現在語言模型的基礎原理是什麼都不知道先吹再 03/01 19:34
→ HaHadog: 說 03/01 19:34
→ gtr22101361: ?? 03/01 19:36
推 Chricey: UC2對膝蓋特別有用嗎?有人能證實嗎? 03/01 19:36 推 tsairay: 從AI開發得利最大的是那些自有資料中心的大公司 03/01 19:43
→ tsairay: 他們token多半是無限使用的,才能獲益如此巨大 03/01 19:44
推 ZielC: 但會不會就是因為本地模型,上下文容量與產token能力不足 03/01 21:47
→ ZielC: ,才只能讓他閱讀部份的代碼無法觀察全局導致你文中的情境 03/01 21:47
推 Chricey: 關節痛就老人病 03/01 21:47 → ZielC: ?當然本地化的保密需求是外部AI model永遠無法滿足的 03/01 21:47
推 ZMTL: 我看下來這好像不是LLM的問題... 03/01 22:18
→ ZMTL: 這個場景本身就已經只有頂尖Model的選擇了,本地自訓練的 03/01 22:20
→ ZMTL: 就要先考慮推理能力落差,再來會2000個dev排隊這是治理問題 03/01 22:20
推 Chricey: 哇勒,UC2 這個東西真的是太讚了 03/01 22:20 推 aspirev3: 0>1 AI很神 1>100真的就還好 專案越大人越多就越還好 03/01 22:39
推 abc21086999: 人家脈絡都說了,不就是不能用外面的嗎 03/01 22:47
→ abc21086999: 而且LLM做事情無視規則真的蠻常遇到的 03/01 22:47
→ ZMTL: 我知道情境不能用外面啊,但不是那幾個頂級的推理model就 03/01 23:08
推 Chricey: 我有在用UC2,感覺效果還不錯欸! 03/01 23:08 → ZMTL: 不太適合拿來類比啊,能力真的有差 03/01 23:08