訓練家的佈弱格-Patch1.2

The BLOG of trainer



編輯日期:2026-07-30 16:10

類型:電腦應用
作者:羽山
文章時間:2026-07-30 16:10:43
瀏覽人數:38人
標題: 3waAIHub
網址:http://demo.3wa.tw/blog/blog.php?id=2190
內容:
Podcast 聊聊
     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    GIS GROUP × GIDAY 2026 GIS 集團- AI 服務平台 把分散的 GPU ,變成可治理、可使用、可 投資的企業能力 AI 算了吧 ... 08.07 · 企業算力治理提案 買的是 GPU ,累積的是企業能力。 01 02 WHY NOW I²C+S 不只連結人,也應該連結算力 「一個人努力走不遠, 但一群人努力,可以走得很遠。」 一台強的電腦也走不了很遠; 但一群被治理、能協作的電腦, 可以走得很遠。 這就是 AIHub 的集團意義。 I²C+S I Integration 主機+技術+服務 I Interoperability 跨節點協同供應 C Communication 狀態+用量可見 S Sharing 共享多餘算力 02 03 THE GAP 買到 AI 主機,不等於建立 AI 能力 01 專案各自採購 規格、環境與責任人分散 02 服務各自安裝 同一能力反覆建置 03 權限散落 Token 與可用範圍難追查 04 GPU 同時閒置與壅 塞 需求看不到彼此 硬體投資 專案孤島 維運風險 ROI 看不見 問題不是 GPU 不夠,而是缺少把 GPU 變成服務的治理層。 03 04 THE PRODUCT AIHub 把主機投資,轉成可治理的服務供應鏈 01 AI 主機 GPU / CPU 02 HubPack 標準安裝 03 Service Mode 統一介面 04 Account / Token 授權範圍 05 Router / Logs 調度與追查 18 個 HubPack 目錄 安裝、健康檢查、 API 文件與 Benchmark 。 實機快照: 3waAIHub HubPack 市集, 2026-07-30 。 04 05 PROOF 不是 PoC :節點已連線,服務已被呼叫 3 啟用節點 內網+ nature + demo.3wa.tw 14 已安裝服務 本機服務清單 1,037 API 呼叫 已寫入存取記錄 19 已觀測 Mode 跨服務介面 今天已能看到 節點健康、 VRAM 、服務與 工作狀態 資料來源:統一入口 SQLite 與主控台;快照 2026-07-30 。 05 06 DEPLOYMENT 1 個統一入口,讓 3 台主機成為一個服務面 UNIFIED ENTRY demo.3wa.tw Router 單一 API 入口 A 3waAIHub Local 內網節點 GPU 尚未回報 2 modes B Focusit AIHub Local RTX 5090 32,607 MB VRAM 11 modes C demo.3wa.tw 服務節點 RTX 5060 Ti 16,311 MB VRAM 7 modes 身份驗證 Mode 路由 健康+ VRAM 用量紀錄 拓樸為統一入口視角; VRAM 與 Mode 取自 2026-07-30 節點快照。 06 07 GOVERNANCE 真正的治理,發生在每一次 API 呼叫 WHO 帳號 誰在使用 KEY Token 能否進入 WHAT Mode 權限 能用什麼 WHERE 節點路由 派去哪裡 PROOF Logs / Usage 結果與成本 誰? member_id / token_id 能用什麼? service permission / mode 派去哪裡? station / health / VRAM 結果如何? status / elapsed / bytes 實機截圖中的 Cluster Token 已遮蔽。 07 08 CAPACITY 有 GPU ,不等於有可用 VRAM 目前節點快照 Focusit / RTX 5090 98.8% 已用 demo.3wa.tw / RTX 5060 Ti 35.7% 已用 內網節點 GPU 尚未回報 HubPack 宣告最低 VRAM GPU Audio Cleanup 8.192 GB VoxCPM2 TTS 9.6 GB TranslateGemma 12B 10 GB SAM3 16 GB Gemma 4 12B 16 GB 這張快照說了什麼? 32 GB 節點近滿載 16 GB 節點仍有空間 缺的不是「更多卡」這個單 一答案, 而是先看見容量、再做路由 與採購。 HubPack 最低 VRAM ≠ 實測峰值;實際用量受模型、量化、批次、上下文與併發影響。 08 09 BALANCE 不是每台都買最大,是讓每張卡都被看見 今天的快照 治理後的目標 內網節點 N/A RTX 5090 99% RTX 5060 Ti 36% 同時存在: 一台近滿載、一台有餘裕、一台沒有資料。 1 依 Mode 找得到服務 2 依健康與 VRAM 選節點 3 排隊、超時、失敗都有紀錄 4 讓採購決策有實際使用證據 降低等待 提高共用 延後重複採購 負載平衡是治理目標;目前快照僅代表當下容量狀態。 09 10 AUDIENCE 不同角色,從同一平台拿到不同答案 ENG 工程師 一個 endpoint 一個 Token 可複製範例 SA SA /規劃師 節點、 Pack 、 VRAM 可重用架構 PM PM 呼叫、成功率、容量 可說明範圍與成本 ROI 主管/外賓 資產利用、服務能力 可看見投資成果 現場 Demo 路線 DEMO 1 Token → Edge TTS 證明工程師能立即介接 DEMO 2 文件/地址/影像 證明能力能跨專案重用 DEMO 3 Agent → AIHub Tools 證明未來能由意圖調度 每個 Demo 都回到同一條治理鏈:身份、權限、路由、紀錄。 10 11 LIVE API Demo 1 |拿到 Token ,工程師就能呼叫服務 01 選擇 mode=edge_tts 同一入口也能切換 OCR 、地 址、 YOLO 、 chat 02 調整參數 voice / rate / volume / pitch / subtitles 03 複製程式碼 curl / PHP / JavaScript 直接介接 同一呼叫模式,跨越不同服務與節點。 畫面中的 Bearer Token 為示意字串,不包含真實金鑰。 11 12 REUSE Demo 2 |專案功能,變成可重用的服務鏈 A 技術文件 PDF → DocParser / OCR → Markdown / 圖片 → RAG B 台灣地址 混亂門牌 → Wash / Geocode → GIS 專案資料 C 影像任務 Image → 去背 / YOLO / BioCLIP / SAM3 → 空 間流程 重用的不是一個模型, 而是一條可治理的能力鏈。 一次標準化 多專案呼叫 同一套 Token 、路由、工作狀態與 artifacts 。 文件工作流圖為概念視覺; Demo 以 3waAIHub 實際服務為準。 12 13 ECONOMICS 有 Token 與用量紀錄,才有共享與計價的底座 WHO 帳號/ Token WHAT Mode /服務 WHERE 子節點 RESULT 成功/失敗/容量 配額 Quota 預算 Budget 內部分攤 Chargeback 對外服務 Service 實機用量畫面已遮蔽會員與 Token ;計價流程為治理機制示意。 13 14 NEXT Agent 會把 AIHub 變成可行動的企業能力層 01 使用者意圖 Hermes OpenAI Agents 其他 Agent 02 治理與核准 身分/ Token Allowed tools 敏感動作核准 03 AIHub Cluster 統一 API Mode 路由 節點健康/ VRAM 04 內部工具 Doc / OCR Address / Vision TTS / LLM 05 Trace & Usage 工具呼叫 結果/錯誤 用量/成本 90 天落地路線 0–30 盤點與治理 節點/ Token /健康/用量 31–60 標準化與 Demo HubPack /範例/權限 61–90 Agent 與計價試點 Tools /核准/ Chargeback OpenAI 官方文件: Agents SDK 支援 tools 、 handoffs 、 guardrails 、 tracing ; Responses API 可連接 remote MCP ,敏感工具可要求核准。 來源: developers.openai.com/api/docs/guides/agents 、 tools-connectors-mcp ;存取 2026-07-30 。 14 15 INSIDE THE PRODUCT 安裝 AIHub 之後, 一台主機開始長出手腳 Market 提供能力, HubPack 標準化安裝, API 讓工程師與 Agent 快速組合。 接下來,拆開系統看。 15 16 CAPABILITY AIHub 讓硬體一次獲得多種可組合能力 看 OCR / YOLO / SAM / BiRefNet 聽說 ASR / TTS / Audio Cleanup 思考 LLM / RAG /翻譯/地址清 洗 不是裝一個模型,是取得一組可治理的數 位手腳。 依目前 18 個 HubPack 能力分類整理;單一節點可按硬體條件選擇安裝。 16 17 MARKET Market 是企業 AI 能力目錄,不只是模型倉庫 SEE 看懂影像 SAM3 · YOLO · OCR · BiRefNet READ 讀懂文件 Docparser · PPStructure · RAG TALK 聽與說 Whisper ASR · Edge TTS · VoxCPM ACT 完成任務 地址清洗 · 網頁截圖 · 音訊清理 18 個現有 Pack ,可依節點條件逐步擴充 Market 實機畫面與本機 packs/ 目錄快照: 2026-07-30 。 17 18 INSTALL 從按下安裝,到可被 API 呼叫,是一條標準流程 01 選 Pack 用途/硬體需求 02 Preflight Docker / VRAM / Port 03 安裝 環境與相依套件 04 設定 URL /模型/參數 05 啟動 Service runtime 06 健康檢查 Ready 才啟用 07 API 測試 範例與回應 08 Benchmark 容量與品質 失敗時停在該步驟,留下可追查紀錄 成功後才成為可授權、可測試的服務 流程依 AIHub 現有安裝、設定、啟動、健康檢查與 Benchmark 操作整理。 18 19 PACK 一個 HubPack ,把重複研發工作包成共同規格 HubPack 可安裝能力單元 用途與版本 pack.json 硬體門檻 GPU / VRAM / Disk 執行環境 Docker / CLI / Service 健康契約 ready / timeout / error API 契約 mode / input / output 維運工具 logs / rebuild / benchmark 標準化的價值:一次解決安裝、介面、檢查與維運,不讓每個專案重做。 19 20 OPERATIONS 工具上線之後,仍要被持續治理 01 安裝 版本與相依 INSTALL 02 執行 服務狀態 RUN 03 觀測 Logs / Usage OBSERVE 04 更新 Pack /模型 UPDATE 05 重建 環境復原 REBUILD 06 退場 停止與封存 RETIRE 安裝不是終點;可觀測、可更新、可退場,才是企業平台。 20 21 ARCHITECTURE 這不是一個工具頁,而是一張企業 AI 服務網路 需求端 DEV 工程師 PLAN PM / SA APP 系統 AGENT Agent 統一入口 AUTH 帳號/ Token POLICY 權限/ Quota ROUTER Mode /節 點 APPROVAL 敏感動作 TRACE 請求/結果 算力供應端 Station A 3wa 主端點/ GPU Station B Focusit / GPU Station C 內網節點/ GPU 服務層 VISION OCR / SAM / YOLO LANGUAGE LLM / RAG /翻譯 AUDIO ASR / TTS GIS 地址/文件/網頁 治理資料 MARKET Pack /版本 REGISTRY 服務/端點 USAGE Token /用量 LOGS API /任務/系 統 METRICS 健康/容量 概念架構依 AIHub 現有後台、 Cluster 、 Pack 、 Token 、 Router 、 Logs 與 Metrics 功能整理。 21 22 REQUEST PATH 一次 API 呼叫,背後經過七個治理檢查點 01 帶 Token WHO 02 驗權限 CAN 03 選 Mode WHAT 04 挑節點 WHERE 05 跑服務 DO 06 留紀錄 TRACE 07 回結果 RESULT 同一支 API ,能被不同人、不同 Agent 使用;治理與稽核仍留在同一入口。 22 23 CONTROL PLANE 後台不是一頁,而是一個 AI 治理控制面 BUILD 安裝套件 能力供應 ACCESS 客戶/ API 金鑰 誰能用 CLUSTER 節點管理 在哪裡跑 TEST 測試中心 能不能用 TRACE 記錄中心 發生什麼 CONFIG 環境/設定 怎麼維運 實機導覽截圖:控制台、 Pack 、客戶、 Token 、 Cluster 、測試、記錄、環境與設定。 23 24 OBSERVABILITY 記錄中心,是 AI 平台的黑盒子與學習回路 執行歷程 任務跑了什麼 API 記錄 誰呼叫哪個 Mode 背景工作 排程與長任務 服務記錄 容器與模型狀態 系統記錄 平台事件與錯誤 TRACE 可還原的事件鏈 維運 哪個服務壞了? 容量 哪台主機太忙? 治理 誰用了多少? 產品 哪個能力最需要? 沒有記錄,只能猜;有了記錄,才可以改善、計價與治理。 24 25 ROLE 01 普通顯卡工程師:不再被環境安裝困在第一公里 BEFORE CUDA ? 模型? Docker ? 一半時間在裝環境, 還沒做到功能就先放棄。 AFTER curl / SDK → AIHub API 家裡的 GPU 仍可貢獻, 重心回到應用與創意。 角色漫畫為情境示意;實際可用服務與效能依節點硬體與授權而定。 25 26 ROLE 02 Cluster 工程師:數十台主機,開始像一個產品運作 從逐台 SSH… AIHub 統一治理平面 NODE 01 GPU / Service Health / VRAM NODE 02 GPU / Service Health / VRAM NODE 03 GPU / Service Health / VRAM NODE 04 GPU / Service Health / VRAM 到看見健康、容量、服務與使用者。 26 27 ROLE 03 PM +規劃師:知道地端能力,創意才有落點 「能不能把 3,000 份文 件 變成可查詢的知識?」 「能不能把現勘影像 自動轉成圖台線索?」 「能不能先做 Dem o ?」 問題 需求語言 Market 能力組合 Playground 快速驗證 API 專案整合 Usage 量化價值 平台把「不知道能不能」變成「今天先跑一次」。 27 28 AGENT VISION 「 2077 竄網使」: Agent 在治理邊界內穿梭工具 AGENT WEB OCR GEO VISION LLM TTS OUTPUT 地圖線索 任務摘要 語音回報 完整 Trace Token 、 Allowed tools 、核准與 Trace ,讓 Agent 不是無限制亂竄。 願景示意: Agent 工具選擇仍受權限、核准與平台政策限制。 28 29 AGENT ERA 從「小龍蝦」到 Hermes :工具會用,還要會協作 小龍蝦時代 一個指令 一個工具 一次結果 人手動換頁、貼資料、 追錯誤、補上下文。 Hermes / Agent 時代 PLAN 拆解多步任務 TOOLS 選擇允許的工具 HANDOFF 交給合適角色 TRACE 留下完整行動軌跡 AIHub 提供的,是可治理、可替換的工具底 座。 Hermes 為 Agent 願景示例; OpenAI Agents SDK 支援 tools 、 handoffs 、 guardrails 與 tracing 。 29 30 AGENT DEMO 一個現勘任務,可以串成七段自動化服務 01 接收任務 自然語言 02 開網頁 Screenshot 03 讀內容 OCR / Doc 04 洗地址 Taiwan GEO 05 看影像 Vision 06 產摘要 LLM / RAG 07 回報 TTS + Trace 每一步都能替換模型、改節點、做核准;應用不用重寫整套基礎設施。 情境示意; Responses API 可使用 function calling 與 remote MCP 連接工具,敏感工具可要求核准。 30 31 FUTURE 未來 Market :能力越多,治理要比模型成長得更快 能力層 IMAGE 圖片生成 VIDEO 影片生成 3D 3D 建模 SPATIAL 空間 AI DOC 文件智慧 AGENT 多 Agent 協作 治理層 REGISTRY 版本/來源 POLICY 權限/核准 EVALS 品質/安全 CAPACITY VRAM /排程 ECONOMICS Quota /計價 新模型帶來驚喜;治理讓驚喜可被企業放心使用。 圖片生成、影片生成、 3D 與多 Agent 協作為未來能力展望,非現況承諾。 31 32 CALL TO ACTION 下一台 AI 主機,不再是孤島 一台強的電腦,也走不了很遠。 一群被治理、能協作的電腦,可以走得很遠。 INTEGRATION 把 GPU 連起來 INTEROPERABILITY 把服務標準化 COMMUNICATION 把狀態與用量看清楚 SHARING 把多餘算力共享出去 買的是 GPU ,累積的是企業能力。 AI 算了吧 ... · GIDAY 08.07 32

    首頁  上十頁  上一頁  1 下一頁    最末頁 (總共有...1頁)

    第 1 頁

    有話要說  看留言 【0】
    其他分類
    當月訓練
    (2026-07-30)
    【電腦應用】3waAIHub

    最新訓練
    (2026-07-30)
    【電腦應用】3waAIHub

    (2026-06-27)
    【KTM 390】KTM Duke390 離合器軸承故障

    (2026-04-22)
    【Arduino】555 輸出 25KHz有占空比的 PWM 控制四線式風扇

    (2026-04-17)
    【Toyota YARIS】Yaris 更換搖控器電池

    (2026-04-14)
    【Arduino】ATTiny85輸出25KHz有占空比的 PWM 控制四線式風扇

    (2026-04-07)
    【3WA日常】光陽單二卡鉗(歐Sir)

    (2026-04-04)
    【Suzuki GSXS-1000F】GSXS 自製鋰鐵電池

    (2026-03-23)
    【KTM 390】KTM Duke390 更換後輪氣嘴芯

    (2026-03-06)
    【電腦應用】維修羅技M190中鍵滾輪

    (2026-02-18)
    【電腦應用】基納二極體測試機