fly51fly (@fly51fly)

대규모 언어모델의 추론 효율을 높이기 위한 토큰 효율적 추론 연구입니다. 규제된 프롬프트 최적화를 통해 적은 토큰으로 더 나은 reasoning을 목표로 하며, LLM 비용 절감과 성능 최적화에 유용한 접근입니다.

https://x.com/fly51fly/status/2045253866334343298

#llm #promptoptimization #tokenefficiency #reasoning #research

Universal Claude.md – cut Claude output tokens by 63%

https://github.com/drona23/claude-token-efficient

#HackerNews #UniversalClaude #ClaudeOutputTokens #TokenEfficiency #AIResearch #HackerNews

AISatoshi (@AiXsatoshi)

작은 개선을 꾸준히 쌓는 방식의 장점을 칭찬하는 글로, 대박을 노리는 접근이 아니라 직교하는 10% 내외의 개선을 착실히 반복하고 성능 자체보다 Token Efficiency(토큰 효율성)에 초점을 맞춰 '같은 loss에 도달하는 시간'을 얼마나 단축했는지에 주목해야 한다는 연구·개발 방식에 대한 의견이다.

https://x.com/AiXsatoshi/status/2034416383338139887

#tokenefficiency #modelefficiency #optimization #research

Vaibhav (VB) Srivastav (@reach_vb)

GPT-5.3-Codex가 더 낮은 토큰 사용량으로 더 나은 성능을 제공한다는 짧은 공지. 속도 및 토큰 효율 개선을 강조하며, 동일한 작업에서 출력 토큰이 적게 소모되면서 성능이 향상되었다고 알림.

https://x.com/reach_vb/status/2027467276149022949

#gpt #codex #llm #tokenefficiency

ISON: Tiết kiệm 70% token so với JSON, tối ưu cho LLM. Dữ liệu rõ ràng, dễ đọc, không cần hướng dẫn thêm. Hỗ trợ table, object, liên kết dòng, không cần escaping. Chính thức hỗ trợ Python, TypeScript, Rust, Go, VS Code. Mở rộng: ISONL (dữ liệu lớn), ISONantic (xác thực). Lý tưởng cho hệ thống nhớ của agent AI. #ISOL #LLM #JSON #AI #TokenEfficiency #MáyHọc #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1q19nel/ison_70_fewer_tokens_than_json_built_for_llm/

Ra mắt CompText, một hệ sinh thái mã nguồn mở giúp giảm đáng kể lượng token sử dụng cho các mô hình ngôn ngữ lớn (LLM) cục bộ và đám mây. Sử dụng DSL để định nghĩa và gọi lại các lệnh bằng mã ngắn, giúp tiết kiệm VRAM, tăng tốc độ suy luận và mở rộng cửa sổ ngữ cảnh. Hỗ trợ nhiều nền tảng, mã nguồn mở MIT.
#CompText #LLM #MãNguồnMở #TiếtKiệmToken #TríTuệNhânTạo #OpenSource #TokenEfficiency #AI

https://www.reddit.com/r/LocalLLaMA/comments/1pdzhjn/comptext_tokenefficient_dsl_for_local_and_cloud/

Can you save on LLM tokens using images instead of text?

https://pagewatch.ai/blog/post/llm-text-as-image-tokens/

#HackerNews #LLMtokens #Images #Saving #TextOptimization #TokenEfficiency

TONL là định dạng dữ liệu mới, hứa hẹn giảm tới 50% token so với JSON, tối ưu cho kỷ nguyên AI/LLM. Được Ersin Koç phát triển, TONL giúp tiết kiệm chi phí và tăng hiệu quả xử lý dữ liệu cho các mô hình ngôn ngữ lớn. Dễ đọc, hỗ trợ schema và khả năng truy vấn. Mới ra mắt nhưng rất đáng để tìm hiểu!
#TONL #DataFormat #AI #LLM #TokenEfficiency
#ĐịnhDạngDữLiệu #TríTuệNhânTạo #TiếtKiệmToken

https://www.reddit.com/r/opensource/comments/1oqye5o/tonl_a_new_data_format_promising_up_to_50_fewer/

Bài viết đánh giá các thuật ngữ Chain of Thought (COT) phổ biến mà các mô hình ngôn ngữ lớn (LLM) sử dụng như "Zeroing", "Synthesizing", "Hmm", "Confidence Score" và "Alternatively". Mỗi thuật ngữ được chấm điểm dựa trên hiệu quả, mức độ khó chịu và số lượng token. Nhược điểm lớn nhất là việc sử dụng các thuật ngữ này có thể làm tăng đáng kể số lượng token, dẫn đến chi phí API cao hơn.
#LLM #ChainOfThought #AITerms #TokenEfficiency #DeepLearning #AI #MôHìnhNgônNgữ #HiệuSuấtAI

https://www.reddit

🚀 Stop guessing. Start simulating.

Most AI teams waste thousands on GPU provisioning because they don’t forecast.
Discover how Token Per Dollar (TPD) is transforming LLM infrastructure planning—cutting costs by 40% and boosting output by 2.6x 💡⚙️

💥 This is not just about hardware—it's about foresight.

🔗 Read now:
https://medium.com/@rogt.x1997/youre-wasting-tokens-why-most-ai-teams-fail-at-gpu-forecasting-2b8f8c56ebe3

#GPUforecasting #AIinfrastructure #TokenEfficiency #GenAI
https://medium.com/@rogt.x1997/youre-wasting-tokens-why-most-ai-teams-fail-at-gpu-forecasting-2b8f8c56ebe3