Tokenless (YC S26) – モデルの自動切り替えでコストを節約
Launch HN: Tokenless (YC S26) – Automatic model switching to save money (usetokenless.com)
要約
Tokenlessは、AIモデルのAPIゲートウェイであり、複数のAIモデル間でトラフィックを動的にルーティングすることで、AI利用コストを削減します。高価な最先端モデルと安価で改善中のオープンソースモデルを組み合わせ、必要に応じて賢いモデルに切り替えることで、コスト効率と性能を両立させます。同社は、この技術によりClaude Fable 5と同等の性能を半額で実現できると主張しています。
全文翻訳
HNの皆さん、こんにちは。Tokenless (https://usetokenless.com/) のRohitです。共同創業者であるAndrewとKevと共に開発しています。私たちが開発しているのは、AIの利用コストを削減するために、異なるモデル間をターンごとに動的にルーティングするAPIゲートウェイです。
AIトークンのコストは多くの人にとって最優先事項です。UberやSalesforceのような企業は、AIへの年間支出が予想よりも早く枯渇してしまうと不満を漏らしています。
最先端モデルは開発作業には素晴らしいですが、非常に高価です。オープンソースモデルは安価で急速に進歩しており、最先端モデルとの差を縮めていますが、まだそこまで到達していません。
Tokenlessは、より難しい処理を必要とする場合にのみ、より賢いモデルにルーティングすることで、両方の長所を提供し、コストを低く抑えます。
Tokenless以前は、プリンストン大学で博士号を取得していました。コーディングエージェントやその他のエージェントを使用する際、AIの支出を学術用のCursorアカウントで最大限に活用するために、モデルの選択に常に悩んでいました。
同時に、LLMの研究をしており、NeurIPS提出シーズンからの回復中に開発した小さなテクニックが、かなり速いペースでSOTA(State-Of-The-Art)に到達したように思えました。そのような単純なアイデアがルーティングをうまくこなせることに驚きました。
私たちは、Claude Fable 5のパフォーマンスに匹敵しながら、コストを半額に抑えることができるルーターのバージョンを開発することに成功しました。ウェブサイトのブログ記事では、その方法に関する技術的な詳細を説明しています(https://usetokenless.com/blog/building-tokenless/)。
ハイライト:
- 私たちのアプローチは、複数のモデルを同時にクエリし、その進捗状況を使用して意思決定を行います(このテクニックは私の知る限り新しいものです。もし他にこの手法を使っている人がいれば教えてください)。
- ルーティングアルゴリズムがキャッシュのホット/コールド状態を認識していれば、モデルを切り替えてもキャッシュは破壊されません。
今後:
- Kimi K3、その他のGPT関連の取り組み、さらに多くのモデルをルーターに追加予定です。
usetokenless.comでサインアップして、あなたのエージェントでTokenlessを試してみてください。20ドルの無料クレジットが付与されます。使い方のデモはこちらです: https://youtu.be/sjZWriclcls
Tokenlessは、より安価に最先端レベルの知能を提供しますので、使用感、ルーターが誤ってルーティングする可能性のあるコーナーケース、そしてルーティングの問題が興味深いと感じるかどうかについて、ぜひフィードバックをお寄せください!