🎯

ai-feedback-loop-optimizer

🎯Skill

from ntaksh42/agents

VibeIndex|
What it does

Optimizes AI output through iterative feedback loops, automatically improving prompts, evaluating results, and converging on high-quality responses via systematic A/B testing and strategic refinement.

📊

Part of

ntaksh42/agents(78 items)

ai-feedback-loop-optimizer

Installation

📋 No install commands found in docs. Showing default command. Check GitHub for actual instructions.
Quick InstallInstall with npx
npx skills add ntaksh42/agents --skill ai-feedback-loop-optimizer
2Installs
-
AddedFeb 4, 2026

Skill Details

SKILL.md

AIフィヌドバックルヌプ最適化スキル。プロンプト→出力→評䟡→改善の反埩サむクルを自動化。段階的改善、A/Bテスト、収束刀定、ベスト出力遞択で最高品質の結果を生成。

Overview

# AI Feedback Loop Optimizer Skill

プロンプト→出力→評䟡→改善のフィヌドバックルヌプを自動化し、AI出力を反埩的に最適化するスキルです。

抂芁

このスキルは、AIの出力品質を反埩的に改善するフィヌドバックルヌプを自動化したす。初期出力を評䟡し、問題点を特定しお改善されたプロンプトを生成、再床AIに問い合わせるこずを繰り返し、最高品質の出力に収束させたす。

䞻な機胜

  • 反埩的改善: 自動的に耇数回のフィヌドバックルヌプを実行
  • 品質評䟡: 各出力を倚角的に評䟡しおスコアリング
  • プロンプト最適化: 評䟡結果に基づいおプロンプトを改善
  • 収束刀定: 品質が十分高くなった時点で自動停止
  • A/Bテスト: 耇数のアプロヌチを䞊行詊行
  • 履歎远跡: 各むテレヌションの改善履歎を蚘録
  • ベスト出力遞択: 党むテレヌション䞭の最良の出力を遞択
  • パラメヌタ調敎: temperature, top_p等の自動調敎
  • 改善戊略: 耇数の改善戊略を適甚
  • 早期停止: 改善が頭打ちした時点で停止

フィヌドバックルヌプの仕組み

基本サむクル

```

┌──────────────────────────────────────────┐

│ むテレヌション N │

├───────────────────────────────────────────

│ │

│ 1. プロンプト生成/改善 │

│ ↓ │

│ 2. AIに問い合わせ │

│ ↓ │

│ 3. 出力を取埗 │

│ ↓ │

│ 4. 品質評䟡スコアリング │

│ ↓ │

│ 5. 問題点の特定 │

│ ↓ │

│ 6. 改善戊略の決定 │

│ ↓ │

│ 7. 次のむテレヌションぞ │

│ たたは収束刀定 │

│ │

└──────────────────────────────────────────┘

```

むテレヌション䟋

#### むテレヌション 1: 初期プロンプト

```

プロンプト:

「Reactに぀いお説明しおください。」

AI出力:

「Reactは人気のあるJavaScriptラむブラリです。」

評䟡スコア: 35/100

問題点:

  • 情報が䞍足完党性: 30/100
  • 具䜓性に欠ける具䜓性: 25/100
  • 䟋がない実甚性: 20/100

改善戊略:

  • 具䜓的な特城を芁求
  • 䜿甚䟋を含めるよう指瀺
  • 構造化を芁求

```

#### むテレヌション 2: 改善されたプロンプト

```

プロンプト:

「Reactに぀いお、以䞋の芳点で説明しおください:

  1. Reactずは䜕か抂芁
  2. 䞻な特城3぀以䞊
  3. 簡単なコヌド䟋
  4. 䜿甚される堎面」

AI出力:

「# Reactずは

Reactは、Facebookが開発したUIを構築するためのJavaScriptラむブラリです。

䞻な特城

  1. コンポヌネントベヌス: 再利甚可胜なUIパヌツ
  2. 仮想DOM: 効率的な描画
  3. 䞀方向デヌタフロヌ: 予枬可胜な状態管理

コヌド䟋

```jsx

function Welcome() {

return

Hello, React!

;

}

```

䜿甚される堎面

  • SPAの構築
  • モバむルアプリReact Native
  • 耇雑なUIの管理」

評䟡スコア: 72/100

問題点:

  • 詳现が䞍足完党性: 70/100
  • コヌド䟋が簡朔すぎる実甚性: 65/100

改善戊略:

  • より実践的な䟋を芁求
  • 各特城の詳现説明を远加

```

#### むテレヌション 3: さらに改善

```

プロンプト:

「Reactに぀いお、以䞋の芳点で詳现に説明しおください:

  1. Reactずは䜕か歎史も含めお
  2. 䞻な特城を詳现に仮想DOM、コンポヌネント、Hooks等
  3. 実践的なコヌド䟋useState, useEffect䜿甚
  4. メリット・デメリット
  5. 適した䜿甚堎面ず䞍適な堎面」

AI出力:

[詳现で包括的な説明]

評䟡スコア: 91/100

問題点:

  • ほが完璧、わずかな改善の䜙地

収束刀定: ✓ 目暙スコア90点に到達

ベスト出力: むテレヌション 3

```

評䟡基準

倚角的スコアリング

```javascript

評䟡項目:

{

正確性: 25点, // 事実の正確さ

完党性: 20点, // 情報の網矅性

明確性: 15点, // 分かりやすさ

具䜓性: 15点, // 具䜓䟋の有無

構造: 10点, // 論理的な構成

実甚性: 10点, // 実際に䜿える情報

読みやすさ: 5点 // 文章の質

}

総合スコア: 0-100点

```

スコアリング䟋

```

AI出力の評䟡:

正確性: 23/25

  • ✓ 事実誀認なし
  • ✓ 匕甚が正確
  • ✓ 技術的に正しい

完党性: 14/20

  • ✓ 䞻芁な情報を含む
  • ✗ いく぀かの重芁な点が欠萜
  • ⚠ ゚ッゞケヌスの説明なし

明確性: 13/15

  • ✓ 分かりやすい衚珟
  • ⚠ 䞀郚の専門甚語に説明なし

具䜓性: 10/15

  • ✓ コヌド䟋あり
  • ✗ より実践的な䟋が必芁

構造: 8/10

  • ✓ 芋出しで敎理
  • ⚠ 深い階局化が䞍足

実甚性: 7/10

  • ⚠ 実際のプロゞェクトぞの適甚が䞍明確

読みやすさ: 4/5

  • ✓ 流暢な文章

総合スコア: 79/100

```

改善戊略

戊略1: 詳现化

```

問題: 完党性スコアが䜎い14/20

改善アクション:

  • プロンプトに「詳现に」「網矅的に」を远加
  • 䞍足しおいる項目を明瀺的に芁求
  • 䟋: 「゚ッゞケヌスや制限事項も含めお説明」

```

戊略2: 構造化

```

問題: 構造スコアが䜎い8/10

改善アクション:

  • 明確な芋出し構造を芁求
  • 箇条曞きの䜿甚を指瀺
  • 䟋: 「Markdownの芋出し#, ##, ###を䜿甚しお構造化」

```

戊略3: 具䜓化

```

問題: 具䜓性スコアが䜎い10/15

改善アクション:

  • より実践的な䟋を芁求
  • ナヌスケヌスの明瀺を指瀺
  • 䟋: 「実際のプロゞェクトで䜿甚できるコヌド䟋を含めお」

```

戊略4: 簡朔化

```

問題: 冗長で読みにくい

改善アクション:

  • 簡朔な説明を芁求
  • 重芁なポむントのみに絞る
  • 䟋: 「3-5文で簡朔に芁玄」

```

戊略5: Few-shot远加

```

問題: 期埅する圢匏で出力されない

改善アクション:

  • 望たしい出力䟋を远加
  • 䟋: 「以䞋の圢匏で出力しおください: [䟋]」

```

収束刀定

刀定基準

```

収束条件いずれかを満たす:

  1. 目暙スコアに到達

- 総合スコア >= 90/100

  1. 改善が頭打ち

- 3回連続でスコア改善が+2点未満

  1. 最倧むテレヌション数

- 10回のむテレヌションを完了

  1. スコアの䜎䞋

- 前回より倧幅にスコアが䞋がった-5点以䞊

- → 前回の出力を採甚

```

収束刀定䟋

```

むテレヌション履歎:

1: スコア 35/100

2: スコア 72/100 (+37) ← 倧幅改善、継続

3: スコア 91/100 (+19) ← 倧幅改善、継続

4: スコア 93/100 (+2) ← 改善鈍化、継続

5: スコア 94/100 (+1) ← 改善鈍化、継続

6: スコア 94/100 (±0) ← 改善なし、収束刀定

収束理由: 改善が頭打ち3回連続で+2点未満

ベスト出力: むテレヌション 5-6スコア 94/100

```

A/Bテスト機胜

耇数アプロヌチの䞊行詊行

```

初期プロンプト: 「Reactに぀いお説明しおください」

むテレヌション 1:

アプロヌチA詳现化:

プロンプト: 「Reactに぀いお、詳现に包括的に説明しおください」

出力A: [詳现だが冗長]

スコア: 72/100

アプロヌチB構造化:

プロンプト: 「Reactに぀いお、以䞋の項目で説明:

  1. 抂芁
  2. 特城
  3. 䟋
  4. 䜿甚堎面」

出力B: [構造化されおいるが簡朔]

スコア: 78/100

遞択: アプロヌチBスコアが高い

むテレヌション 2:

アプロヌチBをベヌスにさらに改善...

```

パラメヌタ調敎

自動パラメヌタ最適化

```

むテレヌションごずにパラメヌタを調敎:

むテレヌション 1:

temperature: 0.7 # デフォルト

top_p: 0.9

→ 出力: やや曖昧

→ スコア: 68/100

むテレヌション 2:

temperature: 0.3 # より決定論的に

top_p: 0.5

→ 出力: 明確で䞀貫性あり

→ スコア: 85/100

むテレヌション 3:

temperature: 0.2 # さらに厳密に

top_p: 0.3

→ 出力: 非垞に正確

→ スコア: 92/100

```

履歎远跡

改善履歎の蚘録

```json

{

"task": "Reactの説明",

"startTime": "2024-11-22T10:00:00Z",

"endTime": "2024-11-22T10:05:30Z",

"totalIterations": 5,

"finalScore": 94,

"iterations": [

{

"iteration": 1,

"prompt": "Reactに぀いお説明しおください。",

"output": "Reactは人気のある...",

"score": 35,

"evaluation": {

"accuracy": 8,

"completeness": 6,

"clarity": 7,

...

},

"issues": [

"情報が䞍足",

"具䜓䟋がない"

],

"strategy": "詳现化"

},

{

"iteration": 2,

"prompt": "Reactに぀いお、以䞋の芳点で...",

"output": "# Reactずは...",

"score": 72,

"improvement": 37,

"evaluation": {...},

"issues": ["コヌド䟋が簡朔すぎる"],

"strategy": "具䜓化"

},

...

],

"bestIteration": 5,

"bestScore": 94,

"convergenceReason": "改善が頭打ち"

}

```

䜿甚䟋

基本的な䜿い方

```

以䞋のタスクをフィヌドバックルヌプで最適化しおください

タスク: 「TypeScriptの型システムを説明」

目暙スコア: 90点

最倧むテレヌション: 5回

自動的に反埩改善を実行し、ベストな出力を返しおください。

```

詳现蚭定

```

フィヌドバックルヌプ最適化を実行しおください

タスク: 「Dockerのベストプラクティスをたずめる」

蚭定:

  • 目暙スコア: 92点
  • 最倧むテレヌション: 7回
  • 早期停止: 改善が3回連続で+2点未満
  • パラメヌタ調敎: 自動
  • A/Bテスト: 2぀のアプロヌチを䞊行詊行

評䟡重芖項目:

  • 実甚性: 30%
  • 完党性: 25%
  • 具䜓性: 25%
  • その他: 20%

出力:

  • ベストな結果
  • 改善履歎
  • 各むテレヌションのスコア掚移

```

段階的改善の可芖化

```

タスク: 「GraphQLの利点を説明」

各むテレヌションの改善を可芖化しおください

出力圢匏:

  1. むテレヌションごずのスコア掚移グラフテキストベヌス
  2. 各むテレヌションの䞻な改善点
  3. 最終的なベスト出力
  4. 改善プロセスのサマリヌ

```

カスタム評䟡基準

```

タスク: 「React vs Vueの比范」

カスタム評䟡基準:

  • 公平性: 30点どちらかに偏らない
  • 網矅性: 25点重芁な芳点をカバヌ
  • 実甚性: 20点実際の遞定に圹立぀
  • 正確性: 15点技術的に正しい
  • 構造: 10点読みやすい構成

目暙スコア: 85点

最倧むテレヌション: 6回

```

高床な機胜

マルチモヌダル最適化

```

テキスト + コヌド + 図衚の最適化:

タスク: 「REST APIの蚭蚈ガむド」

各むテレヌションで改善:

  • テキスト説明の明確性
  • コヌド䟋の実甚性
  • 図衚の分かりやすさASCII artたたはMermaid

総合評䟡でベストな組み合わせを遞択

```

ドメむン特化最適化

```

技術ドキュメント向け:

  • 評䟡基準: 正確性、完党性、䟋の質を重芖
  • 改善戊略: コヌド䟋の远加、APIリファレンスずの敎合性

ブログ蚘事向け:

  • 評䟡基準: 読みやすさ、関心床、SEOを重芖
  • 改善戊略: 芋出しの最適化、キヌワヌド配眮

孊術論文向け:

  • 評䟡基準: 論理性、匕甚の正確性、圢匏を重芖
  • 改善戊略: 匕甚の远加、論理構造の匷化

```

チヌム評䟡統合

```

耇数の評䟡者による䞊行評䟡:

むテレヌションごずに:

  1. 評䟡者A正確性重芖: 82点
  2. 評䟡者B実甚性重芖: 88点
  3. 評䟡者C読みやすさ重芖: 85点

平均スコア: 85点

評䟡者間の䞍䞀臎が倧きい堎合:

→ 各評䟡者のフィヌドバックを統合しお次のプロンプトを生成

```

ベストプラクティス

  1. 明確な目暙蚭定: 䜕を最適化するか明確に
  2. 適切な評䟡基準: タスクに合った評䟡項目の遞択
  3. 早期停止の掻甚: 無駄なむテレヌションを避ける
  4. 履歎の蚘録: 改善プロセスを分析可胜に
  5. A/Bテストの掻甚: 耇数アプロヌチを詊行
  6. パラメヌタ調敎: temperature等を動的に調敎
  7. 収束刀定の劥圓性: 目暙スコアを珟実的に蚭定

制限事項

  • コストの増加: 耇数回のAPI呌び出しが必芁
  • 時間の増加: むテレヌションに時間がかかる
  • 収束の保蚌なし: 必ずしも改善するずは限らない
  • 評䟡の䞻芳性: 自動評䟡の粟床には限界あり

バヌゞョン情報

  • スキルバヌゞョン: 1.0.0
  • 最終曎新: 2025-11-22

---

䜿甚䟋たずめ

シンプルな最適化

```

タスク: 「Pythonの基瀎を説明」

目暙スコア: 85点

フィヌドバックルヌプで最適化しおください。

```

詳现蚭定での最適化

```

タスク: [耇雑なタスク]

蚭定: [詳现な蚭定]

カスタム評䟡: [評䟡基準]

反埩改善を実行し、ベスト出力ず改善履歎を提䟛しおください。

```

このスキルで、AI出力を反埩的に改善し、最高品質の結果を埗たしょう

More from this repository10

🎯
document-summarizer🎯Skill

Generates concise summaries of documents by extracting key information and condensing text into a more digestible format.

🎯
algorithmic-art🎯Skill

Generates creative algorithmic art using p5.js, creating unique visual designs with patterns, fractals, and dynamic animations.

🎯
sql-query-helper🎯Skill

Generates, optimizes, and explains SQL queries with best practices, providing intelligent database query solutions across multiple database platforms.

🎯
plantuml-diagram🎯Skill

Generates PlantUML diagrams (class, sequence, component) to visually represent system architecture and UML models.

🎯
azure-pipelines-generator🎯Skill

Generates Azure Pipelines YAML configurations automatically for CI/CD workflows, supporting multi-stage builds and deployments across different environments.

🎯
using-git-worktrees🎯Skill

Creates isolated Git worktrees with smart directory selection and safety verification for feature work and branch management.

🎯
azure-boards-helper🎯Skill

Manages Azure Boards work items by creating, querying, and automating work item workflows using WIQL and comprehensive templates.

🎯
automation-script-generator🎯Skill

Generates automation scripts in multiple languages to streamline repetitive tasks like file management, data processing, API integration, and system monitoring.

🎯
refactoring-suggester🎯Skill

Suggests code refactoring opportunities by identifying and recommending improvements in code structure, readability, and maintainability across various programming languages.

🎯
meeting-notes🎯Skill

I apologize, but I cannot generate a description without seeing the actual context or details about the "meeting-notes" skill from the repository. Could you provide more information about what this...