Merge pull request google-cloud-japan#62 from google-cloud-japan/use_function

Use own fetch function instead of load_web_page

Author: hasebe

2025/adk-agentengine-basic/pyproject.toml

@@ -1,13 +1,12 @@
 [project]
 name = "adk-agentengine-basic"
-version = "0.1.0"
+version = "0.2.0"
 description = "Hands-on asset for Agent Development Kit and Agent Engine basic level"
 readme = "README.md"
 requires-python = ">=3.13"
 dependencies = [
-    "beautifulsoup4>=4.13.4",
     "google-adk>=1.8.0",
-    "lxml>=6.0.0",
+    "trafilatura>=1.6.1",
 ]
 
 [dependency-groups]

2025/adk-agentengine-basic/step02/agent.py

@@ -1,10 +1,25 @@
 from google.adk.agents import LlmAgent
-from google.adk.tools.load_web_page import load_web_page
+from trafilatura import extract, fetch_url
 
 MODEL_GEMINI_2_5_PRO="gemini-2.5-pro"
 MODEL_GEMINI_2_5_FLASH="gemini-2.5-flash"
 MODEL_GEMINI_2_5_FLASH_LITE="gemini-2.5-flash-lite"
 
+def fetch(url: str) -> str:
+    """指定されたURLのコンテンツを取得し、マークダウン形式で返却します。
+
+    Args:
+        url (str): コンテンツを取得するURL
+    
+    Returns:
+        str: マークダウン形式のURL先のコンテンツ。取得に失敗した場合は、"コンテンツの取得に失敗しました。"を返却します。
+    """
+    downloaded = fetch_url(url)
+    result = extract(downloaded, output_format="markdown", with_metadata=True)
+    if result is None:
+        return "コンテンツの取得に失敗しました。"
+    return result
+
 agent = LlmAgent(
     name="learning_assistant",
     model=MODEL_GEMINI_2_5_FLASH,
@@ -17,15 +32,15 @@
     -   質問にURLが含まれているか確認してください。
 
 2.  **情報収集 (URLがある場合)**:
-    -   質問にURLが含まれている場合、`load_web_page` ツールを必ず使用して、ウェブページの内容を取得してください。
-    -   `load_web_page` ツールが失敗した場合や、URLから有益な情報を得られなかった場合は、その旨をユーザーに明確に伝えた上で、自身の知識で回答を試みてください。
+    -   質問にURLが含まれている場合、`fetch` ツールを必ず使用して、ウェブページの内容を取得してください。
+    -   `fetch` ツールが失敗した場合や、URLから有益な情報を得られなかった場合は、その旨をユーザーに明確に伝えた上で、自身の知識で回答を試みてください。
 
 3.  **回答生成**:
     -   **URLから情報を取得した場合**: 取得した内容のみを情報源として、ユーザーの質問に回答してください。取得した情報にないことは回答に含めず、事実に基づいた客観的な回答を心がけてください。
     -   **URLがない場合**: あなた自身の知識を用いて、ユーザーの質問にできる限り正確かつ詳細に回答してください。
     -   回答は、常に中立的で分かりやすい言葉で構成してください。
 """,
-    tools=[load_web_page]
+    tools=[fetch]
 )
 
 root_agent = agent

2025/adk-agentengine-basic/step02/answer.py

@@ -1,10 +1,25 @@
 from google.adk.agents import LlmAgent
-from google.adk.tools.load_web_page import load_web_page
+from trafilatura import fetch_url, extract
 
 MODEL_GEMINI_2_5_PRO="gemini-2.5-PRO"
 MODEL_GEMINI_2_5_FLASH="gemini-2.5-flash"
 MODEL_GEMINI_2_5_FLASH_LITE="gemini-2.5-flash-lite"
 
+def fetch(url: str) -> str:
+    """指定されたURLのコンテンツを取得し、マークダウン形式で返却します。
+
+    Args:
+        url (str): コンテンツを取得するURL
+    
+    Returns:
+        str: マークダウン形式のURL先のコンテンツ。取得に失敗した場合は、"コンテンツの取得に失敗しました。"を返却します。
+    """
+    downloaded = fetch_url(url)
+    result = extract(downloaded, output_format="markdown", with_metadata=True)
+    if result is None:
+        return "コンテンツの取得に失敗しました。"
+    return result
+
 agent = LlmAgent(
     name="learning_assistant",
     model=MODEL_GEMINI_2_5_FLASH,
@@ -17,15 +32,15 @@
     -   質問にURLが含まれているか確認してください。
 
 2.  **情報収集 (URLがある場合)**:
-    -   質問に1つまたは複数のURLが含まれている場合、各URLに対して `load_web_page` ツールを必ず使用して、ウェブページの内容を取得してください。
-    -   `load_web_page` ツールが失敗した場合や、URLから有益な情報を得られなかった場合は、その旨をユーザーに伝えた上で、自身の知識で回答を試みてください。
+    -   質問に1つまたは複数のURLが含まれている場合、各URLに対して `fetch` ツールを必ず使用して、ウェブページの内容を取得してください。
+    -   `fetch` ツールが失敗した場合や、URLから有益な情報を得られなかった場合は、その旨をユーザーに伝えた上で、自身の知識で回答を試みてください。
 
 3.  **回答生成**:
     -   **URLから情報を取得した場合**: 取得したすべての内容を唯一の情報源として、ユーザーの質問に回答してください。取得した情報にないことは回答に含めず、事実に基づいた回答を心がけてください。
     -   **URLがない場合**: あなた自身の知識を用いて、ユーザーの質問にできる限り正確かつ詳細に回答してください。
     -   回答は、常に中立的で分かりやすい言葉で構成してください。
 """,
-    tools=[load_web_page]
+    tools=[fetch]
 )
 
 root_agent = agent

2025/adk-agentengine-basic/step04/agent.py

@@ -1,8 +1,6 @@
 from google.adk.agents import LlmAgent
 from google.adk.tools.agent_tool import AgentTool
-from google.adk.tools.mcp_tool import StdioConnectionParams
-from google.adk.tools.mcp_tool.mcp_toolset import MCPToolset
-from mcp import StdioServerParameters
+from trafilatura import extract, fetch_url
 
 MODEL_GEMINI_2_5_PRO="gemini-2.5-pro"
 MODEL_GEMINI_2_5_FLASH="gemini-2.5-flash"
@@ -48,6 +46,21 @@
     tools=[AgentTool(agent=podcast_writer_agent,)],
 )
 
+def fetch(url: str) -> str:
+    """指定されたURLのコンテンツを取得し、マークダウン形式で返却します。
+
+    Args:
+        url (str): コンテンツを取得するURL
+    
+    Returns:
+        str: マークダウン形式のURL先のコンテンツ。取得に失敗した場合は、"コンテンツの取得に失敗しました。"を返却します。
+    """
+    downloaded = fetch_url(url)
+    result = extract(downloaded, output_format="markdown", with_metadata=True)
+    if result is None:
+        return "コンテンツの取得に失敗しました。"
+    return result
+
 agent = LlmAgent(
     name="learning_assistant",
     model=MODEL_GEMINI_2_5_FLASH,
@@ -60,7 +73,7 @@
     -   もしURLが含まれていない場合は、「ポッドキャスト台本を作成したいウェブページのURLを教えてください。」と返答してください。
 
 2.  **情報収集 (URLがある場合)**:
-    -   質問に1つまたは複数のURLが含まれている場合、各URLに対して `fetch` ツールを必ず使用して、ウェブページの内容を取得してください。その際、`max_length` パラメータに `100000` を指定してください。
+    -   質問に1つまたは複数のURLが含まれている場合、各URLに対して `fetch` ツールを必ず使用して、ウェブページの内容を取得してください。
     -   `fetch` ツールが失敗した場合は、「申し訳ありません。指定されたURLから情報を取得できませんでした。URLが正しいかご確認ください。」と返答してください。
 
 3.  **コンテンツの準備**:
@@ -72,19 +85,7 @@
 5.  **最終出力**:
     -   `podcast_creator_agent` から受け取った最終的な台本を、そのままユーザーに提示してください。
 """,
-    tools=[
-        MCPToolset(
-            connection_params=StdioConnectionParams(
-                server_params=StdioServerParameters(
-                    command='uvx',
-                    args=[
-                        "mcp-server-fetch",
-                    ],
-                ),
-                timeout=20,
-            ),
-        ),
-    ],
+    tools=[fetch],
     sub_agents=[podcast_creator_agent,]
 )
 

2025/adk-agentengine-basic/step04/requirements.txt

@@ -2,3 +2,4 @@ google-cloud-aiplatform[adk,agent_engines]==1.106.0
 cloudpickle==3.1.1
 uv==0.8.4
 pydantic==2.11.7
+trafilatura==1.6.1

2025/adk-agentengine-basic/step05/agent.py

@@ -1,9 +1,7 @@
 from google.adk.agents import LlmAgent
 from google.adk.tools import load_artifacts
 from google.adk.tools.agent_tool import AgentTool
-from google.adk.tools.mcp_tool import StdioConnectionParams
-from google.adk.tools.mcp_tool.mcp_toolset import MCPToolset
-from mcp import StdioServerParameters
+from trafilatura import extract, fetch_url
 
 from .tools import podcast_speaker
 
@@ -54,6 +52,21 @@
     tools=[AgentTool(agent=podcast_writer_agent,), podcast_speaker, load_artifacts],
 )
 
+def fetch(url: str) -> str:
+    """指定されたURLのコンテンツを取得し、マークダウン形式で返却します。
+
+    Args:
+        url (str): コンテンツを取得するURL
+    
+    Returns:
+        str: マークダウン形式のURL先のコンテンツ。取得に失敗した場合は、"コンテンツの取得に失敗しました。"を返却します。
+    """
+    downloaded = fetch_url(url)
+    result = extract(downloaded, output_format="markdown", with_metadata=True)
+    if result is None:
+        return "コンテンツの取得に失敗しました。"
+    return result
+
 agent = LlmAgent(
     name="learning_assistant",
     model=MODEL_GEMINI_2_5_FLASH,
@@ -66,7 +79,7 @@
     -   もしURLが含まれていない場合は、「ポッドキャスト音声を生成したいウェブページのURLを教えてください。」と返答してください。
 
 2.  **情報収集 (URLがある場合)**:
-    -   質問に1つまたは複数のURLが含まれている場合、各URLに対して `fetch` ツールを必ず使用して、ウェブページの内容を取得してください。その際、`max_length` パラメータに `100000` を指定してください。
+    -   質問に1つまたは複数のURLが含まれている場合、各URLに対して `fetch` ツールを必ず使用して、ウェブページの内容を取得してください。
     -   `fetch` ツールが失敗した場合は、「申し訳ありません。指定されたURLから情報を取得できませんでした。URLが正しいかご確認ください。」と返答してください。
 
 3.  **コンテンツの準備**:
@@ -78,19 +91,7 @@
 5.  **最終出力**:
     -   `podcast_creator_agent` から受け取った最終的な音声ファイルを、そのままユーザーに提示してください。
 """,
-    tools=[
-        MCPToolset(
-            connection_params=StdioConnectionParams(
-                server_params=StdioServerParameters(
-                    command='uvx',
-                    args=[
-                        "mcp-server-fetch",
-                    ],
-                ),
-                timeout=20,
-            ),
-        ),
-    ],
+    tools=[fetch],
     sub_agents=[podcast_creator_agent,]
 )