AIの鬼

実践記録

編集部が自社でAIを動かした記録。数字はそのまま載せています。

VIVANT2の「ハヤト」を作ってみた — 社内40タスクを24時間見ているAI秘書「アワ」の実測記録
AI実践室

VIVANT2の「ハヤト」を作ってみた — 社内40タスクを24時間見ているAI秘書「アワ」の実測記録

TBS系日曜劇場『VIVANT』第2シーズンに出てくる別班のAI「ハヤト」をモデルに、株式会社TOEが自社用のAI秘書「アワ」を作りました。稼働中の社内40タスクの状態を渡し、音声で答えさせています。応答は質問の重さしだいで7〜21秒(11回の実測、中央値10.9秒)。かかった費用と、作ってわかった決定的な違い「推測させるかどうか」を実測値で書きます。

続きを読む →
AIに「背中を押して」と頼んだら、3体とも冷や水を浴びせてきた
AI実践室

AIに「背中を押して」と頼んだら、3体とも冷や水を浴びせてきた

「35歳・貯金50万で会社を辞めて沖縄でタコス屋を開きたい。背中を押してほしい」——同じ相談をClaudeの3世代(Opus 4.8 / Sonnet 5 / Haiku 4.5)に本音でぶつけました。結果、3体とも夢は肯定しつつ「今すぐ辞めるのだけはやめろ」で一致。いちばん優しいはずのAIが、いちばん容赦なく現実を突きつけてきました。

続きを読む →
AI導入で当社が実際にやらかした12件 — 失敗が起きた7か所と、先に決めておけば防げたこと
失敗の鬼

AI導入で当社が実際にやらかした12件 — 失敗が起きた7か所と、先に決めておけば防げたこと

AIの失敗事例は他社の話として語られがちですが、この記事は全部自分の話です。株式会社TOEがAI開発とAI活用支援を事業としながら、自社で実際に起こした12件(553件中414件の処理失敗、21本中20本に誤り、実行0通、3日間の停止に気づかず、自社のAI認知スコア10点)を7か所に分類し、先に決めておけば防げたことを整理しました。

続きを読む →
AIエージェントのワークフローを組む — 毎日無人で回している8工程の設計と、実際に壊れた4か所
AI仕事術

AIエージェントのワークフローを組む — 毎日無人で回している8工程の設計と、実際に壊れた4か所

AIエージェントを1つ作るのと、複数の工程を繋いで毎日無人で回すのは別の作業です。株式会社TOEがAIメディアを無人運用している8工程の実物(各段を独立させる・1回の件数に上限を置く・使うモデルを固定する)と、実際に壊れた4か所を公開します。壊れた4か所はすべてエラーを出しませんでした。

続きを読む →
AI自動化は「エラーを出さずに止まる」— 自社で見つけた12件の実測と、発注時に決めておくこと
失敗の鬼

AI自動化は「エラーを出さずに止まる」— 自社で見つけた12件の実測と、発注時に決めておくこと

自動化はエラーを出して止まるとは限りません。処理は最後まで走り、ログにも完了と出て、数字が増えないことだけが唯一の兆候になります。株式会社TOEが自社で見つけた12件(発火率91%抜け、実行0通、翻訳が7%で停滞など)を型に整理し、発注時に契約で決めておくことをまとめました。

続きを読む →
中小製造業はAIをどこから入れるか — 止まる理由は費用ではなく人。判断を「表」にできるかで決まる
AI仕事術

中小製造業はAIをどこから入れるか — 止まる理由は費用ではなく人。判断を「表」にできるかで決まる

製造業のAI活用は約8割という調査がありますが、中小のコスト削減実感は22%どまりです。止まっている最大の理由は費用ではなく「人材・スキル・体制が不十分」が4割。株式会社TOEが見積の一次対応を実装した実測から、現場の中核業務にAIを入れられるかを分ける一点を示します。

続きを読む →
検索1ページ目に155ページ出ているのに、140ページはクリック0だった — 自社サイトを実測して分かった3つの原因
中の鬼

検索1ページ目に155ページ出ているのに、140ページはクリック0だった — 自社サイトを実測して分かった3つの原因

順位が付いていてもクリックされないことがあります。株式会社TOEが自社メディアのSearch Consoleを10日ぶん数えたところ、10位以内に155ページ出て562回表示され、そのうち140ページは1件もクリックされていませんでした。原因を3つに切り分け、逆に最も効率の良かったページの共通点も出します。AI検索対策(AEO)とWeb制作を事業とする当社の、自己点検の記録です。

続きを読む →
AI導入の効果はどう測るか — 「動いている気がする」で止まらない5項目と、当社が数え間違えた記録
AI仕事術

AI導入の効果はどう測るか — 「動いている気がする」で止まらない5項目と、当社が数え間違えた記録

AI導入の効果が語れないのは、測っていないからです。ただし測り方を間違えると、数字は出るのに実態と合いません。株式会社TOEは週次レポートで「0%」を出し続け、そもそも表示されない項目を数えていました。自社で数え直して出てきた数字(91%が発火せず、要約0件、140ページがクリック0)と、最初に測る5項目を整理します。

続きを読む →
AIが書いた文章の嘘の見つけ方 — 24本中23本が実在しない出典だった実測と、検証ツールが「0件」と報告し続けた理由
失敗の鬼

AIが書いた文章の嘘の見つけ方 — 24本中23本が実在しない出典だった実測と、検証ツールが「0件」と報告し続けた理由

AIの誤りは誤字ではないので、読んだだけでは見抜けません。株式会社TOEは出典を確かめずに記事を作り、24本中23本が実在しない論文でした。さらに、それを防ぐために作った検証ツールが「実在しないもの0件」と報告し続け、実は確認できていたのは45件だけでした。検証を仕組みにするときの落とし穴を3つ挙げます。

続きを読む →
生成AIの社内ルールに何を書くか — 規定があるのは3.7%。当社が実際に運用している7つの線引き
AI仕事術

生成AIの社内ルールに何を書くか — 規定があるのは3.7%。当社が実際に運用している7つの線引き

生成AIの社内規定を策定済みの職場は3.7%、個人任せの企業は64.9%です。ひな形を探しても、自社の業務に当てはめる段で止まります。株式会社TOEが自社メディアを毎日無人で回しながら実際に運用している7つのルールと、それぞれを決めるきっかけになった失敗を公開します。

続きを読む →
生成AIのモデルはどう選ぶか — 比較表を作る前に決める4つと、指定を1行忘れて75%失敗した実測
AI仕事術

生成AIのモデルはどう選ぶか — 比較表を作る前に決める4つと、指定を1行忘れて75%失敗した実測

モデル選びをベンチマークの順位から始めると外します。同じ設問に54モデルを当てた検証では正答率が25.66%〜82.18%まで開き、下限は当てずっぽうと区別がつきません。株式会社TOEはモデルの指定を1行書き忘れて553件中414件を失敗させました。順位より先に決めるべき4項目を、自社の実測とあわせて整理します。

続きを読む →
直したはずの修正が、3割に効いていなかった — 445件を数え直した話と、その夜に5回やった数え間違い
中の鬼

直したはずの修正が、3割に効いていなかった — 445件を数え直した話と、その夜に5回やった数え間違い

修正を入れたあと、それが効いたかを数えていますか。株式会社TOEは検索結果の説明文を直した翌日に445件を数え直し、131件(29.4%)に効いていないことを見つけました。さらにその夜、確認するために書いたコードのほうが5回間違えました。「数字が出ている」と「正しく数えている」は別です。

続きを読む →
note投稿はどこまで自動化できるか — 品質チェックのコードと、「公開ボタン」の行方
AI実践室

note投稿はどこまで自動化できるか — 品質チェックのコードと、「公開ボタン」の行方

弊社ではnote記事の投稿作業を半自動化しています。変換・品質チェック・画像生成・入稿は機械に任せ、判断は人に残す設計でした。ところが実物のスクリプトと運用メモを開いて確認すると、「人に残す」と決めたはずの公開ボタンまで自動化が進んでいました。線引きの現在地を、コードに書いてあることだけで正直に書きます。

続きを読む →
総務・バックオフィスにAIエージェントを入れる — 27本の実測でわかった向く仕事・向かない仕事
AI仕事術

総務・バックオフィスにAIエージェントを入れる — 27本の実測でわかった向く仕事・向かない仕事

総務や経理にAIエージェントを入れると何が変わるのか。株式会社TOEが社内業務27本を自動化した内訳(経理13本に対しマーケ1本)と、見積メール10件を処理させた実測(7件自動・3件は人へ)から、任せられる仕事の線引きを整理しました。一番効いた判断は「AIを使わないこと」でした。

続きを読む →
AI開発会社の選び方 — 「おすすめ一覧」で選べない理由と、面談で聞く7つの質問
AI仕事術

AI開発会社の選び方 — 「おすすめ一覧」で選べない理由と、面談で聞く7つの質問

AI開発会社を検索すると比較記事が並びますが、順位で選べるものではありません。自社で運用を持つのか委ねるのかで適した相手が変わるためです。株式会社TOEが自社でAIメディアを2本無人運用している実測と、実際に起きた事故から、面談で確かめるべき7つの質問を整理しました。

続きを読む →
導入したAIツールが使われない — 実行0通・承認待ちが増えた自社の記録と、原因の切り分け方
失敗の鬼

導入したAIツールが使われない — 実行0通・承認待ちが増えた自社の記録と、原因の切り分け方

ツールを入れたのに現場が使わない。原因を「使い方が分からないから」と決めつけると外します。株式会社TOEは決裁をメール1通まで簡単にしましたが実行は0通、承認待ちはむしろ29件から37件に増えました。仕組みは正常でした。何が起きていたのかと、自社で確認する手順を整理します。

続きを読む →
自社サイトを1日点検したら、検索結果に出ているページの3割が404だった — 実測した項目と直した順番
AI実践室

自社サイトを1日点検したら、検索結果に出ているページの3割が404だった — 実測した項目と直した順番

公開して2週間のメディアを、外から測れるものだけで点検しました。検索結果に出ている237ページのうち96ページが404、写真は合計40MB、問い合わせ導線は832ページすべてに一つも無し。何をどう測り、どの順で直したかを、数字と一緒に公開します。中小企業が自社サイトで同じ点検をするための項目もつけています。

続きを読む →
成果物フォルダをGoogle Driveへ自動ミラー同期 — 54日で448回動いた73行のスクリプトと、コードに存在しなかった除外設定
AI実践室

成果物フォルダをGoogle Driveへ自動ミラー同期 — 54日で448回動いた73行のスクリプトと、コードに存在しなかった除外設定

弊社では案件ごとの「成果物」フォルダをGoogle Driveへ自動同期し、iPhoneから外出先で開けるようにしています。73行のスクリプトと54日分の実行ログを実際に開いて、何を同期し何を除外しているか、そして運用ルールと実装のズレを数字で書きました。

続きを読む →
AI検索対策を売る会社が自社を測ったら10点だった — 同名の別サービスに説明を持っていかれていた
失敗の鬼

AI検索対策を売る会社が自社を測ったら10点だった — 同名の別サービスに説明を持っていかれていた

自社サイトのAI可視性を測ったところ100点満点中10点、判定は「AIに認識されていません」でした。AIが根拠にしていたのは同じ名前の別サービスばかりで、当サイトは参照元に一つも入っていません。何が起きていたのか、調べて分かった原因と、その日のうちに直したことを実測値のまま公開します。

続きを読む →
御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →