人工知能の研究が再び注目を集めるようになっている。人工知能の能力が人間を完全に超えてしまう技術的特異点に関する議論も盛んになってきている。人々が人工知能に対して抱く不安も高まってきているように見受けられる。本稿では，人工知能がどのように進歩する可能性があるかではなく，人工知能をどのように進歩させたいかという問題について議論する。抽象的な不安に対して抽象的な回答を返すのではなく，人工知能を今後どのように作っていくかという設計の指針をいくつか提示することを試みる。